von Nikolas Ruda
MR im Detail
MR im Detail
von Nikolas Ruda
Für den entwickelten Mixed Reality-Prototyp werden im folgenden wichtige Begriffe erklärt:
Lokalisierung
Lokalisierung bezeichnet den Prozess, die Pose eines Objekts oder Geräts, also seine Position und Orientierung, relativ zu einem Referenzkoordinatensystem auf Grundlage von Sensordaten zu bestimmen (Ben-Afia et al., 2014). Im Prototyp geschieht dies durch die Nutzung von Visual Positioning Systems.
Plane Detection
Plane Detection beschreibt die automatische Erkennung ebener Flächen in der realen Umgebung, zum Beispiel Böden, Wände oder Fassaden. In Mixed Reality-Anwendungen werden erkannte Planes genutzt, damit digitale Inhalte nicht einfach frei im Raum schweben, sondern passend zur Umgebung platziert werden können (De Guzman et al., 2020; Zaballos et al., 2021). Im Prototyp dient Plane Detection dazu, erkannte Böden und Fassaden als Platzierungs- und Kollisionsflächen zu verwenden. Dadurch können digitale Objekte plausibler auf die physische Umgebung reagieren und werden zum Beispiel darin gehindert durch reale Oberflächen hindurch geschoben zu werden. Zudem wird so ermöglicht Hausfassaden zu bemalen.
Occlusion
Occlusion in Mixed Reality bedeutet, dass reale Objekte digitale Inhalte verdecken können. Dadurch wird ein digitales Objekt nicht einfach über die reale Welt drüber gelegt (wie in Augmented Reality), sondern fügt sich glaubwürdiger in die reale Umgebung ein. Dabei wird das digitale Objekt entsprechend teilweise oder vollständig von der realen Umgebung verdeckt. Für die Nutzung von Occlusion ist eine geräteseitige dreidimensionale Erfassung der realen Umgebung notwendig (Zikang et al., 2025). Der durch Occlusion wahrgenommene Effekt ist in Abbildung 1 zu sehen.
Abbildung 1: Ein 3D Modell in der realen Umgebung, ohne (links) und mit (rechts) Occlusion
Quelle: https://www.uploadvr.com/quest-3-mixed-reality-occlusion-v67-sdk-upgrade/
Hand Tracking
Hand Tracking bezeichnet die Erkennung und Verfolgung der Hände einer Person durch ein MR-Gerät. Dabei werden Handpositionen, Fingerbewegungen oder Gesten erfasst, sodass Nutzende digitale Inhalte ohne separaten Controller bedienen können (Nguyen et al., 2023). Im Prototyp wird Hand Tracking ergänzend zu der Controller-Steuerung genutzt. Dabei wird die offene Handfläche vor der Sicht eines Nutzenden erkannt, um auf dieser das Menü einzublenden, das mit dem Controller bedient wird. Das Menü schließt wieder beim Senken oder Drehen der Hand.
- Ben-Afia, A., Deambrogio, L., Salos, D., Escher, A.-C., Macabiau, C., Soulier, L., & Gay-Bellile, V. (2014). Review and classification of vision-based localisation techniques in unknown environments. IET Radar, Sonar & Navigation, 8(9), 1059–1072. https://doi.org/10.1049/iet-rsn.2013.0389
-
De Guzman, J. A., Thilakarathna, K., & Seneviratne, A. (2020). Conservative plane releasing for spatial privacy protection in mixed reality. arXiv. https://arxiv.org/abs/2004.08029
-
Nguyen, R., Gouin-Vallerand, C., & Amiri, M. (2023). Hand interaction designs in mixed and augmented reality head mounted display: A scoping review and classification. Frontiers in Virtual Reality, 4, Article 1171230. Frontiers | Hand interaction designs in mixed and augmented reality head mounted display: a scoping review and classification
-
Zaballos, A., Briones, A., Massa, A., Centelles, P., & Caballero, V. (2021). A smart campus’ digital twin for sustainable comfort monitoring. Sensors, 21(4), Article 1123. GEUINF: Real-Time Visualization of Indoor Facilities Using Mixed Reality
-
Zikang, T. N., Fadzli, F. E., & Ismail, A. W. (2025). Integration of Depth Sensing with Head-Mounted Display for Occlusion Handling in Passthrough Mixed Reality. 2025 1stnInternational Conference on Emerging Trends in Information Systems and Informatics (ICETISI), 1–5. https://doi.org/10.1109/ICETISI67983.2025.11405911