von Nikolas Ruda
Visual Positioning Systems
Visual Positioning Systems
von Nikolas Ruda
Für Location-Based Augmented Reality müssen digitale Inhalte an einem realen Ort persistent verankert werden. Dabei muss das für Augmented Reality (AR) oder Mixed Reality (MR) genutzte Gerät seine Position und Orientierung im Raum erkennen. Dies wird als Tracking bezeichnet.
Eine flexible Lösung hierfür sind sogenannte Visual Positioning Systems (VPS). Bei der Nutzung wird zuerst ein Ort als dreidimensionaler Scan erfasst und eine VPS-Map erstellt. Dabei entsteht eine Datenbank aus Bildern, die Feature-Punkte im Raum abdecken. Zur Laufzeit werden aktuelle Kamerabilder des Geräts mit dem Scan abgeglichen, um Position und Orientierung relativ zum erfassten Raum zu bestimmen. VPS sind vergleichsweise hardwareunabhängig, da RGB-Kamerabilder für das Tracking ausreichen. Da der Abgleich von Kamerabildern mit der VPS-Map Latenz erzeugt, wird das VPS-Tracking typischerweise mit den Sensorsignalen des Geräts ergänzt (Kinoshita et al., 2024). Bei bekannten Implementierungen geschieht dies automatisch und erfordert keine zusätzliche Arbeit. VPS ermöglichen präziseres Tracking als satellitengestützte Systeme wie GPS, deren Genauigkeit in dicht bebauten Bereichen schwankt (Debandi et al., 2018). Zudem sind sie zuverlässiger als markerbasierte Verfahren wie QR-Codes: Diese erfordern, dass die Kamera Marker in passender Entfernung und Blickrichtung erkennt, und lassen sich nicht überall einfach anbringen werden (Cheng et al., 2017; Debandi et al., 2018; Numan et al., 2023).
Feldversuch mit Visual Positioning Systems
Bei einem ersten Feldversuch im März 2025 in der Buerer Innenstadt wurden verschiedene Visual Positioning Systems in einer praktischen Anwendung „Historische Innenstadt“ getestet. Dabei wurden mehrere MR-Prototypen für Smartphones und Tablets erstellt. Innerhalb der Anwendungen wurden historische Bilder dort platziert, wo sich die abgedeckten Örtlichkeiten heute befinden (siehe Abbildung 1, rechtes Bild). Zudem wurde die fehlende Kirchturmspitze des Buerer Doms virtuell dort verankert, wo sie vor ihrer Zerstörung vorhanden war. In Abbildung 1 zeigt das linke Bild den fehlenden Kirchturm im Vergleich mit der Sicht durch ein Tablet, in der dieser in MR ergänzt ist; die ergänzte Sicht ist im mittleren Bild vollständig zu sehen.
Abbildung 1: Ansicht des Kirchturms und vergangener Fassaden in MR
VPS Vergleich
Die zum Zeitpunkt des Feldversuchs relevantesten VPS-Lösungen wurden hinsichtlich Tracking-Qualität, Einrichtungsaufwand, Kontrolle über die erzeugten Daten und Kompatibilität im Hinblick auf die Entwicklung des finalen Prototyps für die Magic Leap 2 untersucht:
Basierend auf den Testergebnissen wurde Hexagon Immersal für die Entwicklung des finalen Prototyps gewählt. Entscheidend waren die Möglichkeit zur Entwicklung für die Magic Leap 2, die gute bis sehr gute Tracking-Qualität und die eigene Verwaltung der Scans. Pro Ort war jeweils nur ein Scan notwendig. Bei Niantic Lightship sind mehrere Scans erforderlich, die von einer Qualitätskontrolle, auf die Endnutzer keinen Einfluss haben, abgelehnt werden können. Bei unseren Tests stellten wir zudem fest, dass Nachtscans nötig waren, die jedoch oft wegen unzureichender Qualität abgelehnt wurden.
Abbildung 2 vergleicht Scans eines Orts in der Buerer Innenstadt:
Abbildung 2: Stadtplatz, gescannt mit Niantic Lightship (links) und Hexagon Immersal (rechts)
Weiterleitung zu den VPS
Google Geospatial Creator: Raumbezogener Ersteller | ARCore | Google for Developers
Niantic Spatial: Lead with Location: The Rise of Spatial Intelligence in Enterprise Strategy | Niantic Spatial, Inc.
Hexagon Immersal: Accurate device positioning for navigation & visualization
-
Cheng, J., Chen, K., & Chen, W. (2017, Juli 7). Comparison of marker-based AR and markerless AR: A case study on indoor decoration system. ITC SciX.net library – Paper lc3-2017-231
-
Debandi, F., Iacoviello, R., Messina, A., Montagnuolo, M., Manuri, F., Sanna, A., & Zappia, D. (2018). Enhancing cultural tourism by a mixed reality application for outdoor navigation and information browsing using immersive devices. IOP Conference Series: Materials Science and Engineering, 364(1), 012048. Enhancing cultural tourism by a mixed reality application for outdoor navigation and information browsing using immersive devices
-
Kinoshita, A., Fukuda, T., & Yabuki, N. (2024). Drone-based mixed reality: Enhancing visualization for large-scale outdoor simulations with dynamic viewpoint adaptation using vision-based pose estimation methods. Drone Systems and Applications, 12, 1–19. https://doi.org/10.1139/dsa-2023-0135
-
Numan, N., Lu, Z., Congdon, B., Giunchi, D., Rotsidis, A., Lernis, A., Larmos, K., Kourra, T., Charalambous, P., Chrysanthou, Y., Julier, S., & Steed, A. (2023). Towards Outdoor Collaborative Mixed Reality: Lessons Learnt from a Prototype System. 2023 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), 113–118. https://doi.org/10.1109/VRW58643.2023.00029