Occlusion

Occlusion in Mixed Reality bedeutet, dass reale Objekte digitale Inhalte verdecken können. Dadurch wird ein digitales Objekt nicht einfach über die reale Welt drüber gelegt (wie in Augmented Reality), sondern fügt sich glaubwürdiger in die reale Umgebung ein. Dabei wird das digitale Objekt entsprechend teilweise oder vollständig von der realen Umgebung verdeckt. Für die Nutzung von Occlusion ist eine geräteseitige dreidimensionale Erfassung der realen Umgebung notwendig (Zikang et al., 2025). Der durch Occlusion wahrgenommene Effekt ist in Abbildung 1 zu sehen.

Abbildung 1: Ein 3D Modell in der realen Umgebung, ohne (links) und mit (rechts) Occlusion

Quelle: https://www.uploadvr.com/quest-3-mixed-reality-occlusion-v67-sdk-upgrade/

Hand Tracking

Hand Tracking bezeichnet die Erkennung und Verfolgung der Hände einer Person durch ein MR-Gerät. Dabei werden Handpositionen, Fingerbewegungen oder Gesten erfasst, sodass Nutzende digitale Inhalte ohne separaten Controller bedienen können (Nguyen et al., 2023). Im Prototyp wird Hand Tracking ergänzend zu der Controller-Steuerung genutzt. Dabei wird die offene Handfläche vor der Sicht eines Nutzenden erkannt, um auf dieser das Menü einzublenden, das mit dem Controller bedient wird. Das Menü schließt wieder beim Senken oder Drehen der Hand.

VPS Vergleich

Die zum Zeitpunkt des Feldversuchs relevantesten VPS-Lösungen wurden hinsichtlich Tracking-Qualität, Einrichtungsaufwand, Kontrolle über die erzeugten Daten und Kompatibilität im Hinblick auf die Entwicklung des finalen Prototyps für die Magic Leap 2 untersucht:

Basierend auf den Testergebnissen wurde Hexagon Immersal für die Entwicklung des finalen Prototyps gewählt. Entscheidend waren die Möglichkeit zur Entwicklung für die Magic Leap 2, die gute bis sehr gute Tracking-Qualität und die eigene Verwaltung der Scans. Pro Ort war jeweils nur ein Scan notwendig. Bei Niantic Lightship sind mehrere Scans erforderlich, die von einer Qualitätskontrolle, auf die Endnutzer keinen Einfluss haben, abgelehnt werden können. Bei unseren Tests stellten wir zudem fest, dass Nachtscans nötig waren, die jedoch oft wegen unzureichender Qualität abgelehnt wurden.

Abbildung 2 vergleicht Scans eines Orts in der Buerer Innenstadt:

Den richtigen 3D-Scanner auswählen

Die Auswahl des richtigen 3D Scanners erfordert ein Verständnis der verfügbaren Typen, eine Bewertung zentraler Eigenschaften sowie eine Einordnung des Budgets in Bezug auf die eigenen Anforderungen. Eine gute Entscheidung stellt ein ausgewogenes Verhältnis zwischen Genauigkeit, Objektgröße und Software sowie Kosten und Benutzerfreundlichkeit her.

Es gibt drei Haupttypen:

• Laser-Scanner: Sie verwenden einen Laserstrahl zur Vermessung der Oberfläche. Sie bieten hohe Genauigkeit und eignen sich besonders für kleine, detailreiche Objekte.

• Structured-Light-Scanner: Sie projizieren ein Lichtmuster auf das Objekt und erfassen dessen Verzerrung. Sie bieten ein gutes Verhältnis aus Geschwindigkeit und Präzision und sind ideal für mittelgroße Objekte.

• Photogrammetrie: Hier werden mehrere Fotos genutzt, um ein 3D-Modell zu erzeugen. Diese Methode ist günstiger, erfordert jedoch gute Beleuchtung und ausreichend Textur. Quelle: How to 3D Scan an Object Efficiently: A Step-By-Step Guide

Objekt für den 3D-Scan vorbereiten

Eine gute Vorbereitung beeinflusst Genauigkeit und Detailgrad erheblich. Dazu gehören Reinigung, richtige Positionierung und eine passende Umgebung.

1. Reinigung und Oberflächenvorbereitung
Vor dem Scan muss das Objekt frei von Staub, Schmutz und Fett sein. Reflektierende oder transparente Stellen verursachen oft Fehler. Diese Flächen werden meist mit einem matten Spray oder Pulver behandelt. Kleine/Fragile Objekte sollten vorsichtig mit weichen Pinseln oder Tüchern gereinigt werden, um Beschädigungen zu vermeiden. Größere Objekte müssen gründlich abgewischt werden. Eine saubere Oberfläche verhindert Löcher oder Verzerrungen im Modell.

2. Optimale Positionierung
Das Objekt sollte stabil stehen und idealerweise auf einem Drehteller montiert werden. Der Scanner muss alle Bereiche sehen können. Komplexe Details erfordern mehrere Scans aus verschiedenen Blickwinkeln. Zu geringer oder zu großer Abstand zum Scanner mindert die Qualität. Herstellerangaben zum optimalen Abstand sollten beachtet werden.

3. Beleuchtung und Umgebung
Beleuchtung beeinflusst die Scanqualität stark. Direkte Sonne oder harte Lichtquellen sollten vermieden werden. Gleichmäßiges, diffuses Licht ist ideal. Auch Hintergrundbewegungen und Unordnung sollten minimiert werden.
Quelle: How to 3D Scan an Object Efficiently: A Step-By-Step Guide

Schritt-für-Schritt 3D-Scan-Prozess

1. Scanner einrichten
Der Arbeitsplatz sollte sorgfältig vorbereitet werden. Dabei ist auf eine gleichmäßige, diffuse Beleuchtung zu achten. Zudem sollte die benötigte Software vorab installiert und sämtliche Verbindungen geprüft werden.

2. Kalibrierung
Der Scanner sollte anhand eines Referenzobjekts kalibriert werden. Auf diese Weise werden mögliche Verzerrungen ausgeglichen und die Maßhaltigkeit der Scandaten sichergestellt.

3. Objekt scannen
Objekt auf Drehteller stellen, Scanner ruhig führen, mehrere Winkel erfassen und auf gleichbleibenden Abstand achten. Die Software fügt alles zu einem Modell zusammen. Fehlerbehebung Komplexe Formen aus mehreren Winkeln scannen, matte Sprays bei glänzenden Flächen einsetzen, regelmäßig kalibrieren, Software aktuell halten. Sicherheit und Best Practices

• Niemals direkt in Laser oder Structured Light Quellen schauen, da diese die Augen schädigen können

• Bewegliche Teile des Objekts vor dem Scan fixieren, um Verzerrungen und Messfehler zu vermeiden

• Für gleichmäßige und blendfreie Beleuchtung sorgen, damit die Oberfläche korrekt erfasst wird

• Die Auflösung passend zum Anwendungsfall wählen, um ein gutes Verhältnis zwischen Detailgrad und Dateigröße zu erreichen

• Den Scanner regelmäßig warten und kalibrieren, um dauerhaft präzise Ergebnisse sicherzustellen
Quelle: How to 3D Scan an Object Efficiently: A Step-By-Step Guide

Modell Bereinigen

Ein 3D-Scan liefert fast nie ein sofort einsetzbares Modell. Häufig treten Störungen wie Rauschen, Löcher, doppelte Flächen oder hohe Polygonzahlen auf. Die Mesh-Aufbereitung ist deshalb der zentrale Schritt, um aus einem Rohscan ein qualitativ hochwertiges 3D-Modell zu erzeugen.

1. Was versteht man unter einem Mesh?
Ein Mesh beschreibt die Oberfläche eines 3D-Objekts und besteht aus Punkten, Kanten und Flächen. Übliche Dateiformate sind STL, OBJ und PLY.

Häufige Probleme bei Scan-Meshes
• offene Stellen oder fehlende Flächen
• fehlerhafte Kantenstrukturen
• kleine Störstellen oder Spitzen
• überlappende Flächen
• extrem hohe Polygonanzahl

2. Standard-Workflow zur Mesh-Bereinigung
• Scan in ein Bearbeitungsprogramm laden
• Überflüssige Fragmente entfernen
• Löcher schließen
•  Oberflächen glätten
•  Polygonzahl reduzieren

3. Geeignete Programme

4. Reparatur von Löchern
Löcher können automatisch oder manuell geschlossen werden. Zusätzlich helfen Bridge-Werkzeuge dabei, Kanten gezielt zu verbinden.

5. Glättung und Entfernen von Rauschen
Unregelmäßigkeiten entstehen häufig durch Licht oder Bewegung beim Scan. Glättungsfilter und das Entfernen isolierter Teile sorgen für saubere Oberflächen. Dabei sollte vorsichtig gearbeitet werden, um Details nicht zu verlieren.

6. Polygonreduktion
Scans sind oft unnötig komplex. Durch Decimation wird die Polygonzahl gesenkt, ohne die Form sichtbar zu verändern.
Quelle: Canion3D – Create Your Own Culture

Integration und Nutzung in AR-Systemen
Einbindung in WebAR

Für WebAR-Anwendungen wird das Modell auf einem Webserver oder Content Delivery Network bereitgestellt. Anschließend wird es mit einem WebAR-Framework verknüpft. Häufig genutzte Frameworks sind Three.js, A-Frame, 8th Wall und Zappar WebAR.

Vorgehen:

1. 3D-Datei hochladen und öffentlich verfügbar machen

2. In HTML oder JavaScript einbinden, z. B. mittels Three.js-Loader oder A-FrameKomponenten

3. Beleuchtung, Skalierung und Interaktion im Browser testen

4. Mobile Kompatibilität auf iOS und Android prüfen

Integration in Unity

Unity unterstützt sowohl ARKit (iOS) als auch ARCore (Android). Die Einbindung erfolgt über den Import der erzeugten 3D- Datei in das Projekt.

Vorgehen:

1. Neues Unity-Projekt mit aktivem AR Foundation-Paket anlegen

2. 3D-Modell importieren und auf korrekte Skalierung prüfen

3. Materialeinstellungen im Inspector anpassen, um Farbabweichungen zu vermeiden

4. Modell auf einer AR-Plane positionieren und Interaktionen (Rotation, Skalierung, Touch) konfigurieren

5. Projekt auf Zielgerät (iOS oder Android) exportieren und testen

Einbindung in mobile Apps

Die Integration von 3D-Modellen in mobile Anwendungen erfolgt plattformspezifisch über die nativen AR-Frameworks. Unter iOS wird hierfür ARKit verwendet, das USDZ als bevorzugtes Laufzeitformat nutzt. Android-Anwendungen basieren hingegen auf ARCore, das primär mit glTF beziehungsweise GLB arbeitet. Plattformübergreifende Tools wie Vectary oder JigSpace ermöglichen eine Einbindung der Modelle ohne eigene Programmierung.

Vorgehen:

1. 3D-Datei importieren

2. Szene erstellen und Objekt platzieren

3. Beleuchtung und Skalierung anpassen

4. Exportieren oder direkt auf dem Endgerät anzeigen
Qualitätsprüfung nach der Integration Darstellung auf verschiedenen Geräten prüfen (Beleuchtung, Farbtreue, Schärfe) Interaktionen (Drehung, Zoom, Animation) auf Reaktionsgeschwindigkeit testen Ladezeiten und Speicherverbrauch beobachten Gerätespezifische Abweichungen dokumentieren und ggf. anpassen

Mehrwert schaffen: Warum Technologie allein nicht reicht

Augmented Reality eröffnet neue Möglichkeiten, digitale Inhalte mit realen Orten zu verknüpfen und gewinnt durch die zunehmende Verfügbarkeit erschwinglicher Hardware an Bedeutung. Brillenhersteller aus dem konventionellen und digitalen Geschäftsfeld innovieren mit dem Blick auf kommerzielle Anwendungen und bringen jedes Jahr neue Modelle mit neuen Funktionalitäten auf den Markt. Der tatsächliche Mehrwert von AR-Zonen entsteht jedoch nicht allein durch die eingesetzte Technologie, sondern vor allem durch die Inhalte, die den Nutzerinnen und Nutzern bereitgestellt werden. Erst relevanter Content ermöglicht es, Informationen, Geschichten oder Erlebnisse sinnvoll in den physischen Raum zu integrieren und dadurch einen Mehrwert gegenüber herkömmlichen Innenstadtangeboten zu schaffen. Gleichzeitig beeinflussen die bereitgestellten Inhalte und Technologien maßgeblich, wie Nutzerinnen und Nutzer mit einer AR-Zone interagieren, welche Informationen sie wahrnehmen und wie sie den jeweiligen Ort erleben. [1]

Abwägen: Potenziale und Grenzen digitaler Medien verstehen

Der grundlegende Unterschied zwischen analogen Inhalten und AR-Content liegt darin, dass analoge Inhalte physisch vorhanden sind, während AR-Content digital bereitgestellt wird. Analoge Inhalte sind dabei an ein physisches Medium wie beispielsweise Schilder, Plakate oder ähnliches gebunden. AR-Content wird hingegen digital dargestellt und kann mithilfe entsprechender Endgeräte in der realen Umgebung eingeblendet werden. AR kann eine zusätzliche digitale Erlebnis- und Informationswelt, bzw. Layer schaffen, etwa Kunst, historische Geschichten oder spezifische Angebote.

Daraus ergeben sich einige signifikante Vorteile von AR-Content gegenüber analogen Inhalten. AR-Content kann flexibel angepasst oder aktualisiert werden, ohne dass bestehende physische Träger ersetzt oder Inhalte vor Ort neu platziert werden müssen. Dadurch sind Änderungen schneller, einfacher und kostengünstiger umsetzbar. Zudem erlaubt AR-Content eine stärkere Interaktion mit den dargestellten Inhalten. Objekte können von den Nutzenden verändert sowie durch Animationen, Bewegungen oder andere dynamische Elemente erweitert werden, wodurch ein aktiveres und immersiveres Erlebnis entsteht. Darüber hinaus können innerhalb von ARAnwendungen verschiedene Medienformen wie Texte, Bilder, Audio- und Videoinhalte kombiniert werden. Schließlich bietet AR-Content die Möglichkeit, Inhalte gezielt an unterschiedliche Nutzergruppen anzupassen und abhängig von individuellen Interessen oder Informationsbedürfnissen bereitzustellen. [2]

Trotz der zahlreichen Potenziale von AR-Content bestehen auch einige Herausforderungen. Die Erstellung hochwertiger Inhalte ist häufig mit einem erhöhten Entwicklungsaufwand verbunden. Zudem kann es bei AR-Anwendungen zu einer kognitiven Überlastung kommen, wenn Nutzende gleichzeitig umfangreiche Informationen verarbeiten, mit virtuellen Elementen interagieren und die Anwendung bedienen müssen. Darüber hinaus setzt die Nutzung von ARContent geeignete Hardware sowie grundlegende technische Kenntnisse voraus. Technische Probleme, wie Verbindungsstörungen oder Fehler bei der Darstellung virtueller Inhalte, können die Nutzererfahrung zusätzlich beeinträchtigen und die Vermittlung der Inhalte erschweren. [3]

Ressourcen nutzen: Bestehenden Content effizient aufbereiten

Die Integration von AR-Content erfordert nicht zwangsläufig die komplette Neuentwicklung aller geplanten Inhalte. Häufig existieren bereits digitale oder physische Medien, die für ARAnwendungen weiterverwendet werden können. Vorhandene 3D-Modelle können für den Einsatz in AR-Anwendungen aufbereitet und bei Bedarf optimiert werden. Ein Beispiel sind Bauzeichnungen, die genutzt, aber mit etwas Aufwand integriert werden können. Einfacher ist das Platzieren von Gebäude- oder Menschen-Bildern beziehungsweise existierenden 3DObjekten aus bestehenden Katalogen. Auch physische Modelle oder Objekte können durch 3DScans, etwa mit dem Handy, digitalisiert und anschließend für AR-Anwendungen aufbereitet werden. Dadurch entstehen Synergieeffekte zwischen bestehenden Inhalten und neuen ARAnwendungen, da vorhandener Content genutzt werden kann und nicht von Grund auf neu erstellt werden muss. Im Rahmen dieses Projekts haben wir eine Anleitung erstellt, die zeigt, wie vorhandener Content in AR-Content umgewandelt werden kann. Diese finden Sie hier.

Content auswählen: Den passenden Kontext herstellen

Neben der Frage der Content-Erstellung ist vor allem entscheidend, welche Inhalte sich überhaupt für den Einsatz in AR-Zonen eignen. Die Ergebnisse unserer Stakeholder- und Endnutzerbefragungen zeigen, dass sich die Interessen der Befragten auf mehrere Themenbereiche verteilen, die vielseitige Nutzungsszenarien eröffnen.

Einen zentralen Stellenwert nehmen historische Inhalte ein. 28 Prozent der Befragten aus dem ARIZON Projekt wünschen sich Einblicke in die Geschichte von Gebäuden und Denkmälern sowie zu historischen Ereignissen und zur partizipativen Stadtentwicklung. Gefragt sind zudem visuelle Rekonstruktionen früherer Ortszustände, die einen direkten Vor-Ort-Vergleich zwischen Vergangenheit und Gegenwart ermöglichen. Auch Architektur und die Entstehung einzelner Bauwerke stießen bei Stadtplanern auf großes Interesse. AR bietet hier das Potenzial, verborgene historische Schichten der Stadt visuell zu rekonstruieren und Vergangenes dort wiederzubeleben, wo es heute längst aus dem Straßenbild verschwunden ist.

Ein weiterer Schwerpunkt liegt auf der Orientierung und alltäglichen Informationsvermittlung. 28 Prozent der Befragten erwähnten Navigationshilfen im urbanen Raum, etwa thematische Touren sowie Unterstützung bei der Parkplatzsuche. Ergänzend wünschen sich die Nutzer kontextbezogene Inhalte, die direkt am jeweiligen Standort bereitgestellt werden. Relevante Informationen werden somit kontextbezogen angezeigt, sodass keine eigenständige Recherche erforderlich ist.

Darüber hinaus besteht großes Interesse an touristischen Angeboten und Sehenswürdigkeiten. Bei 22 Prozent der Befragten beziehen sich die genannten Inhalte auf Hintergrundberichte zu besonderen Orten sowie auf vertiefende Details zu Attraktionen und städtischen Anlaufpunkten. Solche Anwendungen erweitern bekannte Orte um eine digitale Ebene und eröffnen Besuchern so einen neuen Blickwinkel auf ihre Umgebung.

Neben rein informativen Ansätzen spielen interaktive Inhalte eine wichtige Rolle. 17 Prozent der Befragten wünschen sich Anwendungen, bei denen virtuelle Objekte nicht nur betrachtet, sondern aktiv genutzt werden können. Gewünscht sind dynamische Interaktionsmöglichkeiten mit digitalen Elementen, die eine tiefere und aktivere Auseinandersetzung mit den dargestellten Inhalten fördern.

Eng damit verknüpft sind spielerische Formate und Gamification Elemente. 17 Prozent der Befragten wünschten sich spielerische Anwendungen, die von konkreten Spieleanwendungen bis hin zu allgemeinen spielerischen Schnittstellen reichen. Dabei stehen insbesondere Konzepte im Vordergrund, die Unterhaltung geschickt mit der Erkundung der Umgebung oder der Wissensvermittlung verbinden. Die Kombination, aus informativen und unterhaltenden AR-Angeboten nennt sich Infotainment, eine Spielart, die insbesondere bei der Wissensvermittlung großes Potenzial bietet. [4]

Aus den Ergebnissen der Befragungen lässt sich eine grundlegende Kernerkenntnis ableiten, welche die gesamte Content-Erstellung und -Konzeption maßgeblich prägt: Nahezu alle von den Nutzern gewünschten Inhalte weisen einen gewissen Bezug zum jeweiligen Standort auf. Das bedeutet für die Praxis, dass AR-Content und virtuelle Objekte niemals als reiner Selbstzweck oder als bloßes technologisches Gimmick genutzt werden sollten.

Stattdessen sollten alle Elemente stets eine gezielte Funktion für eine spezifische Benutzergruppe erfüllen, einen konkreten Mehrwert bieten oder in einem festen, nachvollziehbaren Zusammenhang mit der realen Umgebung stehen. Dieser Mehrwert entsteht dabei nicht dadurch, dass der Content exklusiv vor Ort abrufbar ist, sondern durch seine Sinnhaftigkeit an Ort und Stelle. Erst durch diese kontextuelle Verknüpfung, sei es durch das Sichtbarmachen historischer Parallelen, die Bereitstellung situativer Orientierungshilfen oder die spielerische Interaktion mit der Umgebung, verschmelzen die digitale und die analoge Ebene zu einer sich ergänzenden Einheit.

[1] Vgl. Jung et al. (2018), S. 752–756.

[2] Vgl. Alzahrani (2020).

[3] Vgl. Alzahrani (2020), S. 16

[4] Vgl. Hoffmann et al. (2022

Systemarchitektur, Persistenz und Asset-Management in ARIZON

Die technische Architektur des ARIZON-Prototypen basiert auf einer engen Verzahnung von hardwareseitigen Tracking-Algorithmen und einer datengetriebenen Softwarestruktur innerhalb der Engine. Um eine stabile Verankerung digitaler Inhalte im urbanen Raum zu gewährleisten, greift das System auf spezialisierte Persistenz- und Lokalisierungsmechanismen zurück.

1. Funktionsweise der Meta Spatial Anchors

Zur sitzungsübergreifenden Speicherung virtueller Objekte nutzt ARIZON lokale Spatial Anchors (Raumanker). Im Gegensatz zu systemweiten Szenenankern, die permanente Geometriedaten der Umgebung speichern, sind diese Raumanker app-spezifisch: Sie verbleiben im geschützten Laufzeitkontext der Anwendung und werden erst beim Starten der App dynamisch initialisiert.

● Das Prinzip des World-Locking:

Jeder instanziierte Raumanker erhält vom System eine eindeutige Identifikationsnummer, eine sogenannte Universally Unique Identifier (UUID). Diese UUID dient dem Headset als Referenzschlüssel, um die dreidimensionalen Koordinaten der virtuellen Welt präzise mit den markanten Merkmalen der physischen Umgebung abzugleichen.

● Laufzeit-Interaktionen:

Innerhalb der Anwendung unterstützen die Anker den vollständigen Zyklus der Objektmanipulation (CRUD-Prinzip). Sie können zur Laufzeit flexibel generiert, im Raum transformiert (verschoben und rotiert) oder dauerhaft aus der Datenbank gelöscht werden.

2. ARIZON Loading Order (Initialisierungs-Hierarchie)

Der Startprozess und die logische Verknüpfung der Softwarekomponenten folgen einer strikt hierarchischen Lade-Reihenfolge. Diese Befehlskette stellt sicher, dass alle Subsysteme und Abhängigkeiten korrekt aufgelöst werden:

● Engine & GameInstance:

Nach der Initialisierung der Engine startet die GameInstance. Da diese komponentenübergreifend über die gesamte Laufzeit hinweg existiert, speichert sie den globalen Systemstatus – insbesondere die aktive Nutzerrolle (Editor/Creator-Modus versus Betrachter/User-Modus).

● LoadLevel & GameMode:

Das Laden des Levels stößt den Lebenszyklus (Lifecycle) der zentralen Akteure (Actors) an. Hierbei wird der BP_PlayerPawn instanziiert, welcher die Bewegungskomponenten und die Interaktionslogik des Nutzers verwaltet.

● Hardware-Abstraktion (MRUK & OculusXR):

Parallel importiert der MRUKAnchorActorSpawner die physischen Raumdaten des Headsets, um exakte Kollisionen zwischen virtuellen Objekten und realer Geometrie zu berechnen. Zeitgleich übernimmt der OculusXRSceneActor das hardwarenahe Management der UUIDs und kommuniziert direkt mit der Tracking-Schnittstelle der Brille.

● Manager- und Asset-Ebene:

Der BP_AnchorManager übernimmt anschließend die Koordination der persistenten Daten. Er initiiert das Spawnen der BP_AnchorActor-Knotenpunkte, welche wiederum die finalen visuellen Assets (BP_SpawnActor) aufrufen. Eine globale Lichtquelle (SkyLight) schließt den Ladevorgang ab und berechnet die finale

3. Funktionsweise des BP_AnchorManager

Der BP_AnchorManager bildet das funktionale Herzstück der Datenserialisierung. Er steuert sowohl das Auslesen gespeicherter Zustände als auch das Sichern modifizierter Szenen.

Der Ladevorgang (Deserialisierung)

1. Dateiabfrage:

Das System sucht im lokalen Verzeichnis unter Content/SaveGames/ nach der Datei SaveGame.json. Diese Datei enthält den kompletten Zustand der Szene: UUIDs, Transformationsdaten (Position, Rotation), Skalierungswerte, Objekttypen, Objektnamen sowie spezifische Metadaten (z. B. redaktionelle Texte für Info-Tafeln oder Nutzerberechtigungen).

2. Daten-Parsing:

Mittels einer Schleife (For Loop) wird das Feld Anchors innerhalb der JSON-Datei ausgelesen. Die extrahierten Werte und UUIDs werden temporär im Arbeitsspeicher gecacht und anhand ihres Objekttyps semantisch geordnet.

3. Hardware-Abgleich:

Der Manager übergibt die lokalen UUID-Caches an den OculusXRSceneActor. Das Headset sucht daraufhin in der physischen Umgebung nach den korrespondierenden Raumankern.

4. Instanziierung:

Sobald das System die Anker lokalisiert hat, wird an den entsprechenden Koordinaten ein BP_AnchorActor erzeugt. Dieser gleicht seine UUID mit den JSON-Daten ab und fordert über die zentrale Datentabelle DT_SpawnActors das spezifische visuelle Modell an. Ist der Eintrag verifiziert, wird das finale Objekt (BP_SpawnActor) erzeugt und hierarchisch an den Anker gekoppelt.

Der Speichervorgang (Serialisierung)

Der Speichervorgang arbeitet ereignisgesteuert (Event-driven). Sobald eine Person im Creator-Modus ein Objekt platziert, verschiebt oder editiert, registriert das System diese Transformation und löst im BP_AnchorManager das Event SaveAnchors aus. Der Manager scannt die aktive Szene, erfasst die modifizierten Parameter aller BP_AnchorActors und schreibt die aktualisierten Datensätze konsistent in die SaveGame.json zurück.

4. Integration neuer Asset-Typen (Datengetriebene Erweiterung)

Das System nutzt ein datengetriebenes Entwurfsmuster (Data-driven Design). Um neue virtuelle Inhalte in ARIZON einzupflegen, werden diese als Subklassen der Basisklasse BP_SpawnActor angelegt und in der zentralen Datentabelle DT_SpawnActors registriert. Das Framework stellt vier spezialisierte Kind-Klassen zur Verfügung:

5. Technologischer Ausblick: Von lokalen zu geteilten Räumen

In der aktuellen Entwicklungsstufe operiert das ARIZON-System auf Basis isolierter, lokal auf dem Endgerät gespeicherter Raumanker. Diese Architektur ist für präzise Single-Player-Anwendungen im urbanen Raum optimiert.

Die Roadmap sieht eine Migration zu einer servergestützten Architektur unter Verwendung von Shared Spatial Anchors vor. Durch die Auslagerung der Raumanker in eine zentrale Cloud-Infrastruktur können die Lokalisierungsdaten simultan von mehreren Head-Mounted Displays synchronisiert und abgerufen werden. Diese technologische Transformation ermöglicht eine exakte räumliche Koinzidenz: Mehrere Nutzende können zeitgleich am selben physischen Ort interagieren und teilen eine absolut konsistente, synchrone Mixed-Reality-Erfahrung (Multi-User Co-presence).

Ortsbezogenes modulares Storytelling: Der Arizon XR-Prototyp in der Praxis

Ein zentrales Merkmal des Arizon XR-Prototypen ist seine strikte Lokationsbasierung (Location-based XR). Die digitalen Inhalte werden ortsspezifisch kuratiert, um Passantinnen und Passanten gezielt in die Innenstädte zu leiten und dort durch maßgeschneidertes Spatial Storytelling an den physischen Raum zu binden.

Während der verschiedenen Feldforschungsphasen wurden die narrativen Strukturen kontinuierlich evaluiert und an die Module des „Modulomaten“ angepasst. Die Erprobung erfolgte iterativ über mehrere Städte hinweg:

● Recklinghausen: Einsatz eines ersten dreidimensionalen Testobjekts (ein virtuelles Reh) zur Überprüfung der raumstabilen Verankerung.

● Bochum: Platzierung einer animierten virtuellen Statue des Bergmanns Fritz Husemann sowie des offiziellen 3D-Stadtlogos direkt auf dem realen Husemannplatz.

● Gelsenkirchen (Frankeplatz): Die Zusammenführung aller Erkenntnisse mündete in einer Abschlusspräsentation auf dem Frankeplatz im Gelsenkirchener Stadtteil Ückendorf. Hier wurde ein komplexer, roter Faden über eine Vielzahl synergetischer XR-Module gespannt.

Das Reallabor Gelsenkirchen: Szenarien auf dem Frankeplatz

Für die finale Erprobung wurde der Frankeplatz in ein polyvalentes Mixed-Reality-Areal transformiert. Die folgenden Module kamen dabei ortsbezogen zum Einsatz:

1. Kuration und Informationsvermittlung (AR 3D Info & Public Art)

● Vorgefertigte Infopoints:

Der Platz wurde mit einem Netz digitaler Informationstafeln bespielt. Um den redaktionellen Erstellungsaufwand der Tour zu minimieren, kamen primär die standardisierten Vorlagen mit werkseitig eingepflegten Inhalten zum Einsatz. Sie dienten als übergeordnete Orientierungspunkte und inhaltliche Klammer für die übrigen Module.

● AR Public Art (Kooperation mit dem Kunstmuseum Gelsenkirchen):

Um Kunstwerke aus dem musealen Raum in die Öffentlichkeit zu tragen, wurde eine digitale Open-Air-Galerie realisiert. Eine kuratierte Auswahl von Gemälden aus den Museumsbeständen wurde exakt an einer realen Fassadenwand des Frankeplatzes platziert, um Barrieren abzubauen und Impulse für einen Museumsbesuch zu setzen.

2. Untergrund- und Innenraumvisualisierung (AR Infrascan & X-Ray)

Da bestimmte historische oder infrastrukturelle Gegebenheiten physisch verborgen sind, machten die X-Ray-Module diese durch volumetrische Tiefenprojektionen jederzeit sichtbar.

● Infrastruktur-Scan (Glasfaserausbau Gelsenkirchen): An der Bochumer Straße wurde der fortschreitende Gigabit-Ausbau visualisiert. Nutzende konnten mittels der X-Ray-Taschenlampe virtuell in den Asphalt blicken, um den Verlauf der modernen Netzinfrastruktur und der Glasfaserleitungen physisch nachzuvollziehen.

● Paläontologische Spurensuche (Die Emscherpferde): Historische Bezüge wurden direkt auf dem Platz erlebbar gemacht. Das Modul visualisierte die „Emscherbrücher“, eine im 19. Jahrhundert im Zuge der Industrialisierung ausgestorbene Wildpferderasse, die sich historisch in den dortigen Bruchwäldern bewegte.

● Virtuelle Kirchenöffnung (Blick in die Heilig-Kreuz-Kirche): Als architektonisches Highlight des Stadtteils ist die Heilig-Kreuz-Kirche aufgrund von Veranstaltungszyklen nicht durchgehend für das Publikum geöffnet. Das X-Ray-Modul ermöglichte an der Außenfassade einen perspektivisch korrekten, tiefen Einblick in den spektakulär umgebauten Innenraum des Sakralbaus.

3. Navigation und Barrierefreiheit (AR Wayfinder)

Ergänzend zur visuellen Öffnung der Heilig-Kreuz-Kirche kam die Navigationskomponente zum Einsatz. Das System erstellte eine barrierefreie Routenführung vom Frankeplatz zum barrierefreien Zugang des Kirchengebäudes. Endnutzende folgten hierbei dem animierten Leitelement, das den Weg abseits klassischer 2D-Karten immersiv erfahrbar machte.

4. Virtueller Marktplatz (AR Retail Showcase)

Um den lokalen Einzelhandel unabhängig von starren Ladenöffnungszeiten zu unterstützen, wurde ein digitaler Verkaufsstand implementiert. Für diesen Showcase wurden physische Kunstobjekte eines lokalen Künstlers aus Ückendorf mittels Photogrammetrie (unter Nutzung eines iPads und der Software Polycam) dreidimensional digitalisiert. Die detailgetreuen Assets wurden inklusive interaktiver Preisschilder auf einem virtuellen Marktstand auf dem Frankeplatz ausgestellt.

5. Partizipation, Identität und mediale Inszenierung

● Partizipative Stadtgestaltung (AR City Decor):

Nutzenden wurde die Möglichkeit eingeräumt, den Frankeplatz an vordefinierten Zonen virtuell durch das Pflanzen digitaler Bäume zu begrünen. Historischer Ankerpunkt: Die Platzierung erfolgte exakt an einer Stelle, an der in früheren Dekaden eine reale Eiche das Stadtbild prägte.

● Virtuelle Assistenz (Guide in AR):

Beim Initialisieren der Anwendung interagierten die Nutzenden mit einem virtuellen Tourguide. Das mittels Billboarding umgesetzte Greenscreen-Video passte sich kontinuierlich dem Blickwinkel des Nutzers an und lieferte eine kompakte Einführung in das Gesamtsystem.

● Kontextuelle Videoprojektion (AR Big Screen & ARtlab):

In einem realen Schaufenster, das selbst Teil historischen Filmmaterials ist, wurde ein virtueller Röhrenmonitor platziert. Dieser spielte eine Archivaufnahme ab, die eine historische Überschwemmung in Ückendorf dokumentiert. Flankiert wurde die Inszenierung im städtischen Raum durch ein großflächiges virtuelles Wandgemälde (Mural), das über das ARtlab-Modul an eine Hausfassade projiziert wurde.

● Lokale Zeitzeugen (AR Zeitzeugen):

Um das Erbe des Architekten Josef Franke, nach dem der Platz benannt wurde, und seiner Ehefrau (einer bildenden Künstlerin) zu würdigen, wurde direkt unterhalb des physischen Straßenschildes eine virtuelle Doppelstatue verankert. Diese fungiert als digitales Denkmal im öffentlichen Raum.

Die „Modulomat“-Architektur: Systematik und Integration digitaler Assets

Um Anwendenden ein maßgeschneidertes und kontextbezogenes Erlebnis zu bieten, nutzt die Anwendung ein flexibles Asset-Management-Framework. Dieses System erlaubt es, alle digitalen Inhalte sowohl semantisch nach Themenkategorien (z. B. Kunst, Historie oder Infrastruktur) als auch nach ihrer technischen Objektart zu klassifizieren. Diese serverseitige Kuration sichert eine saubere visuelle Struktur und sorgt für eine intuitive Handhabung aufseiten der Creator und Endnutzenden.

Die im System implementierten Objektarten differenzieren sich durch ihre technischen Eigenschaften und Interaktionsmöglichkeiten:

1. Volumetrische und planare Geometrien (3D- und 2D-Objekte)

● 3D-Objekte: Hierbei handelt es sich um volumetrische digitale Modelle (z. B. Statuen, Rekonstruktionen oder Kunstobjekte), die frei im dreidimensionalen Raum platziert und verankert werden können. Sie reagieren dynamisch auf den Lichteinfall und die Position des Nutzers.

● 2D-Objekte: Diese Kategorie umfasst planare zweidimensionale Elemente wie Fotografien, historische Dokumente oder digitale Wandgemälde (Murals). Sie lassen sich entweder frei im Raum schwebend oder bündig an physischen Oberflächen wie Häuserwänden ausrichten.

2. Räumliche Informationssysteme (Info-Points)

Info-Points dienen als visuelle Schnittstellen zur strukturierten Wissensvermittlung über Text- und Bildmedien. Das System unterscheidet zwei funktionale Klassen:

● Editierbare Info-Points: Diese Module bieten Creatoren die Möglichkeit zur flexiblen In-situ-Editierung. Texte können direkt innerhalb der Anwendung über die virtuelle Tastatur modifiziert werden. Zudem stehen diese Panels in verschiedenen, skalierbaren Größenformaten zur Verfügung.

● Vorgefertigte Info-Points: Diese Vorlagen beinhalten bereits vordefinierte, fest programmierte Inhalte. Sie eignen sich besonders für komplexe Datensätze oder umfangreiche redaktionelle Texte, da sie den zeitlichen Aufwand bei der Einrichtung vor Ort minimieren.

3. Kollaborative Interaktionszonen (User Areas)

Um eine unkontrollierte Überfrachtung des öffentlichen Raums mit digitalen Inhalten zu verhindern, verfügt das System über ein raumbasiertes Rechtemanagement. Creator können über sogenannte User Areas präzise geometrische Zonen im städtischen Raum definieren, innerhalb derer auch Endnutzende die Berechtigung erhalten, Objekte zu platzieren. Administrativ lässt sich vorab exakt einschränken, welche Objektkategorien für die Nutzenden freigegeben sind. Dies sichert die visuelle Balance und die thematische Integrität des urbanen Erlebnisses.

5. Volumetrische Tiefenvisualisierung (X-Ray-Module)

Die X-Ray-Funktion ermöglicht den visuellen Durchblick durch physische Barrieren und legt verborgene Strukturen frei. Typische Anwendungsfälle sind der Blick in das Innere geschlossener historischer Gebäude oder die Sichtbarmachung unterirdischer Infrastrukturen wie Glasfaserleitungen.

Im Gegensatz zu herkömmlichen Methoden, die auf statischen 360°-Panoramen oder flachen 2D-Projektionen basieren, nutzt diese Technologie echtes volumetrisches Rendering. Dadurch bleibt die räumliche Parallaxe aus jedem Blickwinkel absolut korrekt: Bewegt sich der Nutzer, verändert sich die Perspektive auf das verborgene Objekt vollkommen realistisch. Da diese visuelle Täuschung eine extrem hohe Immersion und ein starkes Präsenzerleben erzeugt, integriert das System visuelle Sicherheitsindikatoren. Diese verhindern, dass Nutzende aufgrund der wahrgenommenen räumlichen Tiefe real gegen geschlossene Türen oder Wände laufen. Die Interaktion erfolgt wahlweise über die Taschenlampen-Funktion für den Untergrund oder über ein portalähnliches Sichtfenster an Gebäudefassaden.

6. Dynamische Medienintegration (Videos)

Das System unterstützt zwei unterschiedliche Verfahren zur Einbindung von Bewegtbildinhalten:

● Virtuelle Screens: Das Videosignal wird auf eine planare 3D-Geometrie projiziert und agiert wie ein im Raum schwebender digitaler Bildschirm.

● Chroma-Keyed Billboard-Hologramme: Hierbei werden vor einem Greenscreen aufgezeichnete Personen freigestellt und als transparente Video-Elemente integriert. Durch die Anwendung eines Billboarding-Algorithmus drehen sich diese Avatare kontinuierlich mit der Bewegung des Nutzers mit. Es entsteht der optische Eindruck eines dreidimensionalen Hologramms. Diese Methode wird primär für die Benutzerführung, historische Inszenierungen oder als virtueller Tourguide bei Stadtführungen eingesetzt.

Modulare Erweiterbarkeit

Die Softwarearchitektur der Gesamtanwendung ist vollständig entkoppelt und erweiterbar konzipiert. Neue technologische Objektarten, innovative Interaktionsmuster oder zukünftige Medienformate lassen sich über standardisierte Schnittstellen (APIs) nahtlos in das bestehende System und das Auswahlmenü integrieren.