Bitforge am Oculus Mobile VR Jam: Spatial VR Viewer

Virtual Reality Brillen sind eine sich entwickelnde Technologie, deren praktische Nutzung sich in den nächsten Jahren abzeichnen wird. Vergleichbar mit der Mobiltelefonie vor dem Durchbruch der Smartphones, stellen wir uns vor, dass eine anwenderfreundliche VR Umgebung in naher Zukunft auftauchen wird und einen revolutionären Zugang zu digitalen Daten ermöglichen wird.

Für den vorliegenden Wettbewerb, mit seinem starken Fokus auf Innovation, haben wir uns entschieden, die Anwendungsmöglichkeiten der gegebenen Hardware – Gear VR ist eine Videobrille basierend auf einem Smartphone – neu auszuloten und zu erweitern.

Ein zentrales Problem von Gear VR ist das Headtracking: die Brille kann die Blickrichtung des Benutzers genau und schnell feststellen, jedoch nicht Verschiebungen seiner Position, also etwa seitliche Bewegungen des Kopfes. Für ein bessers VR Erlebnis, sollte der virtuelle Gesichtspunkt möglichst die realen Bewegungen nachempfinden. Ein solches Erlebnis für die Gear VR mit existierender Technologie zu bauen war unsere Motivation.

Wir entwickelten eine Anwendung zur Besichtigung von virtuellen 3D Objekten in einer Art Ausstellungssituation. Ein Anwendungsgebiet dafür ist in der Architektur, wo ein Modell in verkleinertem Massstab angesehen werden kann, wie eine klassisches, gebautes Architekturmodell. In unserem Beispiel verwenden wir ein solches Modell basierend auf CAD Daten eines Hauses der ASA AG. Der Benutzer bewegt sich dazu physisch um einen Marker, etwa auf einem zentralen Podest, um mit der Gear VR das virtuelle Gebäudemodell von allen Seiten zu sehen. Aus dieser realen Bewegung um den Anhaltspunkt stellen wir eine relative (Kamera-)Position zum virtuellen Objekt her.

Da wir wollen, dass man sich seitwärts wie auch senkrecht zum betrachteten Objekt bewegen kann, brauchen wir eine zuverlässige Positionierung für den virtuellen Raum und schnelle Reaktionszeiten in verschiedenen Ansichtswinkeln und Situationen. Um das zu erreichen, fusionierten wir zwei verschiedene Positionierungstechniken:
Aus den Beschleunigungssensoren und Gyroskopen der Gear Brille (bzw. des darin verwendeten Smartphone) errechnen wir fortlaufend Verschiebungen in 3D.

Um zu wissen, wo im Raum, relativ zum zentralen Objekt, der Betrachter steht, verwenden wir Vuforia Marker Tracking von Qualcomm. Ein (ausgedrucktes) Bild als visueller Marker wird als Platzhalter an den Ort gelegt, wo das virtuelle Objekt erscheinen soll; wann immer die Smartphone-Kamera dann den Marker „sieht“, wird daraus die Raum-Position errechnet.
Die Outputs dieser beiden Techniken verschmelzen wir zu einem schnelleren und stabileren Resultat, als beide für sich allein produzieren könnten. Damit kann der Betrachter in eine virtuelle Realität eintauchen, in der er sich, wie sonst mit Gear VR unmöglich, seitlich um das Objekt bewegen kann.

Das Modell kann man jetzt 3-dimensional sehen, aber natürlich nicht anfassen, um dennoch mit dem Haus zu interagieren, kann man mit dem eingebauten Touchpad der Brille die Stockwerke des Modells einzeln anheben um einen Einblick zu erhalten.

Mit Spannung blicken wir auf die weitere Entwicklung im Bereich Virtual Reality und wollen von Beginn an aktiv dabei sein. Die Verkündung der VR Jam Wettbewerbs-Platzierungen wird Anfangs Juni 2015 stattfinden.
Diese Arbeit ist für uns vor allem eine Machbarkeitsstudie, auf welcher aufbauend Produkte entwickelt werden können.