So lautete der Titel eines Bildungsurlaubes in Hamburg in den 90er Jahren – Damals besuchten wir Redaktionen und diskutierten die Arbeitsweise (Spiegel und Springer, Sat1 und Tagesschau, dpa u.a.). Etliche Jahre später… Mittlerweile haben mediale Umsetzungen längst ihren Einzug in die Museumswelt bzw. digitales Entertainment gefunden, und so stand im Herbst-Kurzurlaub in Hamburg „Panik City“ und „Discovery Dock“ auf meinem Programm. Beide nutzen derzeit angesagte Techniken, darunter Augmented Reality/Mixed Reality, Virtual Reality, Videos incl. 360-Grad-Videos, Riesen-Touchscreens, Projektionen & Simulationen und bieten den Besuchern jede Menge Interaktivität. Faszinierend und beeindruckend waren beide Besuche und zeigen für sehr unterschiedliche Thematiken, was derzeit mit digitaler interaktiver Technologie (und sicherlich viel Geld) alles machbar ist.
Panik City als sehr lebendige & schräge Ausstellung („Multimedia-Erlebnis“, Tour ca. 90 Minuten) über Udo Lindenberg bietet inhaltlich in 6 speziell gestalteten Räumen Einblicke ins Atlantic-Hotel, Gronau, DDR-Bezüge, Aufnahmestudio, Likörelle-Malerei und Liveauftritt mit politischem Bezug (aufgenommen übrigens in der SAP-Arena in Mannheim…): https://panikcity.de/
Discovery Dock bietet eine Hafen-Erlebnis-Tour (ca. 50 Minuten) mit Informationen zu Docks, Waren & Zoll und Natur. Am beeindruckendsten fand auch ich den Multimedia-Tisch (s.a. YouTube-Video: https://youtu.be/9hFnEs_YVPU), der u.a. die realen Schiffsbewegungen im Hafen im Zeitraffer anzeigt: https://discovery-dock.de/
Und hier einige Fotos aus den wenigen Regenpausen:
Dank ARKit2 ist es möglich, ein 3D-Modell, das in das neue USDZ-Format konvertiert und auf einem Webserver abgelegt wurde, von iOS12-Geräten (mittels Safari) aufzurufen und als AR-Element in die reale Welt einzufügen. Technisch möglich wird dies durch die neue Quick-Look-Funktionalität in iOS12. Dort kann das Objekt dann verschoben bzw. vergrößert oder verkleinert werden, und der Betrachter kann es aus verschiedenen Winkeln anschauen.
Mein Beispiel (Die USDZ-Datei befindet sich auf meinem Webserver.):
Sehen Sie dieses Symbol rechts oben im Nilfperd-Bild?
Falls nicht, diesen Blogbeitrag von einem iOS12-Gerät mittels Safari aufrufen. Wichtig: Das verwendete iOS-Gerät muss ARKit2 technisch unterstützen! Eine Liste passender Geräte findet sich relativ weit unten auf dieser Webseite: https://www.apple.com/de/ios/augmented-reality/
Nilpferd-3D-Modell anklicken, Laden abwarten
„AR“ antippen, Objekt in reale Welt (helle Umgebung) einsetzen
Ggf. AR-Objekt verschieben, vergrößern, um das Objekt herumgehen
Das Nilpferd hat bereits „App-Erfahrung“ sowie als VR-App als auch als AR-App.
Ursprünglicher Ausgangspunkt war der 3D-Scan des kleinen Nilpferdes per iOS-APP TRNIO, damals exportiert im PLY-Format.
Zwischendrin erfolgte eine Konvertierung nach DAE, und dieses Format wurde nun auch verwendet für die Konvertierung nach USDZ, und zwar per Webdienst Vectary (https://www.vectary.com/). Alternativ hätte man auf einem MAC per Xcode10 und Terminal App eine „OBJ“-Datei nach USDZ konvertieren können (Schema: xcrun usdz_converter ~/Desktop/myFile.obj ~/Desktop/myFile.usdz)
(Update 25.5.19: Zufällig gesehen – Vectary-Konvertierungen nach USDZ sind nicht mehr kostenlos möglich)
Das Ergebnis: Modifizierte Hello AR U3D App im Einsatz (zum Vergrößern anklicken)
Es hilft nichts: Wenn man im E-Learning up to date bleiben möchte, muss man ständig neue Technik kaufen. So auch in diesem Fall, um aktuelle Augmented-Reality-Apps auszuprobieren. Sowohl mein Samsung S6 als auch mein iPad Air2 waren gerade die Geräte, die nicht mehr bzgl. ARCore/ARKit unterstützt werden. Insofern Kauf von S9 in der Hoffnung, wieder für ca. 2 Jahre aktuell zu sein.
Vorhandene Apps ausprobieren ist eine Sache, selber so etwas zu gestalten eine ganz andere Sache. Nach „Blooms Taxonomie“ wären wir da schon auf einer recht hohen Ebene …
Sehr beeindruckend finde ich die AR-Möglichkeiten mittels des recht neuen ARCore für Android mit den Merkmalen „Umgebungserkennung, Bewegungserkennung und Lichtabschätzung“: Gut gefallen haben mir z.B. die Apps „Google Expeditionen AR“ (Vincent Van Gogh-Gemälde u.v.m.), „NASA SpacecraftAR“ oder „Paint AR“ (virtuelle Luftschlangen incl. Schatten mit integrierter Recording-Funktion u.v.m.).
Will mann nun ARCore-Apps selbst erstellen, gibt es netterweise für Unity 3D seitens Google hier ein einfaches „Hello AR“-Beispiel. Dann muss man „nur noch“ in Unity 3D die entsprechenden AR-Konfigurationen machen, um dieses Beispiel dann auf ein für ARCore passendes Handy (und das sind derzeit eben leider nur ganz wenige Modelle, s.a. https://developers.google.com/ar/discover/supported-devices) zu übertragen.
Idee
Mein Ziel war, ähnlich den o.g. Apps mein Stofftier-Nilpferd in eine ARCore nutzende Android-App zu bekommen, d.h. das Nilpferd-3D-Modell später in beliebigen realen Räumen einfügen zu können, näher darauf zuzugehen bzw. sich davon wegzubewegen sowie es im realen Raum als 3D-Modell wahrzunehmen. Die Umsetzung dieser Idee war dank des „Hello AR“-Beispiels (und vermutlich meiner Vorkenntnisse in Unity 3D) erstaunlich einfach.
Umsetzung Verwendet habe ich für das Ganze meine bereits für VR genutzte Unity 3D-Version „2017.3.1f1 Personal 64bit“. Hilfreiche Anleitungen für ARCore waren:
Was leider nicht geklappt hat, war „Instant Preview“: https://developers.google.com/ar/develop/unity/instant-preview
Ausschlaggebend ist wohl „On Windows machines with an integrated GPU, the Unity Editor’s video feed is not mirrored back to your phone.“ Aber da es nicht lange dauert, per „Build and Run“ das App-apk zu erzeugen und per USB aufs Handy zu übertragen, kann ich verschmerzen, dass der integrierte Player in Unity 3D (im Gegensatz zur VR-Progammierung, wo er gut klappt), hier nicht mitmacht.
Ein (nicht perfektes, aber zumindest funktionierendes) 3D-Modell des Stofftier-Nilpferdes hatte ich ja schon für meine VR-App verwendet und somit konnte ich es in Unity 3D auch für das AR-Projekt nutzen: Konkret habe ich dafür einfach im Inspector im „Hello AR Controller“-Skript bei „Andy Android Prefab“ das kleine grüne Android-Modell durch mein Nilpferd-Modell ersetzt. Korrigieren musste ich anschließend nur noch den Nilpferd-Modell „Scale Factor“, weil das Objekt sonst so groß im Raum erschien, dass weder Umgebungs- noch Bewegungserkennung richtig funktionierten.
Ausprobieren der modifizierten AR-App
Unterwegs im Waldpark Mannheim habe ich gestern nachmittag einige Male die von mir bzgl. des Nilpferdes angepasste ARCore App „Hello AR U3D“ ausprobiert. Im Folgenden drei Screenshots aus der App als animiertes gif – Start war zu Hause im Flur (die Türstopper sind „echt“, das Nilpferd ist per AR eingefügt). Was man auf den Bildern leider nicht sieht, ist, dass es sich bei dem eingefügten Nilpferd-Modell um ein Objekt handelt, um das man mit Blick aufs Handy-Display herumgehen kann, wobei sich die Perspektive ändert. Ebenso möglich ist es, sich von dem Objekt zu entfernen bzw. sich zu nähern, wodurch es dann größer erscheint und man mehr Details sieht. Das zu zeigen wäre nur per Screenrecording möglich gewesen, was mir jedoch zu aufwändig war.
Wie schwierig es wäre, mit Unity 3D & ARCore nun eine sinnvolle Lern-App zu erstellen (die ja deutlich mehr Features benötigen würde als in dem Beispiel-Skript enthalten sind), kann ich an dieser Stelle noch nicht sagen. Wichtig wären auf jeden Fall zuvor gut erstellte 3D-Modelle.
Screenshots aus modifizierter Hello AR U3D App
Diese Website benutzt Cookies. Wenn du die Website weiter nutzt, gehen wir von deinem Einverständnis aus.OK
