3D Scan per iPad?

Meine Frage/Idee anlässlich meiner Unity 3D-Aktivitäten war, ob es eine einfache Möglichkeit zum 3D Scan per iOS-App gibt: Fündig geworden bin ich hinsichtlich der kostenpflichtigen iPhone-App Trnio (1,09 Euro), die von der Seite https://3dscanexpert.com/3-free-3d-scanning-apps/ empfohlen wurde.

Es war nicht ganz einfach, mit dem iPad mein gewünschtes Objekt, d.h. ein kleines Stofftier-Nilpferd, zu umkreisen. Das Objekt zu drehen und dabei aus der gleichen Position Fotos zu machen, war leider technisch nicht vorgesehen. Nach einigen Versuchen kam ein Ergebnis zustande, mit dem ich recht zufrieden bin und das gerade wegen der Fehler, u.a. bei der Unterlage, etwas künstlerisch wirkt… Das Ganze konnte ohne vorherige Anmeldung bei Trnio erfolgen; die Bilder sind allerdings automatisch auf den dortigen Server geladen worden, wo auch das Modell aus den Einzelbildern errechnet wurde. Das dauerte einige Zeit und daher habe ich auf Nachbearbeitung verzichtet. Bzgl. Exportieren habe ich aus der App heraus die High-Resolution-Variante gewählt und das Format PLY; den temporären Download-Link konnte man sich zumailen lassen. Automatisch gab es auch einen Link zur öffentlichen Webseite mit meinem 3D-Scan: http://trn.io/2/2G70hcJJJU/

Die Weiterverwendung des 3D Scans in Unity 3D erforderte einen Konvertierungs-Zwischenschritt, und zwar über MeshLab, weil in Unity 3D das Format *.ply nicht verwendet werden kann. Am vielversprechendsten erschien mir hierbei das Format Collada (*.dae) mit nachträglicher Integrierung der jpg-Texture-Datei.

 

Street View 360° panorama shots

One of the tasks in the „How VR works“ MOOC included taking a 360° panorama shot with the Street View Smartphone App. At first I ignored the 360° version and just took a panorama shot by turning myself once around: the photo was quite good and done in seconds, but it wasn’t very immersive because the upper part and lower part were „missing“.
Doing it correctly wasn’t easy as I was standing in the Palatine forest and in the end, the trees consisted of many single pictures which had to fit – otherwise you get ghost trees coming out of nowhere …
This is the best of my attempts which I already uploaded to Google, so it can be found via this short url (https://goo.gl/maps/hxqmta79LLA2) or you can see it embedded here:

VR-Bookmarks

In den letzten Monaten habe ich mehr oder weniger systematisch Links zu verschiedensten Aspekten von VR gesammelt und diese heute nun endlich mal in die Bookmarkdienste Delicious (aus Gewohnheit, so toll ist der Dienst nicht mehr) und diigo eingestellt. Dabei gibt es viel zu entdecken:
Vom Link zu den bibliographischen Angaben des c’t wissen VR-Spezial-Hefts 2016 bis zum Volltext von Elliott Masies „VR Learn Report“ (1/2017), die mit sehr vielen Beispielen versehene merton-magazin-Kolumne „Virtuelle Realität wird uns klüger, kreativer und empathischer machen“, Zahlen der Bitkom-Befragung zu VR (7/2016), Daten und Fakten zu den bislang über 5 Mio mal verkauften Modellen der VR-Brille „Samsung GearVR“, einzelne empfehlenswerte Apps für GearVR oder Cardboard, 360-Grad-Bilder/-Videos: Infos zu Kameratypen & Beispielen aus Harvard CS50VR und Trinity College, Aufsätze zur Oculus Rift (incl. den lesenswerten begeisterten Bericht von Donald Clark aus 2013 – drei Jahre später ist er übrigens immer noch begeistert und listet auf „10 ways to get started with VR in learning – a primer“), den historischen Abriss zu VR von Audrey Watters, Infos zu VR in Schulen bzw. zum Lernen, Bewerbungen per VR, VR für Trainings, Virtual Reality Arenen in Deutschland (überraschend, was es da schon alles gibt) … und natürlich hat sich auch die Stiftung Warentest schon in einem Bericht (allerdings wenig begeistert) zu VR geäußert.

Weiteres Testen der Samsung GEAR VR

Bereits vor Monaten hatte ich rercherchiert / ausgewählt, welche kostenlosen Anwendungen ich mir auf der Samsung GEAR VR anschauen möchte: Heute bin ich zum Ausprobieren gekommen, auch motiviert durch die LEARNTEC-Vorträge zu VR (die sich allerdings alle auf die teurere und mächtigere HTC VIVE bezogen). Da ich die Samsung GEAR VR einige Monate nicht genutzt hatte, musste ich erstmal durch einen Update-Marathon, wo sich mittlerweile auch Einiges verhakt hatte. D.h. nach dem Aufsetzen erhielt ich nicht die „Oculus Home“ Startseite, sondern wurde aufgefordert, die Gear abzusetzen und die Updates durchzuführen. Letztendlich musste ich die Oculus-App deinstallieren und einige Rechte auf dem Handy, die ich zwischenzeitig gesperrt hatte, wieder freigeben. Nicht selbsterklärend und benutzerfreundlich, aber naja.
Samsung hat sein eigenes App-Universum, d.h. Apps müssen auch dafür aufbereitet und freigegeben sein!
https://www.oculus.com/experiences/gear-vr/

Videos in VR
Die meisten der Apps, die ich testweise heruntergeladen hatte, basierten auf 360 Grad Stereo Videos, so z.B. die „SZ VR“ (Link) der Süddeutschen Zeitung mit Videos im Kontext der Olympischen Spiele in Rio, „WITHIN“ (Link) mit verschiedensten Inhalten und „NEXTVR“ (Link) mit Live-Übertragungen von Veranstaltungen.
Diese Apps benötigen dann logischerweise Internetzugang fürs Streaming. Bei „WITHIN“ hat mir der Film „Click effect“ (James Nestor, ca. 7min) gefallen, in dem es um „Free diving with two marine scientists“ geht und die entsprechende Unterwasserwelt gezeigt wird. Vorteil ist dort m.E., dass man unter Wasser nicht unbedingt ein 1A-Bild erwartet und die Pixel des Handy-Displays, die sonst bei VR oft störend zu sehen sind, sehr in den Hintergrund treten. Ein Beispiel für eine App, in der ich es deutlich länger ausgehalten habe, war die Aufzeichnung der „GAME AWARDS 2016“ über NEXTVR: Die Aufzeichnung wäre 1 Stunde 24 min gewesen, doch ich bin immerhin 40 min dabei geblieben, ehe es dann zu einer Zwangspause kam, weil die Samsung GEAR VR meldete „Die GEAR VR muss abkühlen“. Thematisch sind Games und VR nah beieinander und diese Art der Übertragung in VR war deutlich professioneller gestaltet als einfach eine Veranstaltung in 3D abzufilmen – schon daher lohnte ein Blick in die Aufzeichnung. Auch hier störten die Pixel gar nicht, selbst die Projektion der in den jeweiligen Kategorien nomierten Games auf der Leinwand war angenehm anzuschauen. Geschickte Wechsel der Kameraperspektive und teilweises Ausblenden des Publikums mit überlagerter VR-üblicher Szenerie / Sternen machten das Schauen angenehm und fokussierter. Darüber hinaus lernte man dabei inhaltlich doch Einiges über die aktuelle Gamer-Szene (vgl. Webseite The Game Awards).

Künstliche Welten in VR
Einen anderen Ansatz verfolgen ja Apps, die von vornherein künstliche Welten zu verschiedenen Zwecken generieren, so z.B. die in Unity erstellte „VirtualSpeech“, die einem verschiedene Szenarien anbietet, damit man eigene Vorträge / Vorstellungsgespräche  proben kann. Die Idee ist interessant, aber das Ganze konnte mich nicht überzeugen – der Ablauf bei den Zuschauern ist (bzgl. Nicken, Gesten etc.) zu starr.
Bzgl. Lernen habe ich die App „Labster: CSI Forensic Labs“ (Link) ausprobiert, in der mit vielen nutzerseitigen Interaktionen gearbeitet wird, um die DNA-Analyse einer Blutprobe zu simulieren. Die App ist wirklich einen Besuch wert; darüber hinaus ist die Arbeit mit eingebauten Texten, Hilfen und auch kurzen Videos zum Thema „DNA“ optisch sehr gut umgesetzt.
Was die Optik von künstlichen Welten betrifft, ist auch das Beispiel der „holographic simulations“ innerhalb der „Marvel Avengers: Tony Stark’s Lab“ (Link) recht eindrucksvoll und detailreich umgesetzt.

Soweit für heute, sicherlich gibt es inzwischen schon andere interessante kostenlose „Samsung GEAR VR“-Apps.

CS50 VR 2016 mit Cardboard

Länger als geplant habe ich nichts mehr geschrieben zu meinen VR-Aktivitäten. Inzwischen ist die angekündigte „CS50 VR 2016″-Vorlesung schon angelaufen und es befinden sich bereits Videos bis Woche 8 in einer Playlist auf YouTube: https://www.youtube.com/playlist?list=PLhQjrBD2T381yQVAOzT-PHcGMgvjFX2V6

Für mich erstaunlich ist, dass das Ganze nach anfänglichen Ankündigungen (Promo-Video)  doch recht unbemerkt Ende September an den Start ging und ich eher zufällig auf YouTube Anfang Oktober die ersten VR-Videos bemerkt habe. An Berichten habe ich lediglich diese beiden Beiträge gefunden:

Dass das Ganze von der Kamerausstattung her teuer ist, war klar, aber diese Zahlen ($45,000 Dollar für eine professionelle VR Kamera) beeindrucken dann doch.
Wie wirken nun also die CS50VR-Videos auf Cardboard-Brille und Samsung-Brille?

Für die Cardboard-Brille kann man auf dem Handy einfach wie gewohnt YouTube starten, z.B. die Playlist aufrufen und bekommt im Querformat beim jeweiligen Video das Cardboard-Symbol zum Umschalten angeboten. Die Bildqualität finde ich immer noch zu „schlecht“, um sich wirklich die mehrstündigen Inhalte anzuschauen, aber trotzdem ist es schon sehr beeindruckend. Insbesondere, wenn auch Studierende bei der Aufzeichnung im Auditorium zu sehen sind wie bei „Week 0“ (aus Datenschutz-Gründen wäre so etwas derzeit in Deutschland wohl kaum machbar); sonst sieht es beim Rundum-Blick doch recht einsam aus. Für Nutzer weltweit sind diese CS50VR-Videos per Cardboard wirklich einfach und kostengünstig nutzbar und man sieht, wohin es gehen könnte. Während man die Cardboard nutzt, kann man ja keine Notizen zur Vorlesung machen, aber die sowieso nötigen eigens gewählten VR-Brillen-Pausen könnten natürlich dazu genutzt weden, im Anschluss (auch schriftlich) zu reflektieren, was man gehört hat.

Mit der Samsung-Brille war es vergleichsweise unerfreulich, nicht nur weil erstmal mehrere generelle Samsung-Update-Vorgänge nötig waren, die erst durch das Aufsetzen der Brille angestoßen wurden: Ich habe es nicht geschafft, die neuen Harvard-Videos – beim Promo-Video ging es noch – im richtigen Format (es wurden verschiedene angeboten) anzuschauen. Hinzu kommt: Den Umweg über „Samsung Internet“ statt einer direkten YouTube-Nutzung finde ich nach wie vor umständlich  und nach kurzer Zeit wird es unter der eng anliegenden Brille recht warm, was zum Beschlagen führt.

Wer eine „bessere“ Bildqualität möchte und trotzdem einen räumlichen Eindruck der CS50VR-Vorlesungen, kann – am Besten am Notebook oder PC, da ist der Bildschirm dann groß genug – einfach mal die VR-Reihe auf der YouTube-Webseite aufrufen und die Maus bzw. das Touchpad nutzen, um sich im Video „umzusehen“.