Gopro Fusion - Wieso, weshalb, warum?

360-Grad-Video ist zum großen Thema geworden. "VR" soll es in den nächsten Jahren irgendwie reißen. - Galt es noch vor ein paar Jahren als sehr aufwändig, so etwas halbwegs vernünftig aufzuzeichnen, liefern moderne Prozesortechnik, Speichermedien und immer bessere Software jetzt Lösungen, die schon ziemlich gute Ergebnisse liefern.

Mir persönlich geht es aber nicht primär um die Erstellung von 360°-Videos, sondern um die von Gopro herausgestellte Möglichkeit des "Reframings" - was meines Erachtens in nächster Zeit auch die hauptsächliche Anwendung in (semi-)professionellen Segmenten sein wird.

Vom Kameramann zum Editor ...

"Reframing" - das bedeutet tatsächlich: ich nehme erstmal alles auf und suche mir später das beste raus. Und zwar mit sämtlichen Freiheiten, denn es lassen sich Schwenks, Zooms und harte Schnitte mit komplett neuen Bildinhalten generieren. - Das ging auch im Ansatz schon mit 4k-Material, aber ein Zoom oder Schwenk hat eine andere Anmutung als das Reframing, da bei letzterem optische Verzerrungen generiert werden, die für eine Art von "Lebendigkeit" und mehr Dynamik sorgen. - Das Ganze hat natürlich Grenzen, da man nicht sehr weit in ein solches Bild hineinzoomen kann (und hier machen dann tatsächlich auch noch Auflösungen von 8 oder 12k richtig Sinn), aber der technische Stand der Fusion - es wird standardmäßig ein äquirektanguläres 5,2k-Bild (5120 x 2560 Pixel) erzeugt - liefert, auch durch das nahezu perfekte Stitching, durchaus brauchbares Material.

Von der Theorie zur Praxis - was geht?

Ich bin Fusion-Besitzer der ersten Stunde und erlebte den in heutiger Zeit durch den wirtschaftlichen Druck immer mehr normal gewordenen Umstand, als Erst-Käufer automatisch Beta-Tester zu sein... - die Software funktionierte "so la-la" und einige Features wie die Verarbeitung von Fotos im RAW-Format waren schlichtweg nicht verfügbar. - Man hatte die GPR-Dateien, konnte sie aber nicht ohne kostspielige Drittsoftware nicht stitchen.

Mit dem Speicherverbrauch verhält es sich so:

• 2 x 64GB, 5,2k/25fps [PAL], Protune Off: 2h 30min
• 2 x 64GB, 5,2k/25fps [PAL], Protune on: 1h 57min (interessant!)

Laufzeit, die erste:
Der Akku hält so um die 70min durch, es besteht aber die Möglichkeit, über die USB-C-Buchse die Kamera über externe Stromquelle - also z.B. einer Powerbank über längere Zeiträume laufen zu lassen.

Laufzeit, die zweite:
Auch wenn genügend Strom da ist - Je nach Umgebungstemperatur kann eine lange durchgehende Aufnahme an Überhitzung der Fusion scheitern. Gopro-typisch am Helm eines Snowboarders dürfte das kein Problem sein, aber in einem warmen Innenraum mit wenig Luftzirkulation - Konzert z.B. - hatte ich schon Aufnahmen, die nach ca. 40min zwangsbeendet wurden. 

Protune.. - momentan gibt es keinerlei Möglichkeit, den Weißabgleich manuell einzustellen… hm … Wird da ständig automatisch rumreguliert? Bitte Gopro: im Idealfall sollte man die Kelvinzahl in moderaten Schritten einstellen können. Sicherlich kein Riesenproblem.

Ebenso lästig - gerade bei Fotos: die zwei Kameras belichten individuell. Ungünstig ausgerichtet führt das zu sehr unterschiedlich belichteten Bildern. Hier wäre eine "Lock"-Funktion nett. Die Back-Kamera soll einfach so belichten wie es die Front-Kamera vorgibt.

Kleinkram: schön wäre es entscheiden zu können, in welchem Modus die Gopro startet. Wer immer nur Fotos macht, muss erst jedes Mal umschalten.

Software

Ich kann nur von Erfahrungen mit der App für Android-Smartphones und der Desktop-Software Fusion Studio berichten. Mit meinem BQ Aquaris X-Pro habe ich Glück: Kamera wird schnell erkannt, Preview läuft, Aufnahme, Einstellungen ändern ... eine große Erleichterung. Bei anderen wesentlich bekannteren Smartphones scheint es da noch Probleme zu geben, aber man bemüht sich um Anpassung, heißt es von Gopro.

Die Windows-Software Fusion Studio wurde von mal zu mal verbessert. Nach 1.0 ist jetzt die Stabilisierung schon sehr gut. Kein Gefummel und Geschiebe mehr - das Bild ist in der Regel gleich korrekt und ready-to-render, Auch das viel gepriesene RAW-Format der Fotos wurde erst spät nutzbar gemacht - wenn auch nicht, wie erwartet. - Die RAWs müssen extern (also z.B. Adobe RAW-Konverter oder Lightroom bearbeitet und zu JPGs entwickelt werden. Diese kommen dann speziell benannt in das Verzeichnis mit den Originaldateien und werden anstelle dieser gestitcht. - Das hätte wohl auch schon eher realisiert werden können … ;-)

Die Fusion wird via USB erkannt und zwei Laufwerke werden angezeigt. In der Software lassen sich Clips auswählen, - Generell empfiehlt es sich aber, die Karten per Kartenleser auszulesen. Geht schneller und zuverlässiger. Die Dateien beider Karten können dazu in ein gemeinsames Verzeichnis kopiert wrden. - Längere Aufnahmen liegen gestückelt (4GB-Teile) vor und werden vor dem Rendering "gemerged". Rendert man dieselben Clips aus irgend einem Grund nochmals, "weiß" die Software nicht, dass da schon Clips zusammengefügt wurden und macht es nochmal ... muss auch nicht sein. - Ich persönlich wünsche mir die Möglichkeit, dass die Dateien sinnvoller - z.B. "2017-12-24_18-23-33_Video0355.mp4" benannt werden, als nur mit einer Nummer.

Glücklicherweise ist es möglich, per In- und Out-Markierungen auch nur Ausschnitte einer Aufnahme zu rendern - das kann einem bei solchen Monsterdateien schnell mal ein paar Gigabytes an Plattenplatz sparen. Heißt aber auch, dass man bei z.B. bei  Veranstaltungen die Kamera ruhig etwas früher starten kann.

Es wird gross…

Eine Minute aufgenommenes Material benötigt ca. 2 x 325MB Kartenplatz – das Rendering in das Cineform-Format erzeugt eine finale Datei von 3,22GB Größe - als Prores entstehen sogar 4,9GB. Recht fett! - Hintergrund ist, dass solche Videos in Editing-Programmen verwendet werden sollen - also auch abspielbar sein sollten. Codecs wie H264 oder gar H265 liefern zwar ultrakompakte Videos, benötigen aber Rechenpower zum Abspielen, weil sie mühsam dekodiert werden müssen. - Die Cineform- oder Prores-Daten sind praktisch nicht komprimiert und lassen sich entsprechend einfach wiedergeben (ein schnelles Speichermedium vorausgesetzt).

Das Stitching übernehmen unter der Haube Algorithmen, die für die Software Autopano aus dem Hause Kolor entstanden sind. Als langjähriger User von Autopano frohlockte ich - zu früh. - Bis zu seiner Beerdigung war Autopano nicht in der Lage, Fusion-Material zu erkennen, geschweige denn: zu stitchen. Die Firma Kolor - von Gopro gekauft - wurde dann im September 2018 geschlossen. Bitter.

Rendering … Prozessor & GPU …

Je nach verwendetem System traten erhebliche Unterschiede bezüglich der Renderzeit auf: mein Notebook - ein flottes Gigabyte Aero X15 (i7-7700HQ / GTX1070) brauchte für einen einminütigen Clip sage und schreibe 40min, was meine Freude zuerst etwas dämpfte ...

Aber eine Lösung tat sich auf: fälschlicherweise war dem Fusion Studio die Intel-HD-Grafikkarte zugewiesen worden. Per Rechtsklick auf das Desktop-Icon des Programms (->Mit Grafikprozessor ausführen->Standardmäßigen Grafikprozessoor ändern) ließ sich das ändern und es dauerte nur noch 10min30sek. Dasselbe File nudelte jedoch daraufhin mein PC (i7.../GTX980Ti) in ca. 6min30sek durch!

Das Resultat: 

Das Ergebnis kann sich auf jeden Fall sehen lassen. Begann alles mit Clips von 4992x2496 Pixeln Größe (was bereits da als "5,2k" gepriesen wurde), sind es mittlerweile 5228x2624 Pixel (25 fps) oder sogar "5,6k" (5504*2752 Pixel) bei 24fps.
Das Stitching ist sehr gut (man merkt, dass Kolor - die Entwickler von Autopano - ihr Know-How haben einfließen lassen). Die Plug-Ins für das Reframing in Premiere Pro laufen stabil, allerdings ist das "smoothening" bei mehreren Keyframes hintereinander nicht machbar. Das Plug-In für After Effects … na ja … Es gibt bei mir sehr viele Probleme. Ein VR-Clip in einer HD-Komposition muss erst einmal skaliert werden (41%), damit die Sphäre sauber wird. Dann ist der Rest aber auch ein Glücksspiel - es kann bis zu schwarzen oder auf dem Kopf stehenden Bildern führen. Manchmal hilft Neustart oder Unterkompositionen … Spaß macht es nicht.

Für die Erstellung von VR-Videos bringt die Verwendung eines "Entrauschers" (bei gleichzeitigem leichten Scharfzeichnen) und hohe Bitraten mit dem H265-Codec noch ein spürbares Plus an Qualität..

Ach ja … Ton:

… stimmt - da sind ja Mikrofone verbaut … - Im Ernst: der Ton ist nicht schlecht und quälen kann man sie auch, die kleine Kamera. Selbst zwischen zwei Drum-Sets (Abstand: 50cm bis 1m) vedaute sie die wirklich krassen Pegel. Respekt. Dank Ambisonic-Export in Premiere lässt sich das Panorama des Bildes auch im Ton erleben. Schwenkt man im Bild rum, verändert sich auch der Ton entsprechend.

Fazit: 

Die Fusion ist eine revolutionäre Kamera und könnte das schaffen, was Gopro vor Jahren schon einmal mit der Kamera gelang, die einer ganzen Geräteklasse - die der Actioncams - den Namen gab - eben "Gopro". - Im Medienbetrieb wird diese Art der Aufzeichnung mit Sicherheit Einzug halten, ermöglicht es doch gerade den Einzelkämpfern, den VJs, mit wenig Aufwand eine größtmögliche Rohmaterialernte zu erzielen. - Man kann ja zur Not auch mehrere Kameras positionieren :-)

Gejammert wird auch viel - was vor allem den erhöhten technischen Aufwand angeht. Viele merken nach dem Kauf der Fusion, dass nun auch noch ein neuer Rechner angeschafft werden muss …. - man darf einfach nicht vergessen, was da technisch passiert: 25 Bilder pro Sekunde mit einer Auflösung von >5k sollen gestitcht werden … das ist einfach aufwändig...

Was den "richtigen" 360°-Film angeht: das ist noch ein großes gestalterisches und konzeptionelles Experimentierfeld, dessen Möglichkeiten erst noch erforscht werden müssen. - Auf jeden Fall spannend!