Wenn man die aktuelle Entwicklung der künstlichen Intelligenz aktiv verfolgt, bekommt man mittlerweile in den einschlägigen Reddit Gruppen beinahe täglich neue sensationelle Modelle zu Gesicht - die einen meist neidisch staunend zurücklassen.
Atemberaubende Entwicklungen
"Zurücklassen" im wahrsten Sinne des Wortes, denn wenn man diese Modelle nicht selber mit der Kommandozeile steuern will oder kann, muss man warten, bis sie für jedermann nutzbar gemacht werden. Sei es durch ein Webinterface oder durch die Veröffentlichung als eigenständiges Programm.
Doch warum dauert es immer so lange, bis man die sensationellen Beispiele aus einem wissenschaftlichen Paper auch in Premiere, Final Cut Pro oder Resolve benutzen kann? Und das, obwohl Firmen wie Adobe oder Apple bei der KI-Forschung doch in der Regel ganz vorne mitspielen.
Die Sahnehäubchen
Grundsätzlich sieht man in den wissenschaftlichen Aufsätzen (den sogenannten "Papers") immer nur die Sahnehäubchen, denn bei jeder neuen KI-Entwicklung präsentieren die Erfinder in der Regel nur die besonders gelungenen Fälle. Wer selber beispielsweise mit Stable Diffusion bereits erste Schritte gewagt hat, weiß dass die Formulierung eines passenden Prompts Stunden oder sogar Tage beanspruchen kann. Was wir im Netz zu sehen bekommen sind dagegen nur die allerbesten Ergebnisse - nach hunderttausend verworfenen Prompt-Versuchen in der Community.
Wenn Adobe nun aber ein aktuelles Inpainting-Modell implementieren würde, das nur in einem von hundert Fällen ein visuell schlüssiges Ergebnis hervorbringt, wäre diese Funktion für Anwender in der Praxis kaum nutzbar.
Reproduzierbarkeit und Konsistenz
Zudem sollen, bzw. müssen Filter und Effekte reproduzierbar funktionieren. Wenn ein neuer Filter beispielsweise in Resolve Einzug erhält, sollte sich dieser deterministisch (also berechenbar) verhalten - also bei gleichem Input immer das gleiche Ergebnis erzeugen.
Wenn der Filter dagegen bei jedem Aufruf ein anderes Ergebnis ausspuckt, kann man ihn in einer Komposition nicht risikolos einsetzen. Schließlich soll das Bild sich nicht unkontrolliert ändern. Grundsätzlich kann man ein statisches Verhalten auch mit KI-Effekten erzielen (indem man alle Netz-Parameter nicht verändert und nicht mit zufälligen Seeds arbeitet). Aber dann darf der Entwickler die internen Gewichte auch nicht mehr in späteren Programmversionen ändern. Sonst könnte es passieren, dass beispielsweise ein wegradiertes Objekt in einer späteren Version wieder auftaucht - wenn man ein altes Projekt öffnet, das mit einem Filter der Vorversion erstellt wurde.
Aus diesen Gründen übernehmen Firmen wie Adobe, Apple oder Blackmagic nur besonders gründlich ausgetestete KI-Modelle in ihre Programme. Und bis ein Modell mit vielen Motiven hinreichend gut funktioniert, dauert dessen Optimierung in der Regel weitaus länger, als die "wissenschaftlichen Netze" aus den Papers, die meist nur den "Best Case" präsentieren.
Genau solche Probleme machen uns gerade auch die redaktionelle Arbeit mit den heißesten KI-Tools schwer. "Testet doch mal die Filter in Runway!", klingt zwar nach einem interessanten Artikel, ist aber kaum objektiv zu bewerkstelligen. Denn ob und wie gut der Inpainting Algorithmus oder die automatische Objektmaskierung funktionieren, ist extrem stark vom Motiv abhängig. Was mit einer Aufnahme vielleicht problemlos klappt, kann mit einer anderen komplett in die Hose gehen.
Tatsächlich kommt man beispielsweise mit dem Freistellungstools von Runway im Browser oftmals schnell zu brauchbaren Ergebnissen. Aber dann kann es gelegentlich einzelne Frames geben, in denen die Kante sich irrational verhält. Anschließend mit diesen einzelnen Frames zu kämpfen, kostet wieder unverhältnismäßig viel Zeit - wenn man hierfür nicht sogar zu anderen Tools greifen muss.
