Artificial Imagination: Kunst, die kein Menschenauge je sah – über “The Crow”

(This article is also available in English.)

Der mit KI-Technik gestaltete Kurzfilm “The Crow” führt eine neue Kategorie Computer-generierter Bildkunst ein und gilt bereits als Pionierwerk eines neuen Genres, für das noch ein Name fehlt. CyberArt? Artificial Imagination? Beim Kurzfilmfestival in Cannes gewann der Animationsfilm im August den Kurzfilmpreis (Best Short Short), und in Österreich wurde er bei der International Competition for CyberArts mit dem Ehrenpreis des Prix Ars Electronica 2022 ausgezeichnet.

Mensch, Film und KI: Artificial Imagination

Wir haben mit dem Menschen hinter dem Werk gesprochen, dem nordirischen Visual Artist und Coder Glenn Marshall, und uns bei ihm über Technik und die Hintergründe seines Schaffens erkundigt, das er seit seinem ersten Prix Ars Electronica 2008 “Artificial Imagination” nennt – ein Teilnehmer des gleichnamigen Festivals in Linz hatte ihn auf die Idee gebracht. Damals wurde Marshall ausgezeichnet für das offizielle Musikvideo zu Peter Gabriels Song “The Nest That Sailed The Sky”.

Der nun ausgezeichnete Film “The Crow” ist eine knapp dreiminütige Animation, in der sich mittels Künstlicher Intelligenz eine Tänzerin in eine Krähe verwandelt. Das Ergebnis ist “ein eindringliches und fesselndes Werk, das die Krähe bei ihrem kurzen Tanz in einer apokalyptischen Landschaft begleitet”, bis zu ihrem “unausweichlichen Untergang”, wie es in der Filmbeschreibung heißt. Was dystopisch klingt, ist ein sinnliches Erlebnis. Bevor die Tänzerin sich durch technische Verfremdung in eine Krähe zu verwandeln begann, war sie Teil des Kurzfilms “Painted” von Duncan McDowall und Dorotea Saykaly. Sie tanzt zu einem Stück des Komponisten Erik Satie (Gnossienne n° 3). Im Netz kursieren Ausschnitte daraus sowie verstreute Hinweise zum “Making-of”, der vollständige Film ist auf YouTube verfügbar.

Mit einem Pytii Colab Notebook und Code fand eine Verwandlung des Filmmaterials statt, soviel ließ sich bereits den Shortnotes entnehmen. Aus dem Film mit einer Tänzerin aus Fleisch und Blut wurde mit KI-Einsatz (Text-zu-Video) eine gemäldehafte Animation mit Krähenfrau. Aber das ist noch nicht alles. Auf unter drei Minuten setzt “The Crow” nicht nur ein visuelles und technisches Statement, sondern kommentiert die Mensch-Technik-Beziehung. Der Film werde zu einer Art Kampf zwischen dem Menschen und der KI, erklärte sein Regisseur – mit all der suggestiven Symbolik, die dieser aufgeladenen Auseinandersetzung innewohnt.

Glenn Marshall: “Kreativität in die Maschine gesteckt”

voonze Developer: Glenn, was ist denn dein Hintergrund – beruflich, wissenschaftlich, künstlerisch?

Glenn Marshall: Das ist ein bisschen unkonventionell. Als Kind in der Grundschule hatte ich durchgehend Einsen in Kunst – ich konnte alles malen und zeichnen. Als ich dann aber auf die weiterführende Schule kam, hat mich das völlig erstickt, und ich bin in Kunst durchgefallen… dem einzigen Fach, das ich liebte und in dem ich wirklich gut war. Aber da hatte ich schon einen Computer daheim. Also habe ich meine ganze Kreativität in die Maschine gesteckt.

voonze: Was hat dich zu “The Crow” inspiriert?

Marshall: Den Kurzfilm “Painted” und die ursprüngliche Liveaktion darin auf YouTube zu sehen… Mir war klar, dass meine Techniken perfekt dafür geeignet waren. Der Film wurde zur Grundlage von “The Crow”.

voonze: Oh, das klingt anders als bei den früheren Filmen, in denen du Text in zufällige Bilder mutieren lässt. Erklärst du uns kurz dein Vorgehen?

Marshall: Die grundlegende Technik besteht darin, dass jedes Videobild in einen KI-Prozess eingespeist wird, der versucht, das Bild entsprechend einer CLIP-geführten Text-Bild-Aufforderung zu verändern.

voonze: Zum Bearbeiten hattest du also CLIP im Einsatz, Contrastive Language-Image Pre-Training von OpenAI. Was war dein Ausgangspunkt?

Marshall: Ich hatte mich intensiv mit der Idee des KI-Stil-Transfers befasst und dabei Videomaterial als Quelle verwendet. Jeden Tag suchte ich also nach etwas auf YouTube – oder auf Stockvideo-Seiten – und versuchte, ein interessantes Video zu machen, indem ich es abstrahierte oder mit meinen Techniken in etwas anderes verwandelte. In dieser Zeit entdeckte ich auf YouTube “Painted”.

voonze: Zum Umwandeln von “Painted” in deinen Film “The Crow” brauchtest du noch einen Textprompt. Teilst du ihn mit uns?

Marshall: Ein Bild einer Krähe in einer trostlosen Landschaft. Den habe ich natürlich auf Englisch eingegeben (‘A painting of a crow in a desolate landscape’). Mit Prompts hatte ich bereits Erfahrungen gesammelt und hatte eine gewisse Vorstellung, was funktionieren würde. Das Video vollzog die Verwandlung dann von selbst… “The Crow” hat eine Magie, die meine früheren Videos nicht hatten. Wahrscheinlich liegt das daran, dass die Tänzerin im zugrundeliegenden Video bereits die Bewegungen einer Krähe nachahmt und ein krähenähnliches Gewand trägt.

Deshalb funktioniert der Film so gut – die KI versucht, jedes Bild des Originals wie ein Gemälde mit Krähe darin aussehen zu lassen. Auf halbem Weg komme ich ihr entgegen, und der Film wird zu einer Auseinandersetzung zwischen der Tänzerin als Mensch und der KI – das hat suggestive Symbolik.

voonze: Inwiefern unterscheidet sich das vom Erstellen statischer Bilder?

Marshall: Ich habe ja eine bewegte, animierte Szene erzeugt. Das ist ein bisschen anders als bei Einzelbildern. Man kann die Handlung, die Kamerabewegung und mehr beschreiben.

voonze: Manche sprechen von dir als Komponist (Composer). Komponierst du auch Musik? Oder bezieht sich das auf deine Filmkomposition mit KI-Handwerk und Technik?

Marshall: Tatsächlich komponiere ich für manche meiner Filme auch Musik – allerdings fand ich die Bezeichnung als Komponist doch etwas komisch. Das ergibt keinen Sinn und verwirrt nur.

voonze: Wie bezeichnest du dich selbst? Composer, Developer, Machine Learner… Coder, oder vielleicht Freelance-Künstler? Falls es schon einen Namen für deine Tätigkeit gibt.

Marshall: Wir versuchen alle noch herauszufinden, was wir sind. Zurzeit bin ich Vollzeit-KI-Künstler und Filmemacher. Aus dem Vorjahr habe ich bezahlte Projekte, die in die Richtung gehen. Andererseits bin ich der Coder-Typ, im Gegensatz zu dem “lässigen” Typ, den wir jetzt angesichts von Midjourney, DALL·E und so weiter auch haben. Es ist die Programmierer- und Entwickler-Community, die allen anderen immer einen Schritt voraus ist.

voonze: Ich sehe das Augenzwinkern… also passt KI-Künstler oder KI-Filmemacher am besten für dich?

Marshall: Die andere Option heißt Neural Art und Neural Artist, aber “neuronale Kunst” klingt vielleicht anmaßend.

voonze: Was treibt dich an bei dem, was du tust?

Marshall: Es hat etwas, in die neueste KI-Technologie einzutauchen und Teil der Programmierer- und Entwicklergemeinschaft zu sein, die Kunst und Animationen erschafft, die noch nie zuvor ein menschliches Auge gesehen hat. Das ist es, was mich anregt und inspiriert. Aber mit diesen Werkzeugen muss man immer noch etwas handwerklich erschaffen. Es reicht nicht, jeden kurzen, schrulligen Test wie Werbemüll hochzuladen, um der Welt zu zeigen, wie cool diese Technologie ist. Was 99 Prozent der Leute aber zu machen scheinen.

Marshall: Ich bin entschlossen, den Weg zu weisen… und zu zeigen, dass es bloß ein Werkzeug ist, um ein vollendetes Kunstwerk zu erstellen – wie beispielsweise “The Crow”.

voonze: Du bist ja schon seit geraumer Zeit als Pionier und Wegbereiter in der bildenden Kunst unterwegs. In den letzten zwanzig Jahren hast du oft zu innovativen Techniken gegriffen, zuletzt zu Deep Learning und Text-zu-Bild-Synthese. Gibt es eine Liste deiner Kunstwerke, um die Entwicklung nachzuvollziehen?

Marshall: Mein YouTube-Kanal ist eine Art Dokumentation der Anfänge und Fortschritte der KI… beginnend mit Prozessen der Text-zu-Bild-Synthese im Januar 2021 bis zum heutigen Tag. Einer meiner ersten Filme “A Bleak Midwinter” ist ein früher Versuch, Poesie mithilfe von KI zu visualisieren. Bei meinem jüngsten Werk “Everything is in its Right Place” – einem Radiohead-Video – kommt Stable Diffusion zum Einsatz. Ich denke, es ist eines der besten Dinge, die ich je gemacht habe.

Marshall: Ihr solltet euch Stable Diffusion mal ansehen – das ist ein Open-Source-KI-Modell, das erst vor wenigen Tagen veröffentlicht wurde und dabei ist, die KI-Kunstszene zu revolutionieren.

voonze: Danke für den Tipp! Deine Einschätzung teile ich. Wir hatten eine Meldung zum Public Release von Stable Diffusion und bleiben am Ball…

Marshall: Die Geschwindigkeit und die Qualität der Ergebnisse sind verblüffend. Wenn ich heute ein Remake von “The Crow” machen würde, würde es wahrscheinlich doppelt so gut ausschauen.

voonze: Wann genau hast du “The Crow” gemacht?

Marshall: Im Dezember 2021. So schnell ist die Entwicklung der KI!

voonze: Wahnsinn. Wie stellst du dir die Zukunft des Filmschaffens und Kinos vor?

Marshall: Man muss sich nur “The Mandalorian” ansehen – ohne zuviel zu verraten, ich mag nicht spoilern: Dort werden einige berühmte ältere Charaktere aus der ursprünglichen Trilogie mit Deepfake-Technik wieder “zum Leben erweckt”. Ein echter Schauspieler kam zum Einsatz, aber nur als Referenz für die KI, um ihm das komplette Gesicht und die Stimme einer mit KI-Technik trainierten Version des berühmten Charakters einzupflanzen… Ich würde gern einen weiteren Beatles-Film sehen, in dem alle vier überzeugend wieder zum Leben erweckt sind.

voonze: Ich denke auch an die lebenden Menschen, Regisseure und Schauspieler: Was bedeutet die technische Evolution für die Filmbranche?

Marshall: Wir steuern möglicherweise auf eine neue hybride Filmform zu, irgendwo zwischen Live-Handlung, Animation und Deepfake. Viele Schauspieler könnten am Ende nur noch Puppen sein. Regisseure können jetzt ihre eigenen Konzeptzeichnungen und Matte Paintings für ihre Sets und Spezialeffekte entwerfen. Das gibt dem Regisseur eine persönlichere und direktere Vision. Theoretisch könnte man einen ganzen Spielfilm mit KI erzeugen. Bisher gibt es noch keine professionellen oder künstlerisch nutzbaren Beispiele, aber das wird nicht mehr lang dauern.

voonze: Gibt es ein Best- und ein Worst-Case-Szenario? Wie können Künstler und Entwickler sich auf die Zukunft vorbereiten?

Marshall: Um ehrlich zu sein, mache ich mir über Fragen zur Zukunft der KI keine Gedanken. Ich bin im Moment und habe Spaß. Aber wenn du den gegenwärtigen Moment betrachtest, ist die Zukunft sowieso immer da.

voonze: Stimmt. TS Eliot, The Eternal Present… Woran arbeitest du gegenwärtig?

Marshall: Ich plane eine Fortsetzung von “The Crow”, aber ich werde die dafür benötigte Live-Handlung selbst drehen. So habe ich die vollständige kreative Kontrolle über das ganze Stück und wie die KI es interpretiert – so viele Möglichkeiten…

Das Gespräch führte Silke Hahn, Redakteurin bei iX und voonze Developer.

(sih)