KI-Tools: Animationen mit Midjourney und After Effects von Jeff Foster

Jun 19, 2023

Aufschlüsselung einer Animationstechnik mit Mijourney 5.2 Zoom-Renderings und Adobe After Effects

Sie haben höchstwahrscheinlich viele KI-generierte Animationen gesehen, die bereits verschiedene Tools wie Runway Gen-2 und Kaiber verwenden, die entweder Standbilder aufnehmen und einige Sekunden lang animieren, oder Animationen im generativen Stil direkter Text-zu-Video-Animationen, die in der Regel etwas wie a aussehen Psilocybin-induzierter Trip. Obwohl sie als eigenständiges Genre von Natur aus interessant und oft künstlerisch sind, habe ich bisher kaum einen praktischen Nutzen für die Technologie gefunden – vor allem, wenn ihre Darstellung auch nur annähernd realistisch oder reibungslos ist.

Ich strebe zwar keinen extremen Realismus an, wie ich es bei VFX-Arbeiten tun könnte, aber ich möchte, dass sich meine Fantasy-Kreationen reibungslos anfühlen und über hochwertige Bewegungen und ansprechende Elemente verfügen, die das Gesamtwerk nicht ablenken.

Aus diesem Grund sind die meisten KI-Inhalte nicht immer sofort einsatzbereit. Oft müssen Sie die Elemente in einem gerenderten Bild in Photoshop weiter bearbeiten – oder, wenn Sie Objekte animieren, in After Effects. Ich arbeite fast täglich viel in After Effects und arbeite zu 95 % mit 2D-Inhalten und Objekten, die 3D-Umgebungen und -Effekte simulieren.

Das ist der Punkt, an dem einige auf die Ausmalfunktion „Zoom Out“ in Midjourney v5.2 stoßen und sich für bestimmte Kompositionen interessieren. Midjourney ist nur ein Inhaltsgenerator, während AfterEffects der Animator ist.

Möchten Sie wissen, wie Sie diese neue Funktion in Midjourney auf Discord nutzen können? Dieses Video-Tutorial für Midjourney Zoom-Out vom YouTube-Kanal von All About AI führt Sie durch die Schritte zur Erstellung:

Für diese spezielle Art von Animation, die ich erstellen möchte, ist After Effects erforderlich, um durch mehrere gerenderte Ebenen von Midjourney zu „zoomen“, um eine lange Spurbewegung anzuzeigen.

Als also bekannt gegeben wurde, dass Midjourney v5.2 die Rendering-Funktionen „Herauszoomen“ und „Schwenken“ ermöglicht, löste das bei meiner Suche nach etwas Einzigartigem einige lustige Experimente aus.

Ich begann mit einem bizarren Konzept, das mich beim ersten Rendern überraschte, da ich Midjourney nicht dazu aufgefordert hatte, aber dennoch ein erfreuliches Ergebnis lieferte. Da es der erste Juli und der Beginn eines viertägigen Wochenendes (sowie des ersten Tages des Monats) war, mache ich oft eine lustige Variante des Rituals, am ersten Juli in den sozialen Medien „Kaninchen-Kaninchen“ zu sagen Monat mit einem Bild von Midjourney. In diesem Fall habe ich nach „zwei Kaninchen, die Hotdogs essen“ gefragt, weil ich dachte, ich könnte in späteren Interpretationen ein paar Feuerwerkskörper oder etwas Buntes hinzufügen. Das resultierende Bild, das Sie unten im ersten Bild sehen, ist eines der Ergebnisse, die ich erhalten habe, und ich war von der Wahl der Komposition begeistert (auch wenn es eher so aussieht, als würden sie einen Außerirdischen oder Tintenfisch fressen). 😉

Als Midjourney v5.2 Tage später angekündigt wurde, ging ich einfach zurück zu Discord und schaute mir noch einmal mein fertiges Bild an, um nach etwas zu suchen, mit dem ich die neue Zoom-Out-Funktion ausprobieren konnte. Die nächsten beiden Renderings waren sequentiell und überraschten mich noch mehr! Erstens hat mir die 1,5-fache Vergrößerung eine schöne ausmalte Szene rund um meinen ursprünglichen Render mit schlemmenden Kaninchen beschert. Ich ging dann noch 2x weiter und änderte die Eingabeaufforderung überhaupt nicht – ich bekam zwei weitere Kaninchen. Ich machte ein paar Mal weiter, 2x, 2x, 2x, 2x (13 um genau zu sein) und es entstand diese lange, von Kaninchen gesäumte Straßenszene. Sie vermehrten sich wirklich und variierten in ihren Eigenschaften, ihrer Kleidung und ihrer Umgebung. Sie gingen hauptsächlich vom Essen zum Trinken über, aber die Vielfalt der Kleidung und Gesichtsausdrücke war entzückend!

Nachdem ich alle diese Renderings gesammelt und in After Effects nacheinander übereinander gestapelt hatte, wusste ich, dass ich den Zoom so ausrichten musste, dass beim Zoomen immer der „zentrale Fokusbereich“ jeder Ebene mit der besten Qualität verwendet wurde zwischen 400 % und 50 %, bevor es ausgeblendet wird und die darunter liegende Ebene sichtbar wird, die so ausgerichtet ist, dass sie den Zoom übernimmt. Ich habe eine gefiederte Maske etwa 100 Pixel innerhalb der Kante jedes Frames verwendet, um Artefakte und Unterschiede in den Kantenpixeldaten bei jedem Rendering zu beseitigen.

Ich habe den Vorgang durch 14 verschiedene Ebenen hindurch wiederholt, nur um zu sehen, ob es funktionieren würde …

… und das hat es auch getan! Mein erstes Testrendering hat theoretisch einwandfrei funktioniert, aber der Zoomfaktor zwischen 400 % und 50 % Geschwindigkeit steigt in Wellen an, wenn Sie den Zoomzyklus des nachfolgenden Frames starten, sodass er im letzten Bild langsamer wird 30 % des Skalierungspfads, beschleunigt sich dann bei den nächsten 30–50 % oder der Skalierungsbewegung wieder. Hier das erste Testergebnis:

Im Wesentlichen sah jede Ebene auf der Zeitleiste so aus:

Was ich brauchte, war eine Möglichkeit, diese Bewegung zu normalisieren, um über den gesamten Bewegungsbereich der Skala die richtige konstante Geschwindigkeit zu erreichen. Nach ein wenig Schnüffeln entdeckte ich eine Funktion in After Effects, die ich noch nie zuvor verwendet hatte! „Exponentielle Skala“ finden Sie im Dropdown-Menü „Animation“:

Wenn Sie also den ersten und letzten Keyframe für die Skalierung in der Zeitleiste auswählen und dann diese Option anwenden, erhalten Sie einen vollständigen exponentiellen Geschwindigkeitsanstieg, der durchgehend normalisiert wird.

Nachdem ich das auf alle Ebenen angewendet und ein paar Optimierungen und Anpassungen für das Timing auf einigen Ebenen vorgenommen habe, habe ich es nach Exponential Scale erneut gerendert:

Das war zwar eine zufriedenstellende Entdeckung und ein guter Übungs- und Proof-of-Concept-Artikel, aber ich habe mir vorgenommen, etwas sehr bewusstes und viel eindringlicheres zu machen.

Was als Experiment begann, endete in einem Gemeinschaftsprojekt mit meiner Frau Ellen Johnson, bei dem ich ein kurzes, von der Natur inspiriertes Musikvideo drehte. Ich habe 20 verschiedene gerenderte Frames (10 verschiedene „Globen“) für einen Gesamtverkleinerungsfaktor von 1.048.576x generiert. Abgesehen von der Verwendung von 3D-Animationssoftware gibt es wirklich keine Möglichkeit, dies allein mit der Optik zu erstellen – insbesondere bei dieser Auflösung.

Als ich die Ebenen für dieses Projekt animierte (die aus Midjourney v5.2 gerendert wurden), zoomt es von einer Schneekugel auf einem Tisch zu verschiedenen Miniaturwunderwelten, die jeweils ineinander liegen und schließlich auf einem großen Glasgefäß auf einem geschnitzten Tisch ruhen Stumpf. Ellen sorgte für die gesamte Musikvertonung und das Sounddesign mit SFX, die durch diese verschiedenen „Welten“ reisen, während ich für jede Umgebung animierte Segmente einbaute, um sie ein wenig zum Leben zu erwecken.

Im Wesentlichen erstellen wir sozusagen einen animierten russischen Puppeneffekt, bei dem Sie eine Globus-/Glasumgebung in einer anderen, in einer anderen usw. sehen.

Die grundlegende Verkleinerungsanimation folgte dem gleichen Prozess wie die Kaninchenanimation zuvor; Stapeln von Ebenen, Maskieren, Skalieren, auf jede Ebene angewendete exponentielle Skalierung usw.

Nachdem alle 20 gerenderten Ebenen ausgerichtet und in etwa 3:40 Minuten (der vorgeschlagenen Länge des Musik-Soundtracks) fertig gestellt waren, haben wir ermittelt, welche zusätzlichen Animationssegmente bei der Reise durch die verschiedenen „Welten“ – die sich durch unterschiedliche Wetterbedingungen veränderten – sinnvoll wären und Flora/Fauna. Dies legte den Grundstein für die Musik und das Sounddesign sowie die detaillierten Animationen, die später zusammengestellt wurden.

Hier sind die Rohebenen verkleinert und um das Dreifache beschleunigt, sodass Sie sehen können, wie gleichmäßig der Skalierungseffekt ist, bevor Sie weitere Elemente hinzufügen:

In diesem Fall waren die generativen KI-Bilder nicht nur die Inspiration für diese Animation, sondern auch der Basisinhalt, der animiert wurde, zusammen mit einigen anderen 2D-Elementen wie Partikelgenerationen, maskierten Effekten auf Bewegungsebenen und einigen Greenscreen-Videoobjekten für verschiedene Insekten usw. aus Adobe Stock. Über 100 Ebenen allein in diesem Projekt – bevor wir zu Adobe Premiere wechselten, um die aufgenommene/gemischte Musikspur von Logic Pro zusammen mit weiteren 12+ SFX-Spuren zu bearbeiten.

Das fertige Musikvideo-/Animationsprojekt ist auf YouTube – es ist am besten, es direkt im Vollbildmodus auf YouTube anzusehen und nicht nur eingebettet, damit Sie die Details sehen können. Auch das Tragen von Ohrhörern/Kopfhörern wird empfohlen, wenn Sie beim Betrachten nicht über ein hochwertiges Soundsystem verfügen.

Bedenken Sie, dass dies nur 1080 x 1080 der nativen Originalabmessungen ist, die Midjourney für die verwendeten Frames verwendet hat, und nicht wirklich realistisch sein soll wie ein 3D-Rendering, sondern eine fantasievolle Erkundung von Bildern und Tönen. Genießen.

Filmemacher sind die Anlaufstelle für Vorproduktions-, Produktions- und Postproduktionsausrüstung!