Die Synchronisation von Filmen und Serien ist gar nicht so einfach. Oftmals können die Originalsätze nicht eins zu eins übersetzt werden, da sie in der neuen Sprache entweder viel zu kurz oder viel zu lang wären. So ist es nicht ungewöhnlich, dass synchronisierte Filme einen etwas anderen Charme versprühen als das Original. Immerhin geht immer ein klein wenig der Essenz verloren. Mithilfe einer künstlichen Intelligenz möchte man dieses Problem aus der Welt schaffen.
Das britische Unternehmen Flawless hat eine künstliche Intelligenz entwickelt, welche die Lippenbewegungen der gezeigten Person automatisch an die jeweilige Synchronisation anpassen kann. Die “True Sync” genannte Technik ist mit der eines klassischen Deepfakes vergleichbar. Doch während sich Deepfakes aufgrund auftretender Bildfehler (noch) recht leicht identifizieren lassen, soll sich das Ergebnis der Synchronisations-KI kaum von dem Original unterscheiden.
Dafür müssen die Textstellen für jede benötigte Sprache nochmals neu von einem anderen Schauspieler eingesprochen werden. Die KI entnimmt daraufhin die Lippenbewegungen und andere relevante Teile des Gesichts und vermischt diese mit den Szenen des Originalfilms. Im besten Fall lassen sich so die Lippenbewegungen anpassen, ohne dass dabei etwas von der Mimik des Darstellers verloren geht. Wie das aussieht, ist in dem folgenden YouTube-Video zu sehen.
Das Unternehmen betont, dass das Tool noch viel Verbesserungspotential habe und in den kommenden Jahren stetig verbessert werden soll. Und tatsächlich wirken die Anpassungen an manchen Stellen noch ein wenig künstlich. Grundsätzlich gibt das neue Synchronisationsverfahren aber schon jetzt eine ziemlich gute Figur ab. Für die Zukunft versprechen die Entwickler, dass es überhaupt keine sichtbaren Unterschiede mehr geben soll. Gut möglich, dass das Verfahren dann auch in den ersten Hollywoodstreifen zum Einsatz kommt.
Quelle: flawlessai.com
