Woensdag een video van OpenAI’s nieuw gelanceerd Sora AI-videogenerator ging viraal op sociale media, met een turnster die extra ledematen laat ontspruiten en kort haar hoofd verliest tijdens wat lijkt op een vloerroutine in Olympische stijl.
Het blijkt dat de onzinnige synthesefouten in de video – wat we ‘jabberwockies’ noemen – verwijzen naar technische details over hoe AI-videogeneratoren werken en hoe ze in de toekomst beter kunnen worden.
Maar voordat we ingaan op de details, laten we eerst eens naar de video zelf kijken.
Een door AI gegenereerde video van een onmogelijke turnster, gemaakt met OpenAI Sora.
In de video zien we een weergave van wat lijkt op een vloer gymnastiek routine die plaatsvindt tijdens een Olympische sportevenement. Het onderwerp van de video draait en spartelt terwijl nieuwe benen en armen snel en vloeiend tevoorschijn komen en uit haar draaiende en transformerende lichaam veranderen. Op een gegeven moment, ongeveer 9 seconden later, verliest ze haar hoofd, en het hecht zich weer spontaan aan haar lichaam.
„Hoe cool de nieuwe Sora ook is, gymnastiek is nog steeds de Turing-test voor AI-video“, schreef durfkapitalist Deedy Das toen hij oorspronkelijk deelde de video op X. De video inspireerde veel reactiegrappen, zoals deze antwoord naar een soortgelijk bericht op Bluesky: „Hoi, gymnastiekexpert hier! Dit is niet grappig, gymnasten doen dit alleen als ze in extreme nood verkeren.“
We namen contact op met Das en hij bevestigde dat hij de video met Sora had gegenereerd. Hij gaf ook de prompt, die erg lang was en in vier delen was opgesplitst, gegenereerd door Claude van Anthropic, met behulp van complexe instructies zoals „De turnster initieert vanuit de rechterachterhoek en neemt positie in met haar rechtervoet naar achteren gericht in een B-plus-houding.“
„Ik weet al zes maanden dat ik met tekst-naar-video-modellen heb gespeeld en dat ze moeite hebben met complexe natuurkundige bewegingen zoals gymnastiek“, vertelde Das ons in een gesprek. „Ik moest het proberen (in Sora) omdat de karakterconsistentie verbeterd leek. Over het algemeen was het een verbetering omdat voorheen… de gymnast gewoon weg teleporteerde of tijdens de salto van outfit veranderde, maar over het algemeen ziet het er nog steeds ronduit gruwelijk uit. We Ik hoopte dat AI-video standaard natuurkunde zou leren, maar dat is nog niet gebeurd!“
