Wat is AI-bewegingsoverdracht en hoe werkt het?

Wie de afgelopen tijd korte video’s op sociale media heeft bekeken, is ze misschien tegengekomen: een getekend personage dat de dansbewegingen van een echte persoon nadoet, of een foto van een standbeeld dat ineens een paar passen zet. Achter zulke clips kan een techniek zitten die bewegingsoverdracht heet, in het Engels motion transfer. In dit artikel lees je wat dat betekent, hoe de techniek ongeveer werkt en waar je op moet letten als je ermee wilt experimenteren.

Wat betekent AI-bewegingsoverdracht?

Bij bewegingsoverdracht wordt de beweging uit de ene video gebruikt om een ander figuur te laten bewegen. Daarvoor zijn doorgaans twee onderdelen nodig: een bronvideo van bijvoorbeeld een dans, een zwaai of een sportoefening, en een doelbeeld van een persoon, tekening of personage.

Het resultaat is een nieuwe video waarin het doelfiguur de houding en het ritme van de bron zo goed mogelijk volgt. De beweging hoeft niet helemaal identiek te zijn: het AI-model maakt een nieuwe interpretatie. Anders dan bij een eenvoudige gezichtsverwisseling kan hierbij het hele figuur opnieuw in beweging worden gebracht.

Hoe werkt AI-bewegingsoverdracht?

Een veelgebruikte aanpak begint met het analyseren van de bronvideo. De software kan bijvoorbeeld de positie van hoofd, schouders, ellebogen, heupen en knieën herkennen. Zo ontstaat per beeld een vereenvoudigde beschrijving van de lichaamshouding. Dat heet houdingsherkenning of pose estimation.

Vervolgens gebruikt een generatief AI-model de bewegingsinformatie als leidraad om het doelfiguur in nieuwe houdingen weer te geven. Daarbij moet het gezicht, het haar en de kleding van het figuur zo herkenbaar mogelijk blijven. Dat is lastig: als details tussen opeenvolgende beelden veranderen, kan de video gaan flikkeren of vervormen.

Bij onderzoek naar bewegingsgestuurde AI-animatie wordt beschreven hoe bewegingsinformatie en een referentiebeeld worden gecombineerd en waarom samenhang tussen videobeelden belangrijk is. Niet iedere online dienst gebruikt precies deze techniek; de interne werking van commerciële modellen is bovendien niet altijd openbaar.

Waarvoor wordt het gebruikt?

De toepassingen gaan verder dan grappige filmpjes. Enkele voorbeelden:

  • Animatiemakers kunnen een ruwe versie van een scène maken en die later verder bewerken.
  • Docenten en trainers kunnen een voorgedane beweging met een eenvoudig personage laten zien.
  • Kleine ondernemers kunnen korte creatieve video’s voor sociale media maken.
  • Game- en kunstliefhebbers kunnen tekeningen of personages laten bewegen om ideeën uit te proberen.

Er zijn ook browserdiensten, zoals Genjutsu, waarmee je een bronvideo en referentiebeelden kunt combineren zonder zelf een animatiemodel te programmeren.

Tips voor een beter resultaat

De kwaliteit hangt sterk af van het bronmateriaal. Deze tips kunnen helpen:

  • Zorg in de bronvideo voor goed licht en een rustige achtergrond, zodat de beweging duidelijk te zien is.
  • Houd de hele persoon in beeld. Als handen of voeten buiten het kader vallen, moet de software ontbrekende informatie invullen.
  • Begin met rustige, overzichtelijke bewegingen. Snelle draaien en overlappende lichaamsdelen zijn vaak lastiger.
  • Kies een scherp doelbeeld waarop het figuur goed zichtbaar is, liefst in een houding die bij het begin van de video past.
  • Bekijk het resultaat voordat je het deelt. Let op vervormde handen, wisselende gezichtskenmerken en haperende bewegingen.

Waar moet je op letten?

Gebruik bronvideo’s en doelbeelden waarvoor je de benodigde gebruiksrechten hebt. Bij herkenbare personen moet je bovendien zorgvuldig omgaan met toestemming en privacy. Een realistisch ogende AI-video kan ten onrechte de indruk wekken dat iemand iets echt heeft gedaan. Vermeld daarom duidelijk wanneer een gedeelde video met AI is gemaakt, zeker als verwarring mogelijk is.

Tot slot

AI-bewegingsoverdracht maakt het eenvoudiger om bewegingen uit bestaande video’s toe te passen op nieuwe personages. Het resultaat vraagt soms meerdere pogingen en blijft gevoelig voor visuele fouten. Wie goed bronmateriaal kiest en zorgvuldig met beelden van anderen omgaat, kan er op een creatieve manier mee experimenteren.

Over de auteur: Genjutsu Team beheert Genjutsu.app, een browserdienst waarmee gebruikers AI-video’s kunnen maken op basis van bestaande bewegingen.