Levende acteur transformeert tot virtueel schepsel

Aan de rand van Amsterdam, min of meer verscholen op een industrieterrein, staat de studio van Motel. Dit bedrijf, dat gespecialiseerd is in motion capture, mag zich inmiddels verheugen in een internationale reputatie. Gek genoeg werkt Motek vooral voor buitenlandse opdrachtgevers.

Deze afbeelding komt van een pilot project waarbij de bekendeNederlandse spionne Mata Hari terug tot leven geroepen werd. Dit is het begin van een striptease met volledig gesimuleerde kleding. De kleding bestaat uit drie lagen over elkaar heen.

In speelfilms en televisieprogramma's zijn steeds vaker allerlei virtuele schepsels en 'synthetische karakters' te zien. Maar ze duiken ook op in commercials, videogames en videoclips. Soms vervangen ze zelfs acteurs en televisiepresentatoren van vlees en bloed. Bij de productie van dergelijke kunstmatige 'karakters' is een belangrijke rol weggelegd voor motion capture technieken. De ontwikkelingen op het gebied van computer graphics en driedimensionale computeranimatie zijn tegenwoordig dermate ver gevorderd dat een film of televisieprogramma volkomen synthetisch op de computer kan worden gemaakt.

De perfectie loert aan de horizon, maar driedimensionale computeranimaties van natuurlijke bewegingen zijn heel moeilijk kunstmatig te genereren. Menselijke bewegingen zijn ongelofelijk complex en subtiel. Ook onze perceptie van beweging is uitermate verfijnd. Als we iemand op afstand zien lopen, wordt van alle visuele informatie die onze hersenen ontvangen de beweging als eerste door ons brein verwerkt, nog voor vorm en kleur. Het is een overblijfsel van het overlevingsinstinct van onze verre voorouders die nog als apen in de bomen klommen, beducht voor elk gevaar.

Vloeiende bewegingen

Motion capture is een techniek waarmee de bewegingen van een echte acteur, danseres of andere performer vertaald kunnen worden in data die ingevoerd worden in de compurter. Met behulp van die data worden vervolgens de bewegingen van een virtueel karakter of synthetische acteur aangestuurd. Temidden van de diverse technieken die computeranimators voor het creeren van bewegingen tot hun beschikking hebben, geeft motion capture momenteel de vloeiendste en meest realistische resultaten, hoewel de techniek nog niet in staat is om echt perfecte natuurlijke bewegingen te genereren.

Jasper Brekelmans, lead-animator bij Motek, legt uit dat motion capture een techniek is die het moeizame traditionele key-framing bij karakteranimaties vervangt. "Bij traditionele karakteranimaties is het gebruikelijk dat je eerst zogeheten key-frames tekent en dat je vervolgens de tussenliggende beelden invult, om uiteindelijk de juiste poses en bewegingen te krijgen. Het nadeel daarvan is echter dat het een proces is dat heel veel tijd en moeite vergt. Bovendien heb je in feite jarenlange ervaring nodig voordat je een goede keyframe animator bent. Bij motion capture gebruik je het lichaam van een acteur of performer en plak je markers op bepaalde punten op diens lijf, waarmee je uiteindelijk driedimensionale posities kunt laten berekenen met behulp van een computersysteem. Je gebruikt dus eigenlijk de performance van een echte acteur in een echte driedimensionale ruimte en die koppel je aan jouw animatiekarakter. Vooral in gevallen waarin je lange animatiesequenties moet maken, kan het heel erg handig zijn om puur vanwege snelheidsoverwegingen motion capture-technieken te gebruiken. Zeker als je wekelijkse tv-shows moet gaan doen of dat soort zaken".

Optisch en magnetisch

Er bestaan verschillende motion capture technieken. "Bij Motek maken we vooral gebruik van optische motion capture", vertelt Brekelmans. "Bij optische capture worden kleine reflecterende bolletjes op het lichaam van de performers geplakt, en om de capture area heen hangen 6 tot 24 camera's. Die camera's zenden infrarood licht naar de bolletjes. Dat licht wordt door de bolletjes weerkaatst en vervolgens weer opgevangen door de camera's. Op die manier kan de computer precies berekenen waar zich de bolletjes in de driedimensinale ruimte bevinden. De magnetische methode werkt ook met markers. Daarbij worden kleine magnetische sensors op het lichaam van de performer aangebracht, met draadjes eraan. Bij de capture area staat een grote magnetische bol, die een magnetisch veld genereert. Doordat de magnetische sensors in het magnertische veld gaan bewegen, kan de computer precies meten waar de sensors zijn en aldus de 3D-coordinaten eruit filteren. Tegenwoordig heb je ook magnetische systemen die niet met lange draden werken, maar met kleien zendertjes, zodat de performers meer vrijheid hebben om te bewegen." Er bestaat ook nog een derde methode voor motion capture: een mechanische.
Brekelmans: "Daarbij gebruikt men een soort pak met allemaal staven eraan, waarmee bijvoorbeeld de rotaties van een arm kunnen worden berekend. Het nadeel daarvan is dat je behoorlijke beperkingen hebt. Zo'n pak kan namelijk een beetje lastig zijn om goed in te bewegen. Het is wel de meest goedkope methode. Optische systemen zijn op dit moment het duurste en de magnetische systemen zitten daar tussenin. Optische systemen hebben het voordeel dat ze zeer nauwkeurig zijn, maar hebben ook een nadeel. Bij bepaalde bewegingen van de performers kunnen namelijk een of meerdere bolletjes op bepaalde momenten onzichtbaar worden voor de camera's. Als je bijvoorbeeld een bolletje op je hand hebt en je houdt tegen je borstkas aan, dan is dat bolletje niet meer te zien voor de camera's. Dat principe heet occlusion en zeker als je met een heleboel acteurs tegelijk gaat werken, of met bepaalde die ze in hun hand hebben wanneer ze bewegen, dan kun heel vaak het effect krijgen dat de reflecties van bepaalde bolletjes niet meer te zien zijn. Daardoor verlies je data. Het voordeel van optische technieken is wel dat je een helevboel mensen tegelijk kunt capturen. We hebben bij Motek captures gedaan met zes performers tegelijk."

Internationale Projecten

"Bij een magnetisch systeem zijn alle markers altijd te zien", stelt Brekelmans. "De magnetische stralen gaan gewoon door het lichaam heen, en je hebt dus geen problemen met occlusions. Maar omdat er bij een magnetisch systeem een limiet is aan het aantal markers dat je kunt gebruiken, is het minder precies dan een optisch systeem. Bovendien zijn magnetische systemen minder stabiel dan optische varianten. Een ander nadeel is de gevoeligheid van de apparatuur voor magnetische velden. Als er metalen voorwerpen in de buurt zijn, kan dat tot storingen in de dataregistratie leiden. Voorts is de ruimte waarin een performer zich kan bewegen vrij beperkt. In onze studio gebruiken wij op dit moment voornamelijk optische systemen, maar we hebben ook een magnetisch systeem."
Motek werkt vooral voor buitenlandse opdrachtgevers en grote internationale projecten. "De high-end animatie-industrie is vooral geconcentreerd in Amerika vanwege de grote films daar. De laatste grote film die we gedaan hebben is Mortal Combat II geweest. Op de set van die film, in Thailand, hebben we ter plekke een optische capture gedaan. Mortal Combat is oorspronkelijk een computerspel, op basis waarvan inmiddels een tweetal speelfilms is gemaakt. Maar we doen ook motion capture projecten voor films die bestemd zijn voor musea en we werken mee aan animaties voor internetsites."

UIt: AVPROF Vakblad voor professionals in beeld en geluid. januari/februari 2001