De technische code gekraakt: Avastars
AV-Entertainment Nr1 2023
» Dutch Guild bij EMG: de evolutie van televisiewagens
» Studioverlichting: wat is hot?
» De technische code gekraakt: Avastars
» Audac: de onthulling van de Atellio-familie
» Panasonic Lumix DC-S5II: terug in de vaart der AF-volkeren
» Moonbears en partners in Studio Baarn: aangename kennismaking
» IIIMagine in Koninklijk Legermuseum: magische mix van muziek en licht
» Stand van zaken: projectie
» Ploegendienst Winterfestival: bedoeld om de tijd te vergeten
» Tafeldiscussie technisch producenten: “Wereldwijd nog steeds het allerbest”
» Column Willem Westermann: Ik wens je veel evenementen
» Alle records gebroken: Integrated Systems Europe 2023
Alle edities
De technische code gekraakt: Avastars
In het nieuwe Talpa-programma Avastars worden virtuele artiesten tot leven gewekt met de allernieuwste techniek op het gebied van motion capture en augmented reality. Deze Avastars worden aangestuurd door een bekend zangtalent (voor de mimiek) en een danstalent (beweging van hoofd en lichaam)....live on stage. Juist dat laatste was tot nu toe onmogelijk, maar na jaren van puzzelen is de technische code gekraakt en komen motion capture en augmented reality live (!) samen. We spraken over de techniek met Max van den Camp, Product Specialist Graphics and Augmented Reality bij NEP. Foto’s: William Rutten en Leo Veger Al een aantal jaren geleden klopte Talpa Entertainment Productions aan bij NEP met de vraag of het mogelijk zou zijn om live motion capture technologie te combineren met augmented reality in een tv-studio. Dit met het doel om een talentenjacht te maken met virtuele karakters. Resultaat daarvan was dat Talpa en NEP een partnerschap aangingen, om samen de technische code te gaan kraken en het dus technisch mogelijk te maken. Daarbij werd ook nauw samengewerkt met NEP-collegabedrijven uit Engeland en de Verenigde Staten. “Dat zijn partijen die heel veel ervaring hebben in de gaming- en filmindustrie, waarbij we het echt hebben over grote Hollywood-producties, zoals films van Marvel, Star Wars en Disney”, vertelt Max van den Camp (Product Specialist Graphics and Augmented Reality bij NEP). “Samen hebben we nu onze ‘live-on-tape’ workflow ontwikkeld, waarmee mogelijk wordt wat nog nooit eerder kon. De samenwerking was er overigens ook om straks, hopelijk, de internationale uitrol van het programma te vergemakkelijken.” Opnieuw uitvinden Toen John de Mol zijn hersenspinsel Avastars in 2021 aankondigde bij Shownieuws, gingen in de Verenigde Staten een aantal lampjes branden. Fox wilde dolgraag de eerste zijn die dit voor elkaar zou krijgen en bracht met (te) veel spoed hun programma Alter Ego op de buis. “Dat deden ze alleen te gehaast”, vertelt Van den Camp. “Hun techniek was er niet klaar voor om dit live voor elkaar te krijgen. Om niet in diezelfde valkuil te trappen hebben wij heel bewust de tijd genomen om het programma naar het niveau te tillen dat wij voor ogen hadden. Het is technisch gezien echt next level.” Gaandeweg liepen Van den Camp en consorten uiteraard tegen veel uitdagingen aan: “Hoe maak je de Avastars zichtbaar voor publiek en jury? Hoe combineer je een danser(es) en zanger(es) tot één virtuele Avastar en hoe laat je die vervolgens op de juiste manier integreren in de echte wereld? En hoe combineer je het pak van de danser - die het lichaam van de Avastar aanstuurt - met de helm van de zanger, die alleen maar het gezicht aanstuurt? We hebben het wiel echt helemaal opnieuw moeten uitvinden.” Bolletjes Om het programma te laten werken is de opnamestudio letterlijk in tweeën gedeeld. De ene helft is de gewone studio, met het podium waarop presentator Kalvijn zijn ding doet en waar de Avastars hun optreden (te zien op videoschermen) verzorgen. De andere helft van de studio is de zogenaamde ‘work stage’, vertelt Van den Camp: “In dat deel staat alle motion capture techniek en moeten de deelnemers goed samenwerken om de Avastars te besturen. De Avastar wordt uiteindelijk op het podium bij Kalvijn door augmented reality-technologie zichtbaar gemaakt voor de camera’s. Daarbij maken we gebruik van verschillende technologieën uit de film- en game-industrie.” Om de mimiek van de Avastar over te brengen heeft de zanger of zangeres een speciale helm op. Op de ene helft daarvan zit een camera die de beweging van het gezicht constant volgt en dat beeld in de computer door middel van allerlei software meteen vertaalt naar het gezicht van de Avastar. Om de bewegingen van de dansers te kunnen gebruiken is een speciaal podium gebouwd, de work stage. Van den Camp: “Daar zie je 32 infraroodcamera’s die allemaal kijken naar de vijftig reflectieve bolletjes die op de pakken van de dansers zijn geplakt. De computer ziet al die bolletjes van alle mogelijke kanten, waardoor het systeem precies weet hoe de danser beweegt. Door speciale software wordt dat meteen vertaald naar het lichaam van de Avastar.” Datastromen “Alle bewegingen van lichaam en gezicht komen achter de schermen in verschillende datastromen samen in onze computers”, vertelt Van den Camp verder. “Door onder andere gebruik te maken van Unreal Engine, de motor achter veel computergames, zoals bijvoorbeeld Fortnite, zijn we in staat om dit allemaal tegelijk meteen live zichtbaar te maken voor de camera’s in de echte studio. Daar hebben we onze eigen softwarepakketten voor ontwikkeld, speciaal voor Avastars. We kunnen ook bolletjes plakken op objecten, zodat we daar precies de locatie van weten. Trap, piano, microfoon….het kan allemaal worden meegenomen in het geheel en zo kunnen echte performances gerealiseerd worden.” Leren lopen Van den Camp toont zich trots als we rondkijken bij het technische hart van Avastars. “Hier is het zenuwcentrum waar alles samenkomt”, vertelt hij. “Nou ja, de apparatuur zelf staat centraal in ons datacentrum, maar hier wordt alles bediend.” Wel geeft hij toe dat hij zich gedurende het hele traject meermaals heeft afgevraagd waar ze in hemelsnaam aan begonnen waren: “Kijk, het augmented reality-deel is een trucje dat we inmiddels al wel onder controle hadden. Die drie jaar waren echt nodig om de exotische techniek van motion capture te integreren in de techniek die we gebruiken om augmented reality op de camera’s zichtbaar te maken. Maar dit format is ook speciaal omdat de techniek een dusdanige impact heeft op het productieproces, dat ze ook bij Talpa hun hele keten weer even moesten heruitvinden. De hele workflow moest opnieuw en dat is natuurlijk nogal wat. We hebben echt een beetje opnieuw moeten leren lopen.” Ultieme productie Het mooie vindt Van den Camp ook dat hiermee voor de hele wereld gepionierd is. “Dat maakt ook dat wij heel erg gefocust zijn op die live-on-tape workflow. Zorgen dat je in de studio alles meteen back to back zo goed als klaar kan opnemen, waarna nog wel ruimte is om in postproductie dingen te herstellen en corrigeren. Juist daarvoor is het zo fijn dat we binnen de NEP Group kunnen samenwerken met bedrijven die op dat vlak tot de wereldtop behoren en we die kennis dus ook binnen de groep hebben.” Het klinkt al met al als de ultieme productie. “Nou, ik draai al heel wat jaartjes mee, maar dit is echt het allertofste project dat ik ooit gedaan heb”, beaamt Van den Camp. “Het is het langste en zwaarste project, maar zeker ook het allermooiste.”
|