De technische code gekraakt: Avastars

In het nieuwe Talpa-programma Avastars worden virtuele artiesten tot leven gewekt met de allernieuwste techniek op het gebied van motion capture en augmented reality. Deze Avastars worden aangestuurd door een bekend zangtalent (voor de mimiek) en een danstalent (beweging van hoofd en lichaam)....live on stage. Juist dat laatste was tot nu toe onmogelijk, maar na jaren van puzzelen is de technische code gekraakt en komen motion capture en augmented reality live (!) samen. We spraken over de techniek met Max van den Camp, Product Specialist Graphics and Augmented Reality bij NEP.

Alle edities

AV-Entertainment Nr1 2024
AV-Entertainment Nr6 2023
AV-Entertainment Nr5 2023
AV-Entertainment Nr4 2023
AV-Entertainment Nr3 2023
AV-Entertainment Nr2 2023
AV-Entertainment Nr1 2023
AV-Entertainment Nr6 2022
AV-Entertainment Nr5 2022
AV-Entertainment Nr4 2022
AV-Entertainment Nr3 2022
AV-Entertainment Nr2 2022
AV-Entertainment Nr1 2022
AV-Entertainment Nr6 2021
AV-Entertainment Nr5 2021
AV-Entertainment Nr4 2021
AV-Entertainment Nr3 2021
AV-Entertainment Nr2 2021
AV-Entertainment Nr1 2021
AV-Entertainment Nr6 2020
AV-Entertainment Nr5 2020
AV-Entertainment Nr4 2020
AV-Entertainment Nr3 2020
AV-Entertainment Nr2 2020
AV-Entertainment Nr1 2020
AV-Entertainment Nr6 2019
AV-Entertainment Nr5 2019
AV-Entertainment Nr4 2019
AV-Entertainment Nr3 2019
AV-Entertainment Nr2 2019
AV-Entertainment Nr1 2019
AV-Entertainment Nr6 2018
AV-Entertainment Nr5 2018
AV-Entertainment Nr4 2018
AV-Entertainment Nr3 2018
AV-Entertainment Nr2 2018
AV-Entertainment Nr1 2018
AV-Entertainment Nr6 2017
AV-Entertainment Nr5 2017
AV-Entertainment Nr4 2017
AV-Entertainment Nr3 2017
AV-Entertainment Nr2 2017
AV-Entertainment Nr1 2017
AV-Entertainment Nr6 2016
AV-Entertainment Nr5 2016
AV-Entertainment Nr4 2016
AV-Entertainment Nr3 2016
AV-Entertainment Nr2 2016
AV-Entertainment Nr1 2016
AV-Entertainment Nr6 2015
AV-Entertainment Nr5 2015
AV-Entertainment Nr4 2015
AV-Entertainment Nr3 2015
AV-Entertainment Nr2 2015
AV-Entertainment Nr1 2015
AV-Entertainment Nr6 2014
AV-Entertainment Nr5 2014
AV-Entertainment Nr4 2014
AV-Entertainment Nr3 2014
AV-Entertainment Nr2 2014
AV-Entertainment Nr1 2014
AV-Entertainment Nr6 2013
AV-Entertainment Nr5 2013
AV-Entertainment Nr4 2013
AV-Entertainment Nr3 2013
AV-Entertainment Nr2 2013
AV-Entertainment Nr1 2013
AV-Entertainment Nr6 2012
AV-Entertainment Nr5 2012
AV-Entertainment Nr4 2012
AV-Entertainment Nr3 2012
AV-Entertainment Nr2 2012
AV-Entertainment Nr1 2012
AV-Entertainment Nr6 2011
AV-Entertainment Nr5 2011
AV-Entertainment Nr4 2011
AV-Entertainment Nr3 2011
AV-Entertainment Nr2 2011
AV-Entertainment Nr1 2011
AV-Entertainment Nr6 2010
AV-Entertainment Nr5 2010
AV-Entertainment Nr4 2010
AV-Entertainment Nr3 2010
AV-Entertainment Nr2 2010
AV-Entertainment Nr1 2010
AV-Entertainment Nr6 2009
AV-Entertainment Nr5 2009
AV-Entertainment Nr4 2009
AV-Entertainment Nr3 2009
AV-Entertainment Nr2 2009
AV-Entertainment Nr1 2009
AV-Entertainment Nr6 2008
AV-Entertainment Nr5 2008
AV-Entertainment Nr4 2008
AV-Entertainment Nr3 2008
AV-Entertainment Nr2 2008
AV-Entertainment Nr1 2008
AV-Entertainment Nr6 2007
AV-Entertainment Nr5 2007
AV-Entertainment Nr4 2007
AV-Entertainment Nr3 2007
AV-Entertainment Nr2 2007
AV-Entertainment Nr1 2007
AV-Entertainment Nr6 2006
AV-Entertainment Nr5 2006
AV-Entertainment Nr4 2006
AV-Entertainment Nr3 2006
AV-Entertainment Nr2 2006
AV-Entertainment Nr1 2006
AV-Entertainment Nr1 2005

De technische code gekraakt: Avastars

Magazines | AV-Entertainment Nr1 2023

In het nieuwe Talpa-programma Avastars worden virtuele artiesten tot leven gewekt met de allernieuwste techniek op het gebied van motion capture en augmented reality. Deze Avastars worden aangestuurd door een bekend zangtalent (voor de mimiek) en een danstalent (beweging van hoofd en lichaam)....live on stage. Juist dat laatste was tot nu toe onmogelijk, maar na jaren van puzzelen is de technische code gekraakt en komen motion capture en augmented reality live (!) samen. We spraken over de techniek met Max van den Camp, Product Specialist Graphics and Augmented Reality bij NEP. 

Foto’s: William Rutten en Leo Veger

Al een aantal jaren geleden klopte Talpa Entertainment Productions aan bij NEP met de vraag of het mogelijk zou zijn om live motion capture technologie te combineren met augmented reality in een tv-studio. Dit met het doel om een talentenjacht te maken met virtuele karakters. Resultaat daarvan was dat Talpa en NEP een partnerschap aangingen, om samen de technische code te gaan kraken en het dus technisch mogelijk te maken. Daarbij werd ook nauw samengewerkt met NEP-collegabedrijven uit Engeland en de Verenigde Staten. “Dat zijn partijen die heel veel ervaring hebben in de gaming- en filmindustrie, waarbij we het echt hebben over grote Hollywood-producties, zoals films van Marvel, Star Wars en Disney”, vertelt Max van den Camp (Product Specialist Graphics and Augmented Reality bij NEP). “Samen hebben we nu onze ‘live-on-tape’ workflow ontwikkeld, waarmee mogelijk wordt wat nog nooit eerder kon. De samenwerking was er overigens ook om straks, hopelijk, de internationale uitrol van het programma te vergemakkelijken.”

Opnieuw uitvinden
Toen John de Mol zijn hersenspinsel Avastars in 2021 aankondigde bij Shownieuws, gingen in de Verenigde Staten een aantal lampjes branden. Fox wilde dolgraag de eerste zijn die dit voor elkaar zou krijgen en bracht met (te) veel spoed hun programma Alter Ego op de buis. “Dat deden ze alleen te gehaast”, vertelt Van den Camp. “Hun techniek was er niet klaar voor om dit live voor elkaar te krijgen. Om niet in diezelfde valkuil te trappen hebben wij heel bewust de tijd genomen om het programma naar het niveau te tillen dat wij voor ogen hadden. Het is technisch gezien echt next level.” Gaandeweg liepen Van den Camp en consorten uiteraard tegen veel uitdagingen aan: “Hoe maak je de Avastars zichtbaar voor publiek en jury? Hoe combineer je een danser(es) en zanger(es) tot één virtuele Avastar en hoe laat je die vervolgens op de juiste manier integreren in de echte wereld? En hoe combineer je het pak van de danser - die het lichaam van de Avastar aanstuurt - met de helm van de zanger, die alleen maar het gezicht aanstuurt? We hebben het wiel echt helemaal opnieuw moeten uitvinden.”

Bolletjes
Om het programma te laten werken is de opnamestudio letterlijk in tweeën gedeeld. De ene helft is de gewone studio, met het podium waarop presentator Kalvijn zijn ding doet en waar de Avastars hun optreden (te zien op videoschermen) verzorgen. De andere helft van de studio is de zogenaamde ‘work stage’, vertelt Van den Camp: “In dat deel staat alle motion capture techniek en moeten de deelnemers goed samenwerken om de Avastars te besturen. De Avastar wordt uiteindelijk op het podium bij Kalvijn door augmented reality-technologie zichtbaar gemaakt voor de camera’s. Daarbij maken we gebruik van verschillende technologieën uit de film- en game-industrie.” Om de mimiek van de Avastar over te brengen heeft de zanger of zangeres een speciale helm op. Op de ene helft daarvan zit een camera die de beweging van het gezicht constant volgt en dat beeld in de computer door middel van allerlei software meteen vertaalt naar het gezicht van de Avastar. Om de bewegingen van de dansers te kunnen gebruiken is een speciaal podium gebouwd, de work stage. Van den Camp: “Daar zie je 32 infraroodcamera’s die allemaal kijken naar de vijftig reflectieve bolletjes die op de pakken van de dansers zijn geplakt. De computer ziet al die bolletjes van alle mogelijke kanten, waardoor het systeem precies weet hoe de danser beweegt. Door speciale software wordt dat meteen vertaald naar het lichaam van de Avastar.”

Datastromen
“Alle bewegingen van lichaam en gezicht komen achter de schermen in verschillende datastromen samen in onze computers”, vertelt Van den Camp verder. “Door onder andere gebruik te maken van Unreal Engine, de motor achter veel computergames, zoals bijvoorbeeld Fortnite, zijn we in staat om dit allemaal tegelijk meteen live zichtbaar te maken voor de camera’s in de echte studio. Daar hebben we onze eigen softwarepakketten voor ontwikkeld, speciaal voor Avastars. We kunnen ook bolletjes plakken op objecten, zodat we daar precies de locatie van weten. Trap, piano, microfoon….het kan allemaal worden meegenomen in het geheel en zo kunnen echte performances gerealiseerd worden.”

Leren lopen
Van den Camp toont zich trots als we rondkijken bij het technische hart van Avastars. “Hier is het zenuwcentrum waar alles samenkomt”, vertelt hij. “Nou ja, de apparatuur zelf staat centraal in ons datacentrum, maar hier wordt alles bediend.” Wel geeft hij toe dat hij zich gedurende het hele traject meermaals heeft afgevraagd waar ze in hemelsnaam aan begonnen waren: “Kijk, het augmented reality-deel is een trucje dat we inmiddels al wel onder controle hadden. Die drie jaar waren echt nodig om de exotische techniek van motion capture te integreren in de techniek die we gebruiken om augmented reality op de camera’s zichtbaar te maken. Maar dit format is ook speciaal omdat de techniek een dusdanige impact heeft op het productieproces, dat ze ook bij Talpa hun hele keten weer even moesten heruitvinden. De hele workflow moest opnieuw en dat is natuurlijk nogal wat. We hebben echt een beetje opnieuw moeten leren lopen.”

Ultieme productie
Het mooie vindt Van den Camp ook dat hiermee voor de hele wereld gepionierd is. “Dat maakt ook dat wij heel erg gefocust zijn op die live-on-tape workflow. Zorgen dat je in de studio alles meteen back to back zo goed als klaar kan opnemen, waarna nog wel ruimte is om in postproductie dingen te herstellen en corrigeren. Juist daarvoor is het zo fijn dat we binnen de NEP Group kunnen samenwerken met bedrijven die op dat vlak tot de wereldtop behoren en we die kennis dus ook binnen de groep hebben.” Het klinkt al met al als de ultieme productie. “Nou, ik draai al heel wat jaartjes mee, maar dit is echt het allertofste project dat ik ooit gedaan heb”, beaamt Van den Camp. “Het is het langste en zwaarste project, maar zeker ook het allermooiste.”
 

Egripment
Egripment is door Talpa als gripleverancier betrokken bij Avastars. Zo werden een Techno 50 Plus en en een Agito dolly met een custom made rail met kabelgeleiding gebouwd. “De wens van de regisseur was een dolly die aan de voorkant in de ronde bühne meerijdt, maar die zo min mogelijk zichtbaar is in andere shots”, vertelt Wouter Visser van Egripment. “Men wilde alleen een opening zien, waar de column en de remotehead bovenuit staken. Doordat er onder de bühne weinig ruimte was en de AR-systemen niet draadloos konden, moesten we ervoor zorgen dat de kabels begeleid werden. Hiervoor hebben we een custom-made systeem gemaakt dat meegaat in de ronding van de cirkel.”

In de opbouwfase en tijdens het kalibreren van de trackingsystemen zijn de mensen van Egripment er als ondersteuning bij geweest voor de mensen van NEP, die het trackinggedeelte verzorgen op de camera s van de crane en dolly. “Tijdens de repetitie en opnames bedienen we de crane en dolly samen met de cameramensen van NEP”, legt Visser uit. “Dan is de uitdaging om samen de shots te maken die de regisseur bedacht heeft of een alternatief aan te bieden, de juiste timing te vinden en rekening te houden met het licht en in dit geval de positie van de AR-wereld ten opzichte van de echte wereld. Het mooiste van zo’n project is dat je met verschillende bedrijven één product maakt, waarin ieder zijn passie en vakmanschap mag en kan laten zien.”

Facebook

Aanbevolen

Gratis AV & Entertainment ontvangen

Vul hier uw emailadres in en u wordt op de hoogte gehouden van de laatste nieuwtjes op AV gebied én ontvangt tevens de gratis digitale editie van AV & Entertainment