Trends in Virtual Productions: van post naar on-set preproduction
AV-Entertainment Nr2 2024
» Nieuwe branchevereniging audiovisuele bedrijven: Audiovisuele Federatie Nederland
» De uitrusting van geluidsman en sound designer Sam Huisman
» ELEMENTS Media Library; ideale oplossing voor Omroep MAX
» Nieuwe TV-regie RTV Drenthe: 'Masterplan innovatie in de regio'
» Stand van zaken: storage-oplossingen
» De OBV van Triple Broadcast: 'Grote OBV in compacte uitvoering'
» Broadcastvoertuigen: Twee innovatieve bedrijven, twee faillissementen
» Aangenaam kennismaken: NETGEAR AV
» Sound-engineer en studio-eigenaar Paul Pouwer: "Ik ga gewoon voor de muziek"
» Theatertour 75 jaar Zonnebloem: Volle kracht vooruit
» Moonbears Rocket Session
» Verslag: Prolight + Sound
» Broadcast Rental cruciaal op 538 Koningsdag
» Totaalproductie voor Think! AV: Eurovision in Concert
» Van Schie: Eventpontons mét certificaat
» 30 jaar Robe: feest op Prolight + Sound
» Stage Freaks Pop-Up Store: Pitstop voor de evenementenbouwer
Alle edities
Trends in Virtual Productions: van post naar on-set preproduction
| Onder virtuele productie (vanaf nu VP) verstaan we het maken van films en videoproducties middels het combineren van digitaal grafisch ontworpen sets met live action scenes. Fysiek wordt vervangen door digitaal en generatieve AI. En in het meest vergaande geval rolt alle real life immersive content uit de VP-platforms zonder dat daar nog een menselijke acteur of echte locatie aan te pas komt. Dat klinkt als bedreiging van creativiteit en banen, maar schept in de praktijk veel meer mogelijkheden tot een enerverende storytelling, immersive beleving in de hoogste AV-kwaliteit het ontwikkelen van cinetalent. Door Ulco Schuurmans Traditionele videoproductie omvat het bouwen van fysieke sets of decors, scripting het scouten van locaties, het inhuren van de acteurs en figuranten, het coördineren van grote teams, een grote hoeveelheid aan apparatuur voor opname en editing en natuurlijk de pre- en postproduction. In het digitale tijdperk met generatieve Artificiële Intelligentie, immersive VR/AR/MR en grote fotorealistische LED-schermen gaat dit gewoon on-set en in Cloud collaboration. Een ware revolutie bij de cinematografie, broadcast-, video- en eventproductie. Die kan nu al voor 40% vervangen worden door Virtuele Productie (VP). Behalve een fikse reductie van de productiekosten, de winstpakker van 50-60%, tevens een enorme booster van de creativiteit en bereikbare kwaliteit. Dat maakt het grote werk nu ook toegankelijk voor de kleinere producenten en YouTubers of Vloggers. Van post- naar preproductie Voorheen werden bioscoopfilms, videoproducties en opgenomen programma’s of shows achteraf nabewerkt. Bij de postproduction met VP gebeurt juist het omgekeerde. De visuele scènes met achtergronden en natuurlijke belichting plus colourgrading, speciale effecten (VFX), de soundscape, props, opnamehoeken van de camera, de dieptesensatie, het perspectief en tracking worden al van tevoren aangemaakt. Dan valt er achteraf in de oorspronkelijke postproduction nog maar weinig te doen. Bovendien kan je meteen op de set al wijzigen als het anders moet. Er wordt ook gesproken van on-set virtual production (OSVP). Dat wil zeggen dat de virtuele productie op de set zelf meteen realtime wordt vormgegeven, ge-edit en bijgewerkt. Andere veel gebruikte technische termen zijn In-Camera Visual Effects (CVFX) en de Volume (de met LED-panelen omgeven ruimte). Deze techniek maakt sinds 2019 een opmars en werd toen bekend door de Mandalorian.
De kritische componenten zijn AI, de LED-muren en krachtige GPU-cores in de VP-computers. AI wordt zowel ingezet als generatief voor beeldvorming en audio, als voor de motion tracking en het machineleren van cinematechnieken. Belangrijk zijn ook de complexe special effects en lichteffecten en algemene verbetering van de AV-kwaliteit. De ledlampen en muren zijn bij VP geen domme lichtbronnen meer. Ze zijn ronduit intelligent en passen ondersteund door AI de verlichting, lichtkleur, lichtval, schaduwwerking en het karakter naadloos aan voor de bedoelde scène. Wat eerder bij de postproductie gebeurde kan gewoon rechtstreeks tijdens de opname op de set. Software, cores en LED-screens Bij VP gaat de aandacht dikwijls als eerste uit naar LED-volumes. Virtual poduction kent echter drie fundamentele componenten. De eerste is de software. Deze verzorgt de Computer Generated Imaging (CGI), de speciale effecten, de VR/AR/MR, de voormalige postproduction, de collaboration in teams en de bijbehorende workflows. Dit steeds meer per IP en in de Cloud. Een aparte tak werkt aan de digital staging met Extended Reality (XR). Bij de tweede component, computerhardware, draait het allemaal om het aantal cores. Hoeveel grafische (GPU), neural networking- en CODEC-kernen zijn er aan boord? NVIDIA GPU’s (ook voor AI) en Apple met de M-processoren timmeren hierbij stevig aan de weg. Zo speelt bijvoorbeeld de Mac Studio M2, en straks ook de M3, in de Max- of Ultra-uitvoering de VP-steren van de hemel. Als derde component de LED-screen. Deze vervangt het aloude green of blue screen. Er zijn twee vormen van: De LED Volumes die de opnameset van alle zijden omhullen. En de Virtuele Studio met LED-wanden. Beiden zorgen voor de CGI-aankleding van het beeld op de opnameset. De virtuele studio In principe is een virtuele studio een multicam green screen-omgeving voor het in-keyen van presentatoren, acteurs, het publiek en realistische (3D) set-achtergronden. Door de huidige VP-revolutie gaat het daarbij steeds meer om LED-panels en -walls. Daarnaast zijn er grafische templates voor NLE-suites waarbij je de videobeelden naadloos in de VR-omgeving kunt voegen. De virtuele studio is met name geschikt voor vaste opstellingen met telkens eenzelfde soort uniforme weergave. Scheelt in het telkens weer op moeten bouwen en in een studioruimte kun je m.b.v. LED meerdere virtuele studio’s realiseren. Behalve bij TV-shows, newsrooms, actualiteitenprogramma’s, sportverslagen en quizzen ook heel geschikt voor evenementen- en entertainmentsettings. De virtuele studio bestaat al sinds de jaren ‘90 van de vorige eeuw. Zij zijn verder geëvolueerd met camera tracking en realistische weergave van kleur, details, hoge scherpte en vloeiende beweging. Elke camera heeft zijn eigen tracking-data, render engine en realtime keying. De opgestelde multicam-setting is nauwkeurig ingespeeld om de beeldgebeurtenissen in al hun facetten, hoeken en wendingen weer te geven. Ook opnamen in 360 graden. De beeldkwaliteit is fotorealistisch. Inmiddels ook al in 4K en hogere resoluties. Behalve alles als CGI zijn er tevens hybride vormen van de virtual studio. Daarbij kunnen ook fysieke objecten in de virtuele beeldsetting worden meegenomen. Het valt dan meestal niet meer te onderscheiden of het nu echt of door een grafische computer gegeneerd is.
LED Volumes Bij de oude klassieke green screen-techniek stond de presentator of acteur in een met groene achtergronden beklede ruimte zijn of haar ding te doen. Er was geen directe interactie met de lege omgevingen. De achtergronden werden later pas toegevoegd. Bij de zogenaamde LED Volumes is dat anders. De mens bivakkeert tussen totaal omringende LED-schermen die direct realtime beeld laten zien. Een presentator, acteur of kijker kan nu direct interacteren met beelden die deze individuen op de voet volgen. Dit zowel qua beweging als belichting en schaduwval. Ook zijn er geen storende kleurrandjes of verschillen in tint zichtbaar. Het blote oog ziet geen verschillen meer tussen echt fysiek en VR/AR of MR. De bouw van een LED Volume is die van grote wrap-around omgeving bestaande uit gekromde LED-panelen. De belangrijkste LED-panelen zijn van de hoogste HIRES-kwaliteit. Exemplaren met een lagere resolutie (minder pixels) zijn inzetbaar aan het plafond of in de achtergrond. In de eerste instantie zijn LED Volumes in gebruik voor single camera shoots bij film/cinema, episodic drama en commercials. Niet al te grote sets met meerdere personen of kleinere tv-panels gaan eveneens goed. Door AI ondersteunde LED-volumes zijn behoorlijk slim. Niet alleen de camera tracking en realtime rendering zijn tot in de puntjes onder controle, maar ook het perspectief en de backdrop parallax. De belichting valt in een oogwenk te wijzigen.
Live LED-wall in camera Een andere belangrijke ontwikkeling vormt de live LED-wall in virtuele cameraproductie. De opnemende camera’s pakken alle fysieke en door de achtergronden geproduceerde beelden samen in een AV- formaat en output. De camera draagt verder zelf nog bij in de nauwkeurige tracking. Er is dan geen sprake meer van postproduction op een NLE-computers, effectmixer of in de Cloud. Het eindproduct kan direct online, op een IP-netwerk of naar clouddistributie. De XR stage Onder XR (Extended Reality) verstaan we uitgebreide werkelijkheid. In de praktijk een combinatie van VR, AR en MR. Bij een stage bouwt de producer een podium met XR uitbreiding in software, hardware en LED-screens. De X van extended slaat eveneens op het feit dat deze vorm van VP de gehele ruimte en omgeving er bij betrekt. Veelal zijn er virtuele game engines betrokken bij het genereren van de achtergronden, objecten en (tracking-)animaties. Een andere reden om voor XR te kiezen is het grote aantal realistische interactiemogelijkheden.
Net als bij de LED Volumes bestaat de XR-studio uit een ruimte (volume) of een soort scenegrot. De wanden zijn bekleed met LED-tiles. Omdat het een stage betreft is deze vorm ontwikkeld voor actie op het podium zelf, zoals bij evenementen, muziekoptredens en andere performances. Een aantal hoge scholen, zoals bijvoorbeeld die in Breda, hebben XR-stages om hun studenten kennis te laten maken met deze mediavorm. Softwaretools Er is een ruime keuze aan softwaregereedschappen voor VP. De geavanceerde tools kunnen de complete workflow voor hun rekening nemen. Een van de meest gebruikte VP-platforms in deze is de Unreal Engine. Deze suite munt uit in het creëren van onderdompelende (immersive) virtuele omgevingen en karakteranimaties. Het gaat om een node-based workflow, een uitgebreide bibliotheek met assets, een breed gevarieerd aanbod van animatietools, een geïntegreerde tijdlijn en compatibiliteit met een groot aantal plug-ins. Voor de startende VP-er is er de ScenForge Studio die relatief eenvoudig, snel en in een hoge kwaliteit immersive environments schept. De sterke punten zijn een gebruiksvriendelijk drag-and-drop interface, ook ondersteuning van AR en crossplatform compatibiliteit. De meegeleverde bibliotheek is ruim voorzien met textures, modellen en audiobestanden. Bij de duurdere Pro-versies is Frame.io geïntegreerd.
Unity richt zich vooral op community based VP-platforms. De 3D-modelling pakt magnifiek uit bij het genereren van landschappen, characters en fysieke simulaties. Dit alles met een fraaie realistische diepte en perspectief. Het gebruikersinterface voorziet tevens in scripting. Unity is in gebruik bij een breed aantal communities van creatieve ontwerpers. Maya is een oude bekende. Dit VP-pakket speelt in de hoogste liga van modelling en animeren. In de basis gaat het om een node-based rigging-systeem met een zeer natuurlijk creatie van diepte en perspectief voor VP. Aanvullend zijn er van Autodesk motion-tracking, MotionBuilder en een snellere workflow voor het genereren van animaties. Houdini is sterk in het vastleggen van de dynamische details die van groot belang zijn voor het genereren van een fotorealistische virtuele omgeving. Zo zijn bijvoorbeeld vloeistofbewegingen gemaakt met de on board dynamic engines uit de kunst. Notch levert AR, VR, XR en MR over het gehele spectrum van virtuele technieken. Dit van het groene scherm tot LED-achtergronden en complete LED-podia. Verweef je verhalen met geavanceerde VR-beelden en -animaties. Notch integreert realtime met industriële standaarden voor software en hardware bij de VP.
Disguise timmert flink aan de weg met grootschalige VR en MR producties en XR-stages. Een compleet VP-ecosysteem voor het generen van VR/AR/MR/XR graphics, animaties, extended backgrounds, 3D projecten en Cloud-editing voor teams. De workflows worden vloeiend gestroomlijnd en de software is compatibel met de standaard industriële devices voor opname en weergave. Als laatste voorbeeld Motion Tracker voor het nauwkeurig en realistisch volgen van beweging. Autodesk weet hiermee wel raad met posing, character rigging, het modelleren van realistische animaties en scripting. De partijen Een van de nestors bij VP is NVIDIA. Dit zowel op het gebied van GPU’s en grafische kaarten als software en een eigen ‘omniversum.’ Onder de naam NVIDIA Omniverse Enterprise is een compleet platform gesitueerd voor complexe wereldwijde (3D) pipelines, geografisch verspreide creatieve teams, een groot aantal VP-tools en ruime bibliotheken met assets en content. Universal Scene Description (Open USD) helpt de betrokken edit-teams bij het vervaardigen van fysiek accurate grootschalige simulaties, het inzetten van veeleisende AI en industriële en wetenschappelijke workflows. Zelfs digitale tweelingen (digital twins) ontbreken niet. Een lekkere boost bij VP geeft het NVIDIA Studioplatform. Een combinatie van de eigen krachtige GPU’s, RTX-stuurprogramma en taakgerichte apps. De RTX-cores versnellen de rendering- en modellingprocessen met een veelvoud van hetgeen in deze VP-sector gebruikelijk is. Ook partijen als Adobe (Premiere Pro, After Effects, Camera in the Cloud), Blackmagic, AVID (Edit on Demand), Grass Valley Edius X Pro en Final Cut Pro X bieden volop mogelijkheden voor virtual production. Kill the videostar? De aloude vraag is of VP de videostar gaat killen? Daar is een aantal argumenten voor, met name op het vlak van kostenbesparing. Dat kan wel zo’n 40-60% bedragen. De lagere productiekosten maken meer budget vrij voor het opnamewerk. Op het gebied van scriptwriters, acteurs en creatieve visuele artiesten is de dreiging van het verlies van expertise en banen aanmerkelijk minder. AI VP is daar eerder een (hulp)instrument voor het genereren/creëren van content dan een niet menselijke productiespuiter. Studio’s dienen wel te investeren in de capaciteiten en het (door-)ontwikkelen van de mensen die met de nieuwe VP-technieken moeten gaan werken. Daarnaast kan de inzet van AI VP, VR/AR/MR/XR-engines en LED-walls als greenscreens de kwaliteit van producties verhogen. Last but not least: goed productiewerk is gebaseerd op ware art en creatief inzicht. Het hart van de productiestudio. En niet op een batterij slimme algoritmen die zo maar een gelikte productie in elkaar flanst. Het blijft uiteindelijk creatief mensen- en geen robotwerk.
|
Aanbevolen
