AI bij postproductie: fiks het slim in de post

AI is inmiddels een tool of the trade geworden bij de postproductie. Editors, regisseurs en producenten ontkomen gewoon niet meer aan de voordelen van snelheid, efficiency, hoge mate van kwaliteitsverbetering, toegevoegde creativiteit en besparing op tijd en kosten. De ontwikkelingen gaan razend snel. Tijd voor een blik op de stand van zaken...

Door: Ulco Schuurmans

AI vormt momenteel een wezenlijk onderdeel van NLE-suites bij postproduction. Nog maar enkele jaren terug was kunstmatige intelligentie slechts een leuk extraatje of gimmick. Nu gaat het om existentiële gereedschappen voor het bewerken en verbeteren van AV-content en het versnellen van anders tijdrovende en kostbare editprocessen. Onmisbaar in de moderne workflow bij de postproduction.

AI is in de praktijk zowel de versneller en assistent als de creatieve ondersteuner voor de editors en redacteuren. Bijvoorbeeld bij dialoogtranscriptie, slimme scènezoekopdrachten en contentmanagement, het opsporen van fouten, video-  en audio-opschoning, het stroomlijnen van workflows en groepswerk. Accelererende neuroengines, machineleren en algoritmen op maat spelen de sterren van de productiehemel. Tevens vindt er een snelle evolutie plaats in de overdracht tussen offline en online montage, een fase die ooit werd bepaald door rigide sequencing. Quote: ‘Offline montage, aangedreven door AI, verandert wat ooit een reeks vergrendelde cuts was in levende, kneedbare verhaalmomenten.’ Volgens McKinsey zou AI de meest transformerende kracht in de entertainmentindustrie kunnen zijn sinds de overstap naar streaming en elke fase van het creatieve proces van script tot scherm opnieuw uitvinden.

Toevoegen, geen substitutie
Er is in de pers veel aandacht voor AI als banenverslinder. Dat geldt echter veel minder sterk bij de postproduction. Kunstmatige intelligentie is een veelal welkome krachtige toevoeging en geen substitutie. De mens behoudt daarbij de creatieve controle, wordt ontlast en krijgt meer tijd voor de kern van het intuïtieve productieproces. Kortom, het gaat om een veel biedende aanvulling op het traditionele filmmaken. Kunstmatige intelligentie bij de postproduction is niet-destructief voor het bestaande proces. Deze slimme post-gereedschappen veranderen in concreto niet wat editors doen, maar nemen de wrijving van monotoon, repetitief handelen en basis sleurwerk weg, waardoor tijd vrijkomt voor verhalen en samenwerking.

Slim media-DBMS en storymaking
Tot de oudste functies van AI bij NLE behoort het slim doorzoeken van folders en reels op geschikte AV-bestanden. Deze vorm van media-databasemanagement (media-DBMS) gaat steeds verder. Niet alleen meer op formaat, kleur, belichting, resolutie, duur, spraak, klank, taal en geluidsfragmenten, maar ook op sfeer, gezichts-, dier- en objectherkenning, emoties/gelaatsuitdrukkingen en verhaalkenmerken. Op grond van deze gevonden data maakt de kunstmatig intelligente regisseur een voorselectie voor de komende montage. De shotmatch helpt prima om die ene speciale shot te vinden. Bij de storytelling twee belangrijke AI-componenten: als eerste story zoekt content. Welke beelden en geluidsfragmenten passen het beste bij het te vertellen verhaal? AI kan hierbij ook zelfstandig voorstellen doen. Ten tweede het genereren van compleet nieuwe story’s uit bestaande footage. Hergebruik van bestaande content kan behoorlijk lucratief zijn.

Opschonen en restoratie
Als AI al ergens zijn sporen heeft verdiend, dan is dat bij het opschonen en herstellen van video en ook wel foto. Niet alleen bij recente producties, maar ook voor archiefmateriaal. Vrijwel alle opschonende processen bij NLE voor postproduction zijn met AI te analyseren en uit te voeren. Beeldruis verwijderen, de belichting en het contrast bijstellen, kleur corrigeren tot complete colour grading aan toe, ongewenste plekjes verwijderen en de complete achtergrond vervangen. De algoritmen in de NLE-suites weten daar wel raad mee. Toch blijft de mens paraat om de juistheid van de correcties te beoordelen, net als de door AI voorgestelde beeldprocessing.

Het gaat tevens om getrainde modellen die voor het verzachten, deblurren en opschalen zorgen. Die integreren oorspronkelijk materiaal van een slechte kwaliteit en/of ouder archiefmateriaal naadloos in een digitale productie. Verloren frames of zelfs stukken van clips? De huidige beeldintelligentie is slim genoeg om wat weg is toch weer toe te voegen. Van belang zijn de ACES kleurruimte en EXR-files. De transformatiepijplijn voor het verkrijgen van consistente resultaten. In de EXR-bestanden zit in een hoogwaardig dynamisch bereik op basis van 16 bit half-float encoding. Nodig zijn de correcte Input Device Transform (IDT brengt de footage in de juiste kleurruimte) en Output Device Transform (ODT, maakt de juiste kleurmap voor de display). Ook hier kan AI welkome ondersteuning brengen en/of het proces na een opdracht geheel automatisch zelf uitvoeren.

Up- en rescaling
Regelmatig heb je bij het opnemen van materiaal dat is geschoten voor social media, gemaakt met oudere camera’s en met beelden uit het archief, te maken met lagere resoluties. Bijvoorbeeld 2K Full HD. Het upscalen naar 4K of zelfs 8K UHD is heel wel mogelijk. Bijvoorbeeld met de Super Scale-module van DaVinci Resolve Studio. Die  beschikt in versie 20 over 2x, 3x en 4x verbeterde upscaling. Dat zorgt voor de hoogste visuele kwaliteit van alle media in een project, ongeacht de bronresolutie. Perfect voor het werken met archiefmateriaal of stockbeelden die moeten worden afgestemd op de te leveren resolutie. In principe gaat het om slim (AI) bijrekenen van extra pixels, ook wel interpoleren genoemd. De neuro-engine met NLE-algoritmen berekent hoe een beeld met extra bijgerekende pixels er uit zou moeten zien qua resolutie. En dat gaat deze software in praktijk goed af.

Uiteraard liggen er enkele reken- of inschatproblemen op de loer. In 4K en 8K zit veel meer detail dan in 2K. Het wordt de beste kunstmatig intelligente gok, maar bij veel 4K of 8K beelden doet de mate van detaillering er niet echt toe. Uiteraard wel als het nu net om die fijne details gaat.

Een ander punt vormt het feit dat meer pixels ook meer kleuren kunnen bevatten, een groter palet dus. Dat behoeft ook geen probleem te zijn, daar het bij video meestal om normale RGB-kleuren zonder vergaande nuances gaat. Niettemin kan het bij kritische beelden opvallen. In het geval van rescaling komen shortform video, anamorf desqueezen en repurposing in het vizier. Dit mede in combinatie met de one take multiformat bij Open Gate. AI produceert moeiteloos het gewenste beeldformaat in de horizontale of verticale oriëntatie.

Synchronisatie, ondertiteling en vertaling
Content wordt regelmatig wereldwijd uitgebracht. Dat betekent het lokaliseren van het materiaal op grote schaal. Wij hebben het hierbij over het nasynchroniseren, ondertitelen, captions en vertalen. Al gauw een enorm arbeidsintensieve klus. Kunstmatige intelligentie verricht dit zo ongeveer op haar sloffen. Geef de juiste opdracht en gewenste taal op. AI wast het lokalisatievarkentje vervolgens snel, efficiënt en betrouwbaar. Bijvoorbeeld het vertalen van de Zweedse film Watch the Skies naar het Engels met de Flawless TrueSync-technologie. Nagesynchroniseerde films dienen er ook echt native uit te zien. Daarvoor heb je perfect gesynchroniseerde visuele dubs in de gewenste taal nodig. In de praktijk inmiddels al uit elke audiobron en elke taal. De ontbrekende schakel tussen lokalisatie en authenticiteit.

Offline schetsen en online redigeren
De evolutie bij de overdracht tussen offline en online montage werd al genoemd als een speerpunt bij AI in postproduction. Er is nu sprake van een continuüm waarbij creatieve en technische beslissingen parallel gaan. De offline werkomgeving is in feite de verkenningsfase voor editors. Zij kunnen in een niet-destructieve werkomgeving naar hartenlust experimenteren en eens een alternatieve benadering testen. Een voorbeeld in deze is DeepEditor. Die maakt gebruik van review vubs om alternatieve takes te testen, uitvoeringen opnieuw te timen of het tempo aan te passen zonder zich te binden aan een definitieve render. Het is het moderne equivalent van creatief ontginnen, snel samenwerken en het blijft geheel omkeerbaar. Online handelt het om alle assets op maximale outputkwaliteit te construeren en kleur af te ronden in ACES- of bioscooppijplijnen van EXR. Het is zelfs mogelijk eventuele review vubs op te werken tot uiteindelijke bioscoopkwaliteit-vubs. AI zorgt ervoor dat elk frame voldoet aan de leveringsnormen, terwijl de creatieve integriteit van de offline fase behouden blijft.

AI inpaiting
Dit is het domein van een soort ‘Photoshoppen’ (retouche) bij bewegende videobeelden. AI verwijdert ongewenste details, objecten en zelfs complete achtergronden in bewegende video-footage. Hierbij blijven het perspectief, de textuur en continuïteit automatisch behouden. Ook kan je occlusies, bewegingsonscherpte en moeilijke lichtomstandigheden aanpassen met een naadloos realistische kwaliteit over complexe beeldsequenties. High-end pijplijnen voor VFX zijn niet meer nodig en kleine studio’s kunnen het nu allemaal ook zelf tegen lage kosten.

Eenzelfde of nieuwe look?
Het komt regelmatig voor dat beeldsequenties in dezelfde montage er net even anders uitzien. Dit bijvoorbeeld door tussentijdse veranderingen in het weer, opnametijdstip en kleur of lichtval. Dat betekende vroeger het overnieuw schieten of langdurig bijwerken. AI trekt alles gemakkelijk gelijk. Geen verschil meer te zien. Handig bij commercials, muziekclips en in tijd, seizoenen of verschillende culturen verlopende verhaallijnen. 

Van bestaande footage een nieuwe look maken? AI draait daar de creatie hand niet voor om. Dat is belangrijk voor bijvoorbeeld het lokaliseren in plaats, tijd, jaargetijde en leefwereld bij verschillende doelgroepen. Iedereen krijgt zijn of haar eigen aansprekende contentversie. Ook is het handig voor het uit één standaard-content genereren van meerdere beeldcomposities. Bijvoorbeeld zomer en winter, ’s avonds en overdag en een dromerige of harde sfeer. De ontwikkelingen zitten hem met name in de hoge mate van realisme en perfectie.

Audiobewerking en monitoring
Bij het geluid in de postproduction gaat het eveneens om het automatiseren en optimaliseren van workflows, verbetering van de kwaliteit en het generen van extra content. Daarnaast ook weer een aanmerkelijke besparing op de productiekosten. Het editen van audio is een tijdrovend en nauwgezet proces. Een waar ambacht met een scherp oor, handmatige inzet en ervaring plus intuïtief vakgevoel. Valt dat door AI te vervangen? Tot op zekere hoogte absoluut. Het gaat daarbij met name om het automatiseren van veel voorkomende repetitieve taken en het analyseren van de audiocontent. Zo kunnen AI-algoritmen audiotracks analyseren op ongewenste ruis en niveaus te balanceren. Noise verwijderen, bewerkingen voorstellen het volume aanpassen op maat en smaak, het kan allemaal met daarop getrainde algoritmen. Dit versnelt niet alleen het montageproces, maar stelt onze audio-engineers ook in staat zich te richten op de creatievere aspecten van hun werk, zoals geluidsontwerp en mixen.

Daarnaast het verbeteren van (heldere) dialogen. Duidelijke en scherpe dialogen zijn cruciaal voor elk audiovisueel project. AI-gedreven tools verbeteren de dialooghelderheid aanzienlijk door spraak van achtergrondgeluid te isoleren en geavanceerde ruisonderdrukking toe te passen. Zoals gezegd weten AI-gereedschappen raad met automatisch aanpassen van het volume op de dialoogsporen en daarmee consistente niveaus gedurende het hele project te garanderen. Elk woord hoor je echt duidelijk, wat de luisterervaring voor het publiek doet toenemen. Klank en stem naar keuze.

Het synchroniseren van audio met video vormt een cruciaal onderdeel van de postproductie. AI-gestuurde tools zorgen voor automatische afstemming op de bijbehorende visuele elementen. Met name bij dialogen, geluidseffecten en muziek. Dat zorgt voor een perfecte timing en synchronisatie. Een dergelijk niveau van precisie is vooral belangrijk voor projecten met complexe audiovisuele interacties, zoals muziekvideo's, commercials en films.

Dan het werken op afstand en groupwork. AI-gedreven platforms stroomlijnen de communicatie en het projectmanagement op afstand. Hierdoor werken audioteams (online of in de Cloud) efficiënter samen, ongeacht hun fysieke locatie. Dergelijke platforms volgen veranderingen, beheren activa en zien potentiële knelpunten aankomen. Zij helpen bij het op schema houden van en budgetbeheer bij audioprojecten.  

ADR
Een aparte en belangrijke tak van AI bij de postproduction voor audio vormt het vervangen en toevoegen van dialoogregels. Uiteraard lipsynchroon. Dankzij deze ADR (Automatic Dialogue Replacement) behoort allerlei gedoe met het knippen, plakken en verplaatsen van gesproken woorden hiermee grotendeels tot het verleden. Het oppoetsen van dialogen kent de volgende aspecten: de dialoogvervanging  om rekening te houden met wijzigingen en de story, het kuisen of censureren op ongewenste of grove taal en ontbrekende letters, woorden en complete zinnen of zelfs complete dialogen kunstmatig intelligent genereren. Tevens de synchronisatie van vervangende dialoogregels en het naadloos laten aansluiten van nieuw audiomateriaal op de al bestaande visuele content. Dit om rekening te houden met moeilijkheden bij het opnemen van geluid op de set zelf. Bovendien is de nieuwe AI-dialoogpolish volledig niet-destructief. Zij rust bovenop de traditionele workflows in plaats van deze te vervangen. Het maakt 'fix it in post' eigenlijk nog wat breder dan vroeger.

Er wordt gesproken van visuele ADR wanneer je een dialoog na productie moet veranderen. Kortom: vervang dialoog terwijl de beelduitvoering behouden blijft. Visuele ADR is ideaal voor herschrijvingen, duidelijkheid verbeteren, compliance, lokalisatie of onverwachte last-minute updates. Dat gaat ongekend ver. AI-ondersteunde audio-postproduction koppelt heel realistisch nieuwe dialogen aan de originele gezichtsuitdrukking van de acteur. Dus geen cutaways en green screen pickups meer nodig. Ronduit schone, natuurlijke montages die aanvoelen alsof ze zo zijn opgenomen, plus een flinke kostenbesparing.

Geluidsontwerp en realtime mixen
Het geluidsontwerp en de soundscape plukken hun vruchten van AI-kracht. Dankzij het machineleren krijgt kunstmatige geluidsintelligentie het toevoegen van diepte en emotie aan audiovisuele projecten onder de knie. Zelfs meerdere audioballetjes opgooien om te horen welk ontwerp het beste past. Machine learning-algoritmen analyseren de context van een scène en stellen passende geluidseffecten voor. Desgewenst het genereren van geheel nieuwe geluiden die optimaal  passen bij de visuele elementen. Hetzelfde bij realistische geluidseffecten en omgevingsgeluiden genereren. Alle kansen om te experimenteren met nieuwe ideeën en de grenzen van creativiteit te verleggen.

Het realtime audiomixen krijgt een flinke boost met AI-tools. Dit proces is arbeidsintensief, complex van aard en er mag eigenlijk niets misgaan. De kunstmatige intelligente audiomix voert niet alleen een groot aantal handelingen in deze automatisch uit, maar doet tevens een vergaande geluidsanalyse. Onder meer op het gebied van realtime aanpassingen doen bij volumeniveaus, EQ en effecten. Het resultaat is een gebalanceerd en gepolijst eindproduct. De geluid-engineers kunnen naar hartenlust experimenteren met verschillende mixinstellingen om het perfecte geluid te bereiken.

Speciale AI-editors
Er valt een onderscheid te maken tussen NLE-suites met daarin geïntegreerde AI en speciale AI-editors. Laatstgenoemde categorie scoort met name op het beschikbaar zijn van grote aantallen AI-modellen en extra algoritmen voor slimme AI-bewerkingsfuncties. Tevens de nadruk op het genereren van nieuwe footage bij beeld, geluid en stemsynthese. Zij bieden volledige end-to-end videoproductie via krachtige API's. N.B.: Een zogenaamde API-First Architectuur integreert AI-videomogelijkheden direct in applicaties, websites en workflows. Die al kant-en-klare AI-modellen kunnen heel waardevol en creatief verruimend zijn. Zo beschikt bijvoorbeeld trendsetter WaveSpeedAI over 600+ AI-modellen die exclusieve videogeneratie-mogelijkheden en professionele montage combineren. 

Interessante nieuwkomers  zijn verder: de StoryToolKit AI, die ook opdrachten begrijpt waarvoor het niet getraind is. Twelve Labs werkt bij het zoeken semantisch i.p.v. met trefwoorden. Curio Anywhere is een baanbrekende aanpak om AI te gebruiken voor het indexeren en taggen van content op basis  van (gelokaliseerde) modellen. Pinokkio is een zelfstandige browser op basis van GitHub, waarmee je verschillende analytische en generatieve AI-applicaties en -modellen kunt installeren en uitvoeren zonder te weten hoe je moet programmeren.

Gamechanger
AI heeft een complete revolutie bij ‘fiks het in de post’ teweeggebracht. Niet alleen bij het slim editen, het versnellen van renderprocessen, repetitieve taken uit handen nemen, DBMS met intelligent zoeken, het omzetten van teksten en spraak, beeld- en geluidcorrecties plus retouche, maar ook bij storytelling, het creëren van veel creatieve ruimte, lokalisatie en groepswerk in de Cloud. Een ware gamechanger die de groeiende contenthonger bij krappe budgetten van de industrie kan stillen.