Trends bij AI production workflows en hyperpersonalisatie
Artificial Intelligence revolutioneert de broadcastworkflows middels het automatiseren van content creation, het verbeteren van real-time aanpassingen op maat en het stroomlijnen van productieprocessen. Allemaal sneller, accurater en goedkoper. (Hyper-)personalisatie m.b.v. AI brengt ook hoogwaardig op de persoonlijke behoeften en wensen van de kijker/klant afgestemde content. Van het perfect resoneren met alle segmenten van het publiek tot Predictive Generative AI aan toe. Een overzicht van de huidige belangrijke trends en ontwikkelingen.
AV-Entertainment Nr5 2024
» De uitrusting van DOP/Cinematrograaf Myrthe Mosterman
» Kosten verlagen en duurzaamheid vergroten met Cloud- en On-Premises Playout-systemen
» Column John Huijbregts: niet voor niets
» Directeur/eigenaar Nico Silvius over RadioNL: "Jongensdroom die is uitgekomen"
» Broadcastvoertuigen: "Ik wil (een veer)bolletje!"
» Trends bij AI production workflows en hyperpersonalisatie
» Retrofit oplossing voor ETC & Robert Juliat profielspot
» Terugblik: LOUNGE 24
» Shure's digitale draadloze in-ear monitoring systeem is gearriveerd: Axient Digital PSM
» JBL VTX bij openingsconcert en clubavonden ADE in de Melkweg Amsterdam
» Brutalisme in Europese tour Lenny Kravitz
» Vogel's ondersteunt enorme LED wall op Oracle Red Bull Racing's MK-7
» Frans Bauer live in Ahoy: centimeterwerk
» Stevige uitbreiding voor ADJ Group in Kerkrade: 'Samen bouwen aan de toekomst'
» Audio Acoustics vindt nieuwe partner in Audiofocus: 'Wereldwijde uitdager'
» Column Willem Westermann: Duur(zaamheid)
» Rentman's ondernemersadvies: Helderheid in het planningsproces
Lees volledige uitgave online
Alle edities
Trends bij AI production workflows en hyperpersonalisatie
Artificial Intelligence revolutioneert de broadcastworkflows middels het automatiseren van content creation, het verbeteren van real-time aanpassingen op maat en het stroomlijnen van productieprocessen. Allemaal sneller, accurater en goedkoper. (Hyper-)personalisatie m.b.v. AI brengt ook hoogwaardig op de persoonlijke behoeften en wensen van de kijker/klant afgestemde content. Van het perfect resoneren met alle segmenten van het publiek tot Predictive Generative AI aan toe. Een overzicht van de huidige belangrijke trends en ontwikkelingen. Tekst: Ulco Schuurmans Sinds de IBC 2024 kan de broadcast- en contentindustrie niet meer om het met AI optimaliseren van production workflows en (hyper)personificatie heen. Wie het niet slim inzet komt op technologische achterstand en kan door de concurrentie overtroefd worden. Zoals met alle eerdere evoluties in broadcast- en contentland blijft het allemaal een kwestie van mogelijkheden zien en de creatieve voordelen pakken. Je bent als producer of cineast echt niet aan de AI-goden overgeleverd en de menselijke creativiteit sterft geen stille dood! Het is en blijft allemaal gereedschap waarmee de content creator en broadcaster hun niet geringe voordeel kunnen doen. Kerncomponent en paradigmashift Het valt op dat AI inmiddels niet meer alleen een handig ondersteunend en snel rekenhulpje bij de contentproductie is. Nee, AI behoort tot de kerncomponenten bij de productiestromen en het geheel op zijn of haar wens bedienen van de kijker-klant. Men spreekt hierbij van het ontgrendelen van het publiekinzicht bij film- en televisieproductie op basis van AI data-analyse. Bij video-editing wordt gesproken van een paradigmashift op het gebied van film maken met een voorheen ongekende efficiency, precisie en flexibele creativiteit. Het (deels) onderbrengen van de workflows van de productieprocessen bij AI-technologie wordt meer en meer een gewaardeerde kostenverlager en geducht concurrentiegereedschap om te overleven. Een ander voordeel betreft de gereduceerde marktintroductietijd. Kunstmatige intelligentie in de workflow Het doel van het gebruik van AI bij industriële workflows is het automatiseren en stroomlijnen van repeterende taken. Dat verhoogt de efficiency en productiviteit met veelal een flinke tijdsbesparing. Zowel bij content creation als het uitzend- en distributieproces kan dat flink veel geld schelen. Bovendien kan de contentprovider of broadcaster aanmerkelijk sneller en flexibeler reageren op veranderende vraag of omstandigheden dan via de menselijke hand. Een belangrijke voorwaarde bij deze processen is dat het in de eerste instantie om zich (veelvuldig) herhalende taken gaat. In de praktijk de regelmatig uit de productiekast getrokken handelingen die volgens een vaste uniforme werkwijze verlopen. Daar draaien de AI-algoritmen hun hand niet voor om. Je kunt de complete workflow zonder kopzorgen aan de AI uit besteden. Anders wordt het als de workflows ‘on the fly’ veranderen en er direct adequaat, efficiënt en/of creatief dient te worden ingegrepen. Dan is er aanmerkelijk meer nodig dan patroonherkenning gevolgd door een standaardoplossing middels AI. Natuurlijk kan de producer of broadcaster beginnen met een aantal vaste stramienen, gekoppeld aan vaste adequate reacties. Is er bijvoorbeeld ineens een transmissie naar een andere taal (nagesynchroniseerd of ondertiteling) nodig, dan is zulks via generatieve AI zo geregeld. Ook het wijzigen van commercials, breaking news en verlengen of inkorten gaat prima. Maar ga je bijvoorbeeld een specifieke kijkersrespons meepakken, dan wordt alles al een stuk lastiger. Wat is de kijkersreactie precies? Hoe kan het systeem daar op maat bij reageren? Passen we hyperpersonalisatie toe? Voor dergelijke taken zijn neural engines en machineleren vereist. Is allemaal verkrijgbaar, maar je moet het wel eerst in huis halen en implementeren. Veelal gaan daar uitgebreide surveys over de vraag en behoefte aan vooraf. Ook dient de workflow-aansturende AI geheel compatibel te zijn met de soft- en hardware voor de NLE, newsrooms en content production systemen. Snelle editing AI heeft vaste voet gekregen bij het managen van mediabestanden en het herkennen en arrangeren plus gereed maken van beeld- en geluidbestanden. Taken die een editor vroeger grotendeels met de professionele hand deed, gaan nu via AI-algoritmen. Weg met de intuïtie en gevoelige montagehand? Gelukkig is dat nog zeker niet het geval. De workflows van het opzoeken van beeld en geluid op herkenbare fragmenten, het scheiden van het kaf en het koren, corrigeren op belichting, contrast, kleur etc. gaat met AI workflows nu automatisch naar de voorselectie. Een beetje NLE-suite voorziet inmiddels in algoritmen die snelle cuts voor de neus van de editor of programmamaker zetten. Die gaat daar zelf verder mee. Desgewenst ook in de Cloud en als groepswerk. De zogenaamde cutpages (voor snelle productie editing van o.a. nieuwsitems) zijn verder doorontwikkeld voor live tv-productie met meerdere camera’s en gezichtspunten. Instant Replay kan de geschoten scène meteen weer herhalen. Werkt o.a. goed in combinatie met Points Of Interests (POI). Tevens live slow motion en het invoegen van stingers (grafische soepele scène-overgangen). De positie van de editor verschuift dankzij AI steeds meer naar die van de eindredacteur en regelmatig ook die van regisseur. Hij of zij beslist als het er op aankomt nog altijd over de precieze vorm, inhoud en implementatie bij de uitzending of videoproductie. Allemaal wel echt veel sneller, minder foutgevoelig en met mogelijkheden tot aanvullende creativiteit in de vorm van verschillende versies vanuit de mastermontage. De druk vanuit de productiekosten en stijgende vraag naar direct snel leveren en distribueren resulteert in vergaande implementatie van AI-flows en machineleren bij NLE. Kijk maar eens naar de laatste releases van Blackmagic Davinci Resolve Studio, Final Cut Pro X, Adobe Premiere Pro Sensei, Sony Vegas en Edius Pro. Storytelling AI bij de workflow en (hyper-)personalisatie bij storytelling vormt een controversieel heet hangijzer. Daarbij spitst de discussie zich toe op wie nu eigenlijk het verhaal vertelt? En in welke versies wordt het filmisch of videoverhaal verder bewerkt? Generatieve AI schudt tegenwoordig zo een goed uitziende videoclip, filmpje of documentaire uit de digitale mouw. In de meeste gevallen zal daarbij de mens via prompts nog de juiste opdrachten moeten invoeren. Maar er zijn al gevallen waarbij generatieve AI dit geheel zelf kan. Allemaal tegen het zere been van verhalende scriptwriters en cineasten. Dat is toch geen videokunst meer? Ons inziens valt er bij korte nieuws-, instructiefilmpjes en eenvoudige commercials wel wat voor te zeggen. Dat is puur feitelijk en niet echt kunst. Met AI gaat dat snel en goedkoop. Zou in een aantal gevallen zelfs zonder AI financieel niet mogelijk zijn. Met het ondersteunen bij het arrangeren van content-flows voor echte storytelling is volgens ons ook niet zoveel mis. Net als bij de snelle editing kan AI hierbij veel werk uit handen nemen. Blijft er meer tijd en energie over voor het echte creatieve werk. Ook blijkt er dan nogal eens veel meer creatief (variaties, andere insteken of opmaak) mogelijk dan er eerst gedacht werd. Kortom, eerder ondersteuning van de verhaalreis dan vervanging van de menselijke inbreng. Storytemplates zijn bekend uit eenvoudige montagepakketten voor amateur. Gewoon een scriptverhaaltje invullen met beeld en geluid. De NLE doet de rest. In de pro-sector interessant voor snelle korte nieuwsberichten volgens een vast patroon. Complete storyscenes worden aangeboden voor professionele producties. Kies genre, opmaak, doelgroep en sfeer en er komt een kant-en-klare productie op basis van aangeleverde en/of zelfgemaakte content uit. Tot op heden gaat de getoonde kwaliteit nog niet uit boven een middelmatige productie van een kabelprovider. Maar het wordt allemaal gestadig beter. Meerdere versies van dezelfde story zijn aantrekkelijk. De wezenlijke cinematografische basis blijft bewaard. Een AI gegenereerd scene er over heen voor een andere doelgroep, taal of cultuur vergroot het distributiegebied aanzienlijk. De kosten blijven laag en dat verhoogt de mogelijkheden om een ander publiek te bereiken dat mogelijk zelfs anders buiten de contentboot viel. Postproduction De AI-ontwikkelingen betreffende nabewerking van beeld en geluid gaan bij de NLE-software razend snel. Wat enkele jaren geleden nog als toekomstmuziek werd gezien is inmiddels realiteit geworden. De ene recente NLE-suite voor postproduction is daarbij nog slimmer dan de andere. Er is een competitie aan de gang over wie straks de smartest AI-kid van klas is. Er zijn tal van populaire en ook daadwerkelijke goed bruikbare bewerkingsopties. Te beginnen met geoptimaliseerde filmlooks en LUT’s. Je trekt zo een echt professionele (klassieke) AI cinelook uit de algoritmekast. Leg het over de tijdlijn en zie daar: vrijwel niet van echt handwerk te onderscheiden. Desgewenst ook de volledig authentiek ogende simulatie van oude analoge filmcamera’s. O.a. met de Creator bij Davinci Resolve Studio. Een andere welkome aanwinst vormt Defocus Background, het onscherp maken van de achtergrond. Daardoor komt het onderwerp fraai meer naar voren. Een echt volledige filmische look met Bokeh naar wens. Tevens kan je het effect van anamorfe objectieven nabootsen. Kan gewoon achteraf zonder speciale objectieven op de set. Heel nuttig is de intelligente beeld / frame tracking m.b.v. AI. Deze techniek zorgt er voor dat de toe te passen postproduction op geselecteerde objecten door het gehele beeldframe gevolgd wordt. Hierbij twee veel gebruikte methoden. De eerste maakt gebruik van trackerpoints om via meerdere punten de beweging in een frame te volgen en te stabiliseren. De ander verzorgt automatische panning. Het geluid blijft niet achter want dat pant gewoon mee met een immersive audio-effect tot gevolg. Met een persoonlijk masker krijgt een individu een eigen bewerkings- en effectmatte aangemeten dat hem of haar door de gehele scène naadloos volgt. In de categorie ‘Photoshop’ een verwijderaar voor ongewenste objecten en een Patch Replacer (oplapper met perfecte colourgrading) legt oppervlakken met dezelfde structuur over niet gewilde zaken. De colourgrading is tot hoge kunst verheven zonder dat je daar nu echt een specialist voor hoeft te zijn. Iedereen met een beetje gevoel voor kleur krijgt snelle intuïtieve procesmatige begeleiding. Automatisch toegepast door de gehele tijdlijn heen waar jij dat wenst. Beeldruis en onrustige beelden verdwijnen in de achtergrond als sneeuw voor de zon. De AI correctieflow detecteert het ongerief en zet meteen de juiste correctie in. Raytracing en Dolby Vision zijn kind aan et AI-huis. De workflow kan de was doen. Met superscale-modules verhoog je de resolutie van beelden tot grote hoogten. Zo kan je oud HD-materiaal prima omzetten voor 4 en 8K. Past het beeld niet in social media? Een re-framer maakt het wel precies op maat. Audio is eveneens een kolfje naar de hand van AI-workflows. Stoorgeluiden verwijderen. De spraak naar voren halen met behoud van het natuurlijke stemgeluid. Omzetten naar spational sound maakt een perfecte immersive beleving mogelijk. En van de spraak meteen ondertiteling in meerdere talen genereren. Generatief precies op maat, genre, toon, sfeer, timbre etc. componeren kan AI al bijna zo goed als een menselijke componist. Tekst naar video Een apart AI-hoofdstuk is het omzetten van geschreven tekst naar video. Van tekstconcept naar hoogwaardige visualisatie in video. Dit in een comfortabele en snelle AI-werkstroom. ‘Text to video’ houdt veel meer in dan je op het eerste gezicht te binnen schiet. Het begint al met het terugbrengen van kostbare opname- en montagetijd. De AI-flows in deze bestrijken het gehele gebied van scripting, storyboarding, preproduction, de opname zelf, editing en postproduction. Ondersteuning en ergonomische automatisering op alle fronten. De cineast, storyteller en editor kunnen zich zonder kopzorgen focussen op de creatieve wording van het filmische verhaal. De montagehandeling, beeld- en audiobewerking nemen de AI-workflows voor hun rekening. Het generen van scènes, moods, de tone, animaties en speciale effecten zijn een kolfje naar de hand van AI algoritmen. Pakketten zoals Sora voorzien tevens in dynamic storytelling en interactieve content. Daarnaast het exploreren van en experimenteren met nieuwe genres. Playouts en distributie Zodra AI weet wat, wanneer, voor wie en in welke vorm (ook downstream), kan je daar de distributie met een gerust hart aan uitbesteden. Het automatiseren van de playouts in allerlei regionale versies, talen, tijdzones, multiple platforms en bijpassende formaten vormen geen enkel probleem. Bovendien houdt de AI player en distribiteur het verloop van de transportprocessen nauwlettend in de gaten. Het kunstmatig intelligente systeem let op eventuele fouten, haperingen en snelheidsveranderingen. Hetzelfde geldt voor het invoegen van commercials en aankondigingen en het verwerken van abonnementen en servicevragen. Ook een deel van de (hyper-)personalisatie kan aan deze AI-flows worden uitbesteed. Personalisatie ‘Let’s get personal’ is inmiddels een ingeburgerde methode van klantenbinding op social media. Persona’s en segmenten organiseren het aanbod en teasing naar de vaste of potentiële klant door diens wensen, voorkeuren en interesses in kaart te brengen. Dergelijke digitale klantprofielen zijn zowel een zegen als een vloek. Voor de contentindustrie en kabelaars verhoogt dit de omzet, klantenbinding en het beter aanslaan van de AV-inhoud. Daartegenover staat dat de ontvanger het steeds weer opnieuw opduikende aanbod irritant gaat vinden, met wegswipen als gevolg. Ongewenste advertenties spannen de kroon bij de ergernis maar ook staat niet iedereen te wachten op het voortdurend aanprijzen van nieuwe series, films-, muziek of gamecontent. De privacy staat regelmatig op de tocht. Het is dus zaak om als contentprovider de juiste maat en touch met de klantsegmenten te vinden. Dat verhoogt bewezen de loyaliteit, de omzet en waardering van het eigen merk. Traditionele personalisatie/segmentatie is het groeperen van klanten op basis van overeenkomsten. Doorgaans op gedeelde behoeften, eigenschappen en online gedraag. Bij de contentindustrie de favoriete programma’s, series en films plus de daaraan gekoppelde smaak, genres, inhoud, bijkomende informatie, duur en gewenste beleving of onderdompeling (immersive). Relatief nieuw zijn het zelf interactief deelnemen aan programma’s en het aansturen van de plot. Tal van programma’s en series zijn inmiddels al ontwikkeld op basis van geconstateerde voorkeuren en respons van het kijkerspubliek. Dat personaliseren gebeurt grotendeels in de vorm van AI-werkstromen die patronen herkennen, voorkeuren in kaart brengen en de daarop volgende keuzemogelijkheden presenteren. Het presenteren kan vooraf, real-time of voorspellend. Een nadeel van standaardpersonalisatie is vaak dat het allemaal net te algemeen blijft. Wel de groep, maar niet de individuele personen echt raken. Zulks vergt een geavanceerdere aanpak op puur individueel niveau. Men spreekt dan van hyperpersonalisatie. Hyperpersonalisatie Hyperpersonalisatie is nog slimmere techniek om op basis van clientdata een vergaand geheel persoonlijk klantprofiel te genereren. AI gebruikt daarvoor momenteel twee technieken. Als eerste techniek de attribute analysis. De algoritmen doorzoeken de verkregen eigenschappen of attributen van de klant en zoeken daarbij naar verbanden, voorkeuren en logische keuzes. Heel diep graven naar o.a. eigenschappen op het gebied van psychologie, demografische gegevens, cultuur, leeftijd, geslacht, beroep, opleiding, hobby’s, geopperde wensen en klachten. De AI stopt de attributen in een statisch voorspellend model. Hiermee kan je bijvoorbeeld unieke landingspagina’s ontwerpen waarbij de bezoekers precies voor diens neus voorgeschoteld krijgt wat hij of zij wil. Tevens het genereren van Consumer Data Platforms (CDP’S) en Data Management Platforms (DMP’s). Allen gewoon te koop, toegespitst op de AV-industrie. De tweede techniek is de event sequence analysis. Zoals de Angelsaksische term al aangeeft gaat het hierbij om het volgen van de gebeurtenissen van de klantreis. Welke acties en gebeurtenissen leiden tot het bekijken van een bepaald programma, serie, film sportevent, quiz of nieuwsuitzending? Dat verstrekt zowel informatie over het waar de kijker naar toe te leiden als het ontwikkelen van tailored content. Hyperpersonalisatie was een van de meest booming trends op de IBC 2024. Nieuwe tools in deze zijn o.a. social listening, sentiment analyse, website analyse mediagebruik en speciale AI-databases voor het data verzamelen, segmenteren en integreren in de eigen productiedomeinen. De EO heeft een start gemaakt met een AI Audience Validation Assistant. (AAVA). Zij hoopt daar o.a. mee passieve kijkers in actieve bijdragers om te zetten. Niet meer alleen het consumeren van media, maar ook engaged een rol spelen in het creëren daarvan. Ook de filmmaker zelf kan klant zijn van (hyper-)personalisatie. AI voorziet in op het montagelijf geschreven eigen aanbevelingen voor NLE, rekening houdend met unieke stijlen en onderwerpen. Met volledig behoud van de eigen artistieke visie rollen de speciale effecten, LUT’s, moods, overgangen en soundscapes zo uit de flow-algoritmen. En wat levert (hyper)personalisatie nu eigenlijk op? Volgens Forbes (algemeen) een reductie van acquisitiekosten tot wel 50%, een winststijging van 5-15%, een ROI-verbetering van 10-30% en een verbeterde klantloyaliteit. De geoptimaliseerde klantervaring (Customer Experience, CX) vormt een ander belangrijk punt. Zo’n 71% van de klandizie verwacht gepersonaliseerde reacties van de aanbieder. En 76% raakt gefrustreerd als hun verwachtingen in deze niet vervuld worden. Predictive Generated AI Een andere beoogde gamechanger is Predictive Generated AI. Verizon Business oppert hiermee het video en/of audio genereren van de dingen die (nog) komen gaan op basis van op dat moment plaatsvindende live action events, zoals sport en broadcasts. Het voorspellen betreft komende frames, volgende bewegingen en nieuwe content. Een uitdagende vorm van voorspellende editing en commentaren in een razend snelle workflow. Geheel authentiek ogende content die het publiek op haar wenswenken en niveau bedient. In de praktijk geschikt voor hoogwaardige belevende ervaringen en gepersonaliseerde commentaren of omgevingen. Welke systemen voor AI? Het werken met AI workflows en algoritmen vraagt om bijzondere ondersteuning. Anders gaat het allemaal niet echt vloeiend en kan het rekenwerk lang gaan duren. De recente ontwikkelingen zijn speciaal ontworpen AI-chips en SOCs (systemen op een enkele Chip). NVIDIA en Apple zijn daar heel goed in. In de praktijk kan de editor gewoon alle werkstromen op een desktop of notebook bewerken als de juiste AI-chips en -software maar aan boord zijn. Relatief nieuw zijn de AI-apps voor tablets en smartphones. Vaak met een grote functionaliteit. Let echter wel op de beschikbare opslagruimte bij het systeem-VRAM (video random access memory). AI als kerncomponent en (hyper)personalisatie zijn twee nieuwe belangrijke gamechangers bij de videoproductie. De AV-industrie kan daar gewoon niet meer omheen uit overwegingen van kostenreductie, minder tijd om uit te leveren, de kijker/klant binnen te halen en te houden, het nastreven van de hoogst haalbare kwaliteit en ongebonden creativiteit. Wel natuurlijk de ethiek en privacy in de gaten blijven houden. |