Framerate conversie haperingen

Eén of meerdere aangeleverde video’s vertoont haperingen als gevolg van framerate conversie. Dit kan over de hele video zijn, of bepaalde gedeelten van de video, of zelfs bepaalde elementen in de video (animaties over de video heen bijvoorbeeld). Deze framerate conversie vindt plaats wanneer er in het productieproces verschillende framerate instellingen worden toegepast. Maar ook wanneer er versnellingen of vertragingen op de videobeelden worden ingesteld in de montagesoftware. Het probleem is nogal ingewikkeld, en daarom volgt hieronder uitgebreide uitleg om het goed duidelijk te maken. 

WAT IS FRAMERATE

Video is beeld dat beweegt. Net als bij film, wordt ook met video gebruik gemaakt van een reeks afbeeldingen na elkaar, om voor het oog de suggestie te wekken van bewegend beeld. Het aantal afbeeldingen per seconde wordt de framerate genoemd. De afbeeldingen zelf zijn de frames. Deze framerate wordt uitgedrukt in “frames per second” (fps). Hoe meer frames in een seconde, hoe vloeiender de beweging lijkt voor het oog. Maar er zijn meerdere Vastgestelde videostandaarden in de omloop, ook wat framerates betreft. Deze verschillende framerates kunnen niet zomaar door elkaar gebruikt worden. Want als je bijvoorbeeld 30fps hebt opgenomen, maar het 25fps afspeelt, dan vertraagt de video. Er worden immers minder frames in 1 seconde weergegeven dan dat er is opgenomen. Om dit probleem op te lossen moet er een framerate conversie plaats vinden. Een berekening om ervoor te zorgen dat er met een hogere of lagere framerate dan het origineel, de uiteindelijke weergave/video tóch even snel blijft afspelen. Er zijn hiervoor verschillende conversie methoden, onder te verdelen in deze drie: 1) Frame Sampling/Frame Step, 2) Frame Blending/Frame Mix óf 3) een Motion Vector/Fluid Motion/Optical Flow/… methode. Meer uitleg over deze methoden vind je bij Framerate conversie vervormingen.

‘Frame Sampling’ of ‘Frame Step’ is de framerate conversie methode die de haperingen in de video veroorzaakt. Hierbij wordt gekeken naar het verschil in het aantal frames in 1 seconde van de bron en wat het resultaat moet zijn. Er worden dan frames herhaald om naar een hogere framerate te gaan, of frames overgeslagen om naar een lagere framerate te gaan. Zie dit voorbeeld wat duidelijk maakt hoe deze conversies nadelige invloed hebben op de weergave van de uiteindelijke video.

FRAMERATE CONVERSIES IN HET PRODUCTIEPROCES

Met framerate conversie wordt het er nooit beter op, welke methode je ook kiest. Dit wordt nog érger wanneer er meerdere conversies plaats vinden, waarbij elke conversie de voorgaande versie verder aantast. Hierdoor raak je steeds verder van het origineel. Er ontstaan steeds meer willekeurige haperingen met de Frame Sampling methode bijvoorbeeld. Deze haperingen zijn achteraf niet meer te herstellen. Probeer daarom framerate conversies zoveel mogelijk te vermijden. Dit kan door álle instellingen in het hele productieproces, van opname tot uiteindelijk afspelen op scherm, in gelijke framerate te houden. Helaas, doordat er verschillende afspeel apparaten en schermen bestaan, is het soms niet mogelijk om het helemaal te vermijden. Maar meer dan 1 conversie is in principe niet nodig. Als in het productie proces 1) de opname/import, 2) de montage/effecten én 3) de export in gelijke framerate zijn, dan hoeft alleen voor de weergave zo nodig een conversie plaats te vinden. Wat bedoelen we allereerst met de 3 stappen in het productieproces?

1. Opname en import: Wat opname betreft, zijn dit de instellingen van álle camera’s die gebruikt worden. Zorg dat die allemaal gelijk staan, en het liefst in de framerate van het meest belangrijke scherm waar je de video uiteindelijk goed wilt weergeven. In het geval van weergave op televisie zou dat dan 50i of 50p moeten zijn. Wat import betreft gaat het om extern stock materiaal dat wordt gebruikt. Controleer of dit materiaal ook dezelfde framerate heeft als de montage. Én controleer ook of dat materiaal niet al is aangetast door een eerdere framerate conversie. Helaas komt dit zelfs op de grote stockvideo leveranciers voor.  In geval van (3D) animaties, is het belangrijk om de rendering (het berekenen) daarvan ook in de juiste framerate te zetten, binnen de gebruikte animatiesoftware. Raadpleeg de handleiding van de betreffende camera’s/software voor uitleg hoe de framerate in te stellen, of geef je voorkeur aan bij betreffende camera-operator of de motiongraphics designer.
2. Montage en effecten: Dit zijn de instellingen van je project in je montage software pakket. Er is veel montage software in de omloop, en de instelling mogelijkheden verschillen per programma. Bekijk de handleiding of de help functie van je montagesoftware voor meer informatie. Ruwweg gaat het erom dat je de algehele project instellingen en programma instellingen goed hebt staan. Daarnaast kan je in sommige programma’s los de tijdlijnen (sequences) instellen. Controleer ook of subsequences of nested sequences gelijke framerate instellingen hebben. En dan zijn er nog instellingen van extern animatiepakketten, of kleurcorrectie pakketten. Of externe effecten/plugins die gebruikt worden in de montage. Controleer ook daar op alle mogelijke plekken de framerate instellingen. Want een mooie animatie die in een andere framerate gerendered wordt, wordt dan niet zo mooi vloeiend meer weergegeven in de uiteindelijke video.
3. Export: Dit is het proces van het uiteindelijke renderen en opslaan van het videobestand. Ook hier kan je weer een framerate instellen, en als ook déze framerate anders is dan je project of je tijdlijn, dan vindt ook hier weer conversie plaats. Controleer dus ook bij het opslaan of de juiste voorinstelling (preset) wordt gebruikt, met de juiste framerate die gelijk is aan de opname en de montage.

Om uiteindelijk te zorgen dat er in het hele proces maximaal maar 1 framerate conversie plaats vindt, zijn er 2 manieren om dat te bereiken:

1. de opname is leidend. In het hele productie proces wordt alles ingesteld, en wordt alleen extern materiaal gebruikt in de framerate van de bron. Framerate conversie vindt dan alleen plaats bij de weergave van de video.
2. óf de weergave is leidend. Hiervoor kan je kiezen als er bronmateriaal wordt gebruikt met verschillende framerates. Montage en export zijn dan identiek aan de weergave, daar vindt geen conversie plaats. De conversie vindt plaats bij het importeren en verwerken van het bronmateriaal door de montagesoftware.

Hieronder zijn de twee methodes schematisch weergegeven met een paar voorbeeld framerates. Daarnaast ook als je niets op elkaar afstemt, en als je álles op elkaar afstemt:

VERSNELLINGEN/VERTRAGINGEN

Framerate conversie vindt niet alleen plaats bij het omzetten van de ene framerate naar de ander. Dit gebeurt ook als je in de montage software een versnelling of vertraging op de snelheid van de video instelt. Ook dan moeten er beelden verwijderd worden, of herhaald. Om te zorgen dat dit zo netjes mogelijk gebeurd raden wij aan om deze versnelling of vertraging in te stellen in verdubbelingen of halveringen. Hierdoor wordt in een heel constant ritme een aantal frames herhaald of weggelaten, wat het minst storend is bij het bekijken van de video. Dus 2x, 4x of 8x zo snel of langzaam. Bijvoorbeeld met deze percentages, waarbij 100% de originele snelheid is: 25%, 50%, 100%, 200%, 400% 800%. Daarbij kan ook hier in sommige montage software gekozen voor verschillende framerate conversie methoden. Ook daarin kan gekeken worden welke methode het beste resultaat geeft.  Zie de handleiding of de helpfunctie van jouw montagesoftware voor meer informatie over beschikbare framerate conversie methoden.

FRAMERATE HAPERINGEN VASTSTELLEN

Hoe kan je zien of een videobestand of de montage wel/niet vloeiend loopt? Dit is alleen zichtbaar op een monitor die eenzelfde ververssnelheid heeft als de framerate van het videobestand of de montage. De ververssnelheid (refreshrate) is het aantal keer per seconde dat een monitor het beeld opnieuw opbouwt, dus ververst. De ververssnelheid wordt uitgedrukt in Herz (Hz); het aantal verversingen per seconde. Een computer monitor heeft doorgaans een ververssnelheid van 60Hz. Dat houd in dat álles wat je op een computerscherm afspeelt, wat niet 60fps is, niet vloeiend loopt omdat er een framerate conversie door de videokaart van de computer wordt uitgevoerd. De framerate conversie die daarbij standaard wordt gebruikt is de Frame Sample methode, zoals hierboven beschreven. Om deze reden is een computerscherm geen goede referentie om te bepalen of de video of montage wel of niet vloeiend is wanneer er met Europese framerates wordt gewerkt (25p, 50p of 50i). Wij raden aan om te werken met een extra video output kaart in de computer of een extern USB of Thunderbold apparaat, die goed samenwerkt met jouw montage software. De montagesoftware stuurt dan het resultaat van de montage, buiten de videokaart van de computer om, rechtstreeks naar het video output apparaat. Raadpleeg de handleiding of de helpfunctie van jouw montagesoftware voor meer informatie hierover.
Op dit video output apparaat zou een video (referentie)monitor of televisie aangesloten moeten worden die daadwerkelijk in de ververssnelheid draait als de framerate waar de montage op ingesteld is. Smart TV’s draaien doorgaans ook 60Hz, en hebben dus hetzelfde probleem als een computer monitor.
Ook is het mogelijk om sporen van framerate conversie te zien, door frame voor frame door het videomateriaal te gaan. Wanneer je geregeld een herhalend frame, of een extra grote verspringing tegenkomt in het materiaal, dan heeft er al framerate conversie plaats gevonden, en is het materiaal minder geschikt voor gebruik in de video.

FRAMERATE CONVERSIE VOORBEELD

Tot slot hieronder een voorbeeld wat de gevolgen kunnen zijn van framerate conversie met de “Frame Sampling / Frame Step” methode. Er worden frames van 1 seconde uit de video weergegeven, waarbij de frames van het origineel zijn genummerd. Vervolgens zien we dat deel omgezet in andere framerates, dus meer of minder frames in die ene seconde. Hierbij zijn herhalende frames rood gemarkeerd, en een paarse lijn betekend dat daarvóór een frame is overgeslagen.

Situatie 1: Er is opgenomen in 25p.

>> Conversie 1: Vervolgens is het materiaal geïmporteerd in een 30p project/tijdlijn. De montage software moet nu 5 beelden per seconde herhalen (rood gemarkeerd)

>> Conversie 2: Dan wordt er geëxporteerd naar een 24p bestand. Van de 30 frames in 1 seconde worden er nu 6 frames verwijderd, waar een roze lijnmarkering te zien is. In combinatie met de herhaalde frames van de vorige omzetting, is dit het resultaat.

>> Conversie 3: Als laatste wordt op zender dit al haperende 24p materiaal weer omgezet naar 50i, de framerate van de zender. Er worden nu weer 26 frames herhaald.

Dit is dan het resultaat op zender. Zoals aan de nummering te zien is, is de opeenvolging van nieuwe frames volledig in de war. Dan verspringt het weer, dan herhaald het weer heel veel. Hierdoor zien alle bewegingen er ook niet meer vloeiend uit.

Situatie 2: Er is opgenomen in 25p.

>> Geen conversie: De montage staat ook op 25p, er hoeft dus niets geconverteerd te worden.

>> Geen conversie: De export is ook 25p ingesteld, dus ook hier vind geen framerate conversie plaats.

>> Conversie 1: Uiteindelijk wordt het voor op zender naar 50i geconverteerd, de enige conversie die plaats vindt. Ieder frame wordt 1x herhaald.

Dit is het resultaat van situatie 2. Zoals duidelijk te zien is, ziet dit er veel beter uit. Er zit frame herhaling in, maar dat is zó constant, dat dit resultaat er ook heel vloeiend uit ziet.