Pika Labs, het videoplatform voor kunstmatige intelligentie, stelt de geluidseffectenfunctie beschikbaar voor alle gebruikers. Hiermee kunnen makers eenvoudig geluid aan elke video toevoegen, zowel vóór als na de generatie.
De geluidseffecten werden voor het eerst gelanceerd voor abonnees van het Pro-abonnement en zijn afkomstig van een intern tekst-naar-audio-model van Pika Labs dat probeert de videoprompttekst te matchen.
Dit tilt AI-video naar een nieuwe dimensie, waarbij de karakterstem- en lipsynchronisatietools worden uitgebreid die eerder aan het Pika Labs-platform waren toegevoegd.
Ook andere spelers experimenteren in de AI-video met geluidsruimte. ElevenLabs heeft een eigen bibliotheek met geluidseffecten en Runway heeft een lipsynchronisatiefunctie in beperkte oplage.
Geluidseffecten van Pika Labs op de proef gesteld
Er zijn twee manieren om geluidseffecten aan een video toe te voegen Pika Labsals onderdeel van de eerste prompt door de schakelaar voor geluidseffecten om te zetten, of achteraf met een afzonderlijke prompt.
Ik heb beide geprobeerd voor deze praktische recensie en ontdekte dat, tenzij je het geluid moet kiezen, zoals het specificeren van een tijd van het jaar of een specifiek geluid, de eerste benadering betere resultaten oplevert.
1. De bar met Kerstmis
Dit is gebaseerd op een afbeelding die ik had gemaakt voor een eerder verhaal over de Suno AI-muziekapp, met een afbeelding van een balk op de maan met Kerstmis. Ik liet de tekstprompt leeg en zette de schakelaar voor geluidseffecten aan om te zien hoe goed deze bij de afbeelding zou passen.
Het deed het verrassend goed. Enigszins luid, maar dat geldt ook voor enkele van de beste bars. Het kerstelement kwam niet echt tot uiting, maar de enige indicatie was een boom in de hoek.
2. De supercar
Voor de eerste test gaf ik Pika Labs de volgende prompt en schakelde ik geluidseffecten in, waardoor het model zowel de prompt als de video kon volgen: “Een slanke, rode sportwagen die ’s nachts door een stadsstraat racet en een bewegingsonscherpte achterlaat .”
Het legde de beweging goed vast en genereerde een geluidseffect van een draaiende motor, maar het was verrassend stil. Ik moest het geluid in iMovie harder zetten om het goed te kunnen horen, maar over het algemeen klonk het goed.
3. Spetteren in een zwembad
Dit staat bekend als de spattest. Hoe goed het niet alleen omgaat met watergeluiden, maar ook hoe het dit doet wanneer het wordt getimed op een video. Ik gebruikte de prompt: “Een persoon in de lucht, afgetekend tegen een helderblauwe lucht, op het punt om in een sprankelend zwembad te duiken.”
Het volgde de prompt niet bijzonder goed wat betreft de beelden, hoewel het er ongeveer in de trant van de prompt uitzag. Het maakte het personage meer zeemeermin dan persoon, maar het plonsgeluid was goed, net als andere algemene watergeluiden.
4. De drukke keuken
Ik was erg onder de indruk van deze afbeelding die ik in MidJourney heb gegenereerd. Het voelde bijna volledig onscherp, wat indrukwekkend was voor een AI-model, maar het heeft precies de juiste focus op het eten en plaatst de chef-koks op de achtergrond.
Dit maakte het de perfecte kandidaat om de geluidseffecten van Pika Labs te testen. Ik gaf het eenvoudigweg de afbeelding en geselecteerde geluidseffecten en drukte vervolgens op de knop genereren. Het legde beweging goed vast en creëerde geluiden die leken op een werkende keuken.
5. Het vuurwerk
De laatste test was er een die ik tot nu toe bij elke geluidseffecttest heb gebruikt: vuurwerk. Het zou gemakkelijk moeten zijn, maar de uitdaging is het synchroniseren van het geluid met de explosie.
Ik gebruikte de opdracht: “Een levendige vuurwerkexplosie die een nachtelijke hemel verlicht, met vonken in verschillende kleuren die naar buiten stralen.” Het deed het niet slecht, aangezien er helemaal geen handmatige synchronisatie was, het werd volledig gedaan door het AI-model.
Conclusie
Geluidseffecten voegen een belangrijke dimensie toe aan video-inhoud op het gebied van kunstmatige intelligentie, sterker nog, ze voegen een belangrijke dimensie toe aan elke video-inhoud.
Je kunt het geluid van een auto die zijn motoren laat draaien bijna horen door alleen maar naar de foto te kijken en het is dus van cruciaal belang dat de geluiden niet alleen correct zijn, maar ook goed gesynchroniseerd.
Dat is iets wat Pika Labs lijkt te hebben bereikt met hun tool. Het is niet perfect, krijgt niet altijd precies het geluid dat je wilt, maar het is ontworpen met voldoende flexibiliteit dat het kan worden gebruikt als wegwerpidee, of voor een volledige, georkestreerde productie.
- Ik heb de nieuwe AI-muziektool Suno geprobeerd – zo klinkt het
- Runway vs Pika Labs – wat is de beste AI-videotool?
- Hier komt het holodeck: een nieuw AI 3D-videomodel creëert animaties van elk object