StabilityAI heeft een nieuw 3D-videomodel met kunstmatige intelligentie uitgebracht dat een eenvoudige beeldprompt kan omzetten in een volledig geanimeerde weergave van elk object of een reeks objecten.
Het is gebouwd bovenop het open source Stable Video Diffusion-model, dat veel wordt gebruikt door bedrijven als Leonardo AI en StabilityAI zelf om AI-videogeneratie mogelijk te maken. Het gaat nog een stap verder en integreert driedimensionale objecten in het proces.
Stabiele video 3D (SV3D) voegt nieuwe diepte toe aan het genereren van video’s, waardoor 3D-meshes met meerdere weergaven worden gemaakt van één afbeelding, waardoor een grotere consistentie ontstaat voor objecten binnen het videoframe.
Emad Mostaque, oprichter en CEO van StabilityAI schreef over X: “Er komt nog heel veel aan, de holodekcomponenten komen allemaal samen. Elke pixel wordt gegenereerd.”
Wat is Stabiele Video 3D?
Stable Video 3D bouwt voort op technologie die is ontwikkeld in eerdere modellen, waaronder Stable Video Diffusion, de originele Stable Diffusion en het Zero123 3D-beeldmodel dat eind vorig jaar door StabilityAI werd uitgebracht.
Destijds zei Mostaque dat dit pas de eerste was in een reeks 3D-modellen die uit het AI-lab kwamen, en het lijkt erop dat ze op een missie zijn om het Star Trek Holodeck werkelijkheid te maken.
Het nieuwe model is verkrijgbaar in twee varianten. De eerste is SV3D_u, die orbitale video’s maakt op basis van een enkele beeldinvoer zonder specifieke cameraspecificaties.
De tweede, SV3D_p, bouwt voort op de mogelijkheden van de eerste en maakt afzonderlijke beelden en orbitale weergaven mogelijk, wat leidt tot de creatie van 3D-video’s die langs een gespecificeerd camerapad zijn ‘gefilmd’.
In wezen analyseert het het beeld dat je eraan geeft, creëert het meerdere weergaven van dat object vanuit verschillende hoeken alsof er een camera omheen beweegt, en verandert dat vervolgens in een video.
Hoe goed werkt Stabiele Video 3D?
Er moet nog heel wat komen, nu de holodekcomponenten allemaal samenkomen. Elke pixel wordt gegenereerd
Emad Mostaque, CEO van StabilityAI
Ik heb SVD 3D nog niet kunnen uitproberen, maar uit de voorbeeldclips blijkt dat het niet alleen goed werkt bij het vastleggen van het object en het voorspellen van niet-zichtbare beelden, maar ook bij camerabewegingen.
Tot nu toe waren alle clips gericht op afzonderlijke objecten op een witte achtergrond. Dit zou nuttig kunnen zijn voor bedrijven die gemakkelijk een product met een volledig 360-gradenoverzicht willen aanbieden, hoewel dit vragen oproept rond de authenticiteit, aangezien het omgekeerde beeld zou worden voorspeld en niet reëel.
Ik zou graag willen zien hoe het evolueert om complexere beelden te verwerken en of de camerabedieningen kunnen worden toegepast op volledige scènes, zoals het draaien rond twee pratende mensen of een voertuig op de weg.
Sommige bewegingsbeschrijvingstechnieken kunnen worden uitgebreid en toegepast op generatieve AI-video om meer controle te krijgen over hoe de camera binnen de clip beweegt.
Het kan ook worden gebruikt om interactieve objecten of 3D-video’s van objecten te maken in een virtuele omgeving zoals de Meta Quest of Apple Vision Pro.
Welke gegevens zijn gebruikt om Stable Video 3D te trainen?
De herkomst van trainingsgegevens is een bijzonder belangrijk onderwerp en een onderwerp dat een aantal grotere AI-laboratoria niet graag wil bespreken. Dit geldt ook voor OpenAI – over de vraag of YouTube-video’s deel uitmaakten van de Sora AI-videodataset.
StabilityAI is open geweest over de bron van trainingsgegevens voor het meest recente model en legt uit dat het is getraind op een samengestelde subset van de Objaverse-dataset. Dit is een bibliotheek met miljoenen geannoteerde 3D-objecten die door een aantal AI 3D-services worden gebruikt.
“We hebben een zorgvuldig samengestelde subset van de Objaverse-dataset geselecteerd voor de trainingsgegevens, die beschikbaar is onder de CC-BY-licentie”, legt StabilityAI uit.
Met deze licentie kan de eindgebruiker het materiaal op elke gewenste manier commercieel of niet-commercieel delen, aanpassen of remixen, zolang hij de licentie vermeldt en linkt.
- Met de nieuwe ImageFX AI-afbeeldingsmaker van Google kunt u afbeeldingen maken van tekst. Zo werkt het
- Ik heb de nieuwe image-to-3D-tool van Stability AI geprobeerd, en deze maakt binnen enkele seconden digitale modellen
- Adobe brengt Firefly AI naar 3D-modellering: dit is wat u kunt doen met alleen tekstprompts
