Meta heeft de lancering van MusicGen aangekondigd, de meest recente ontwikkeling op het gebied van muziek en kunstmatige intelligentie (AI).
Dit open-source AI-model is gemaakt om muziek te genereren met behulp van tekst, en biedt een onderscheidende en fantasierijke methode voor muziekproductie.
Een onlangs gepubliceerd onderzoeksdocument beschrijft hoe MusicGen het maken van muziek op een unieke manier heeft benaderd. Het anticipeert op het volgende muziekgedeelte in plaats van op het volgende teken in een zin, waardoor logische en georganiseerde muzikale creaties ontstaan.
Met behulp van Meta's EnCodec audio tokenizer ontleedt MusicGen audiogegevens als onderdeel van het trainingsproces.
Net als Google's MusicLM gebruikt MusicGen 20.000 uur aan gelicentieerde muziek van Shutterstock, Pond5 en een enorme bibliotheek met tracks van hoge kwaliteit uit interne bronnen. MusicGen beschikt over een grote verscheidenheid aan muzikale genres en composities.
MusicGen kan reageren op zowel tekst- als muziekinstructies. Het kan nieuwe muzikale composities produceren die een bepaalde stijl vertegenwoordigen door de melodie van een audiobestand samen te voegen met een tekstaanwijzing die die stijl beschrijft.
De mogelijkheid om melodieën in verschillende genres te horen of exacte controle over de oriëntatie op de melodie wordt niet geboden door MusicGen - in plaats daarvan geeft MusicGen een creatieve interpretatie.
Modelgroottes variërend van 300 miljoen tot 3,3 miljard parameters werden door de onderzoekers getest. Hoewel het model met 1,5 miljard parameters de beste scores kreeg van menselijke beoordelaars, produceerden grotere modellen vaak audio van hogere kwaliteit. De nauwkeurigheid van de tekst-naar-audio conversie van het 3,3 miljard parameters tellende model was uitzonderlijk.
MusicGen overtreft concurrerende muziekmodellen zoals Riffusion, Mousai, MusicLM en Noise2Music in zowel objectieve als willekeurige metingen.
Het toont uitmuntendheid in het beoordelen van de verenigbaarheid van de muziek en de woorden en de geloofwaardigheid van de compositie.
Ontdek muziekfragmenten hier evenals vergelijkingen tussen MusicGen en concurrenten zoals Google's MusicLM.
Meta heeft de code en modellen als open source beschikbaar gesteld op GithubCommercieel gebruik is toegestaan. Knuffelgezicht heeft een toegankelijke demonstratie.
