Meta har lansert sin nye multimodale, flerspråklige AI-oversettermodell kalt SeamlessM4T. Denne første oversetteren i sitt slag kan oversette og transkribere tale og tekst på opptil 100 språk.
Meta har arbeidet med en rekke språkgjenkjennings- og oversettelsesprodukter, men med SeamlessM4T har de integrert flere innganger og utganger i én enkelt modell.
Ifølge Metas kunngjøring av utgivelsen, SeamlessM4T støtter:
- Talegjenkjenning for nesten 100 språk
- Tale-til-tekst-oversettelse for nesten 100 inn- og utdataspråk
- Tale-til-tale-oversettelse, med støtte for nesten 100 inndataspråk og 36 (inkludert engelsk) utdataspråk
- Tekst-til-tekst-oversettelse for nesten 100 språk
- Tekst-til-tale-oversettelse, med støtte for nesten 100 inndataspråk og 35 utdataspråk (inkludert engelsk)
Tale-til-tale-oversettelsen er sannsynligvis en av de mest spennende funksjonene i modellen. Det er fantastisk å kunne ta opp tale på ditt eget språk og deretter få det opplest på et annet språk. Tenk deg hvor nyttig dette ville være når du er på reise i et fremmed land.
I 2022 lanserte Meta tekst-til-tekst-oversetteren No Language Left Behind, som støtter 200 språk. Denne modellen støttet 55 afrikanske språk, hvorav mange var svært dårlig oversatt av andre verktøy.
Sent i fjor lanserte Meta også et eksempel på en ny tilnærming til tale-til-tale-oversettelse av språk med få ressurser. De brukte sin Universal Speech Translator til å oversette hokkien, som er et talespråk uten skriftsystem.
Tidligere i år fortsatte selskapet sitt fokus på underbetjente språk med sin Massively Multilingual Speech-modell, som gir automatisk talegjenkjenning av mer enn 1100 språk.
SeamlessM4T er en enhetlig modell som bygger på disse individuelle modellfunksjonene og kombinerer dem i én lettvektsmodell.
Vi presenterer SeamlessM4T, den første alt-i-ett-modellen for flerspråklig multimodal oversettelse.
Denne ene modellen kan utføre oppgaver på tvers av tale-til-tekst, tale-til-tale, tekst-til-tekst-oversettelse og talegjenkjenning for opptil 100 språk, avhengig av oppgaven.
Detaljer ⬇️
- Meta AI (@MetaAI) 22. august 2023
Treningsdata byr på utfordringer knyttet til skjevheter og toksisitet
Meta sier at modellen ble trent på "data fra offentlig tilgjengelige lagre av nettdata (titalls milliarder setninger) og tale (4 millioner timer)".
Det ble ikke spesifisert hvor treningsdataene kom fra, men det ble sagt at de kom fra lisensierte data med åpen kildekode som ikke var opphavsrettslig beskyttet.
Meta erkjente at modellen står overfor de samme "iboende risikoene" for skjevheter og toksisitet som andre AI-modeller. Det er uunngåelig at skjevheter i ulike kulturer kommer til uttrykk i lydopptakene og overføres til modellen under opplæringsprosessen.
For å eliminere skjevheter har Meta utvidet sitt flerspråklige HolisticBias-tekstdatasett til også å omfatte tale. Dette er en del av arbeidet med å korrigere for når modellen kan "urettferdig favorisere et kjønn og noen ganger bruke kjønnsstereotyper som standard".
En annen utfordring Meta må ta tak i, er å sørge for at det ikke blir for giftig. Toksisitet refererer til hvordan feilaktige oversettelser kan "oppfordre til hat og vold", skjellsord eller skjellsord mot en enkeltperson eller en gruppe."
Meta brukte sin "svært flerspråklige toksisitetsklassifisering" til å se etter toksisitet i inn- og utdata, slik at det er mindre sannsynlig at SeamlessM4T vil støte noen.
Den vil sannsynligvis fortsatt komme opp med noen vanskelige oversettelser, ettersom teamet som har utviklet modellen, innrømmer at den "overgeneraliserer til maskuline former når den oversetter fra nøytrale termer". Men hvis du prøver hardt nok, kan du sikkert få den til å si noe slemt.
Hvis du har lyst til å prøve det, kan du sjekke ut demo her. Du kan spille inn en setning, velge tre forskjellige språk og noen sekunder senere høre den muntlige oversettelsen. Veldig imponerende.
I beskrivelsen av ambisjonene med SeamlessM4T refererte Meta til Babel Fish fra The Hitchhiker's Guide to the Galaxy. Den er ikke i stand til å oversette i sanntid ennå, men den er sannsynligvis mye mer behagelig å bruke enn å stikke en fisk i øret.
