Google annoncerer Gemma, deres åbne LLM'er, der kan køre lokalt

26. februar 2024

Google har frigivet to modeller fra sin familie af lette, åbne modeller kaldet Gemma.

Mens Googles Gemini-modeller er proprietære eller lukkede modeller, er Gemma-modellerne blevet frigivet som "åbne modeller" og gjort frit tilgængelige for udviklere.

Google frigiver Gemma-modeller i to størrelser, 2B- og 7B-parametre, med prætrænede og instruktionstunede varianter for hver. Google frigiver modelvægtene samt en række værktøjer til udviklere, så de kan tilpasse modellerne til deres behov.

Google siger, at Gemma-modellerne er bygget med den samme teknologi, som driver flagskibsmodellen Gemini. Flere virksomheder har udgivet 7B-modeller i et forsøg på at levere en LLM, der bevarer brugbar funktionalitet, mens den potentielt kører lokalt i stedet for i skyen.

Llama-2-7B og Mistral-7B er bemærkelsesværdige konkurrenter på dette område, men Google siger, at "Gemma overgår betydeligt større modeller på vigtige benchmarks", og tilbød denne benchmark-sammenligning som bevis.

Benchmark-resultater af Gemma-7B vs. Llama-2-7B og Llama-2-12B. Kilde: Google: Google

Benchmark-resultaterne viser, at Gemma slår selv den større 12B-version af Llama 2 i alle fire funktioner.

Det virkelig spændende ved Gemma er udsigten til at kunne køre det lokalt. Google har indgået et samarbejde med NVIDIA om at optimere Gemma til NVIDIA GPU'er. Hvis du har en pc med en af NVIDIAs RTX-GPU'er, kan du køre Gemma på din enhed.

NVIDIA siger, at de har en installeret base på over 100 millioner NVIDIA RTX GPU'er. Det gør Gemma til en attraktiv mulighed for udviklere, der forsøger at beslutte, hvilken letvægtsmodel de skal bruge som grundlag for deres produkter.

NVIDIA vil også tilføje understøttelse af Gemma på sin Chat med RTX platform, der gør det nemt at køre LLM'er på RTX-pc'er.

Selv om det teknisk set ikke er open source, er det kun brugsrestriktionerne i licensaftalen, der forhindrer Gemma-modeller i at eje det mærke. Kritikere af åbne modeller peger på de risici, der er forbundet med at holde dem på linje, men Google siger, at de udførte omfattende red-teaming for at sikre, at Gemma var i sikkerhed.

Google siger, at de brugte "omfattende finjustering og forstærkningslæring fra menneskelig feedback (RLHF) til at tilpasse vores instruktionsindstillede modeller til ansvarlig adfærd." De udgav også et Responsible Generative AI Toolkit for at hjælpe udviklere med at holde Gemma på linje efter finjustering.

Tilpassede letvægtsmodeller som Gemma kan give udviklere mere nytte end større modeller som GPT-4 eller Gemini Pro. Muligheden for at køre LLM'er lokalt uden omkostninger til cloud computing eller API-opkald bliver mere tilgængelig hver dag.

Med Gemma åbent tilgængelig for udviklere bliver det interessant at se udvalget af AI-drevne applikationer, der snart kan køre på vores pc'er.

Deltag i fremtiden


TILMELD DIG I DAG

Klar, kortfattet, omfattende. Få styr på AI-udviklingen med DailyAI

Eugene van der Watt

Eugene har en baggrund som elektronikingeniør og elsker alt, hvad der har med teknologi at gøre. Når han tager en pause fra at læse AI-nyheder, kan du finde ham ved snookerbordet.

×

GRATIS PDF EKSKLUSIVT
Vær på forkant med DailyAI

Tilmeld dig vores ugentlige nyhedsbrev og få eksklusiv adgang til DailyAI's seneste e-bog: 'Mastering AI Tools: Din 2024-guide til forbedret produktivitet'.

*Ved at tilmelde dig vores nyhedsbrev accepterer du vores Politik for beskyttelse af personlige oplysninger og vores Vilkår og betingelser