Компания Meta выпустила долгожданную серию Llama 3. Первые две модели, Llama 3-8B и Llama 3-70B, уже поступили в широкую продажу.
Несколько дней назад на мероприятие в ЛондонеВ этом месяце руководители Meta Ник Клегг и Янн ЛеКун заявили, что Llama 3 не за горами.
Первые две версии вышли сегодня, став третьей и четвертой крупными открытыми моделями, выпущенными в этом месяце. Grok-1.5V от xAI и Мистраль 8 сезон 22 серия.
Ллама 3 предварительно обучен на впечатляющих 15 триллионах лексем, что в 7 раз больше, чем в Llama 2. Данные предварительного обучения также включают в четыре раза больше кода.
Под капотом Llama 3 представлены такие архитектурные улучшения, как более эффективный токенизатор с большим словарным запасом в 128 тыс. лексем.
Вот краткая информация о производительности Llama 3:
Производительность Llama 3 8B:
- По ряду показателей превосходит такие модели, как Mistral 7B и Gemma 7B от Google.
- Отлично справляется с заданиями MMLU, ARC, DROP, GPQA (преимущественно научные вопросы), HumanEval (генерация кода), GSM-8K (математические задачи), MATH (математический бенчмарк), AGIEval (решение задач) и BIG-Bench Hard (рассуждения на основе здравого смысла).
70B в сравнении с другими моделями:
- Llama 3 70B конкурирует с лучшими моделями ИИ, такими как Gemini 1.5 Pro от Google.
- Beats Gemini 1.5 Pro в MMLU, HumanEval и GSM-8K.
- По пяти бенчмаркам он превосходит Claude 3 Sonnet от Anthropic (средний уровень серии Claude 3): MMLU, GPQA, HumanEval, GSM-8K и MATH.
Это отличные показатели для открытой модели (хотя лицензия Meta имеет некоторые ограничения).
Это делает Llama 3 новой лучшей бесплатной моделью с открытым исходным кодом (вроде бы).
Llama 3 также будет более удобной и менее упорной в использовании - меньше отказов и более высокая точность в вопросах о мелочах, исторических фактах и STEM-запросах.
Llama 3 должна стать широко доступной на основных платформах, включая облачные сервисы и поставщиков API.
Meta уже работает над расширением Llama 3 до 400 миллиардов параметров и добавлением новых функций, таких как мультимодальность, многоязыковая поддержка и расширенное контекстное понимание.
Роль Мета-изгоя в генеративном ИИ
Во многих отношениях Meta стала бунтарем в индустрии генеративного ИИ.
Главный научный сотрудник по искусственному интеллекту компании Meta Ян ЛеКун, один из самых уважаемых деятелей в области искусственного интеллекта, придерживается мнения, которое некоторые расценивают как особые мнения о направлении искусственного интеллекта - взгляды, критикующие проекты с закрытым исходным кодом у конкурентов Meta по Большим Технологиям.
Тем временем бывший заместитель премьер-министра Великобритании Ник Клегг, возглавляющий отдел по глобальным вопросам, получил нарекания за порой несерьезное отношение к продуктам Meta, связанным с искусственным интеллектом, что, возможно, не удивит никого из британцев.
На прошлой неделе Клегг, похоже, преуменьшил влияние ИИ на предвыборную агитацию и манипуляции с фальшивками. Это мнение очень сильно противоречит преобладающему мнению о том, что глубокие фальшивки могут быть (или уже являются) глубоко разрушительными.
На самом деле, Наблюдательный совет Меты - это активно расследует два случая глубокой подделки порнографии прямо сейчас. Совет посчитал, что действия Meta по модерации контента были слишком медленными.
Компания Meta также заявляет о повышении качества своих моделей. Жоэль Пино, вице-президент Meta по исследованиям в области ИИ, сказал: "Во многих отношениях модели, которые мы имеем сегодня, будут детскими играми по сравнению с моделями, которые появятся через пять лет".
Пино также предупредил: "Если мы будем продолжать наращивать общую и мощную модель, не социализируя ее должным образом, у нас возникнет большая проблема".
Выпуск Llama 3 также произошел на фоне того, как ИИ-агенты Meta в Facebook вызвали переполох в социальных сетях.
В группе Facebook для нью-йоркских родителей был представлен ИИ-помощник Meta, призванный давать советы и отвечать на вопросы. шокированные люди утверждая, что у него "одаренный ребенок с ограниченными возможностями", посещающий специальную школу для "одаренных и талантливых".
Когда члены группы столкнулись с ним, ИИ признался: "Я всего лишь большая языковая модель, у меня нет личного опыта или детей", что некоторые назвали инцидентом в духе "Черного зеркала".
Модели Llama 3, Grok-1.5 и Mistral передают больше полномочий сообществам с открытыми исходными кодами, при этом еще больше размывая рынок генеративного ИИ.
Но это может быть и хорошо, ведь сейчас речь идет о выживании сильнейших, и мяч находится в лагере Microsoft-OpenAI, который, как ожидается, сделает следующий ход в этой увлекательной игре в шахматы с искусственным интеллектом.
