Компания Meta объявила о выпуске Code Llama, нового инструмента искусственного интеллекта для кодирования.
Code Llama - это доработанная версия Llama 2 LLM компании Meta, которая была обучена писать и документировать код. Новый инструмент воспринимает описания на естественном языке и превращает их в код. Он также может отлаживать, объяснять и документировать код, поступающий на вход.
Это отличный инструмент, если вы только учитесь кодить, но больше всего пользы от Code Llama получат инженеры-программисты.
Инструмент поддерживает большинство популярных языков программирования, включая Python, C++, Java, PHP, Typescript (Javascript), C#, Bash и другие.
Code Llama можно попросить: "Напишите функцию на Python для вычисления первых 100 простых чисел", и она сгенерирует код для вас.
Такие инструменты, как ChatGPT, уже позволяют писать код, но Code Llama имеет ряд особенностей, которые, возможно, делают его лучшим инструментом для написания кода.
В ChatGPT контекстное окно составляет от 4 000 до 8 000 лексем, в то время как Code Llama может обрабатывать до 100 000 лексем. Первое очевидное преимущество большего контекстного окна - возможность писать значительно более длинный код.
Более захватывающая перспектива - это возможность ввести огромный кусок кода, а затем попросить Code Llama отладить его за вас. Если бы вы хотели использовать для этого ChatGPT, вам пришлось бы отлаживать небольшие фрагменты за раз.
Сегодня мы выпускаем Code Llama, большую языковую модель, построенную на основе Llama 2, доработанную для кодирования и современную для общедоступных инструментов кодирования.
В соответствии с нашим открытым подходом, Code Llama сейчас находится в открытом доступе как для исследований, так и для коммерческого использования.
Подробнее ⬇️
- Meta AI (@MetaAI) 24 августа 2023 года
Компания Meta выпустила 3 размера Code Llama с параметрами 7B, 13B и 34B соответственно. Меньшие модели работают быстрее, требуя меньше вычислительной мощности, но они менее мощные, чем модель 34B.
Две меньшие модели также были обучены возможности заполнения середины (FIM). Это позволяет программисту ввести существующий код и поручить Code Llama выполнение задач по завершению кода.
В дополнение к базовым моделям, поддерживающим несколько языков, Meta выпустила две версии, специально обученные на Python и Instruct.
Есть ли толк от Code Llama?
Компания Meta провела собственные бенчмарки и обнаружила, что Code Llama "показала лучшие результаты, чем LLM с открытым исходным кодом, и превзошла Llama 2".
Вот сравнительная таблица, показывающая, как Code Llama сравнивается с другими моделями.
Источник: Мета
GPT-4 все еще впереди, но это огромная модель, и она не бесплатна. Code Llama бесплатна, и версия 7B может работать на вашей локальной машине.
Использование GPT-4 требует, чтобы ваш код проходил через серверы OpenAI, а для многих компаний это представляет собой огромный риск для их интеллектуальной собственности.
Поскольку Code Llama работает на локальных серверах, нет риска утечки частных данных компании или использования их для обучения других моделей.
В дополнение к выпущенным моделям Исследовательская работа Code Llama ссылается на модель под названием "Unnatural Code Llama". Она набрала 62,2% в бенчмарке HumanEval, что очень близко к 67% GPT-4.
Пока не сообщается, когда эта модель будет выпущена, но такая производительность выбивает из колеи PaLM Coder от Google и даже делает GPT-4 труднопродаваемым.
