Компания OpenAI объявила о том, что разработчики теперь могут точно настраивать модель GPT-3.5 Turbo, используя пользовательские данные.
Тонкая настройка - это процесс взятия базовой версии модели, такой как GPT-3.5 Turbo, лежащей в основе ChatGPT, и обучения ее на очень специфическом наборе данных.
Базовая модель GPT-3.5 Turbo умеет делать множество разных вещей. Если разработчик настраивает ее на наборе данных, ориентированном на конкретный случай использования, она становится действительно хорошей для выполнения очень специфического набора задач. Это все равно что взять обычного разнорабочего и обучить его быть действительно хорошим сантехником.
Теперь компании могут обучить версию ChatGPT с помощью GPT-3.5 Turbo так, чтобы она выдавала результаты, адаптированные к их бизнесу.
Например, компания может захотеть, чтобы все ответы ChatGPT были на определенном языке или постоянно выдавали короткие или длинные ответы. Ответы также можно обучить всегда выводить в определенном формате или соблюдать единый тон корпоративного общения.
Если вы хотите использовать ChatGPT для последовательного выполнения определенного типа завершения кода или просто сосредоточиться на составлении вызовов API, теперь вы можете обучить его этому с помощью GPT-3.5 Turbo.
До сих пор разработчики могли лишь тонко настраивать менее производительные устаревшие варианты GPT-3. Использование усовершенствованной версии GPT-3.5 Turbo обеспечивает гораздо более высокую производительность.
В своем сообщении OpenAI заявила, что "ранние тесты показали, что доработанная версия GPT-3.5 Turbo может соответствовать или даже превосходить базовые возможности уровня GPT-4 в некоторых узких задачах".
GPT-3.5 Turbo имеет контекстное окно с 4k токенами, что в два раза больше, чем у предыдущих моделей с возможностью тонкой настройки. 16-килобайтная версия модели будет доступна для тонкой настройки позднее в этом году.
Мы только что запустили тонкую настройку для GPT-3.5 Turbo! Тонкая настройка позволяет обучить модель на данных вашей компании и запустить ее в масштабе. Первые тесты показали, что GPT-3.5 Turbo с тонкой настройкой может сравниться или превзойти GPT-4 в узких задачах: https://t.co/VaageW9Kaw pic.twitter.com/nndOyxS2xs
- OpenAI (@OpenAI) 22 августа 2023 года
Это не бесплатно, но становится все дешевле
OpenAI по-прежнему взимает плату за API-вызовы к своим моделям, но возможность точной настройки модели может снизить общие расходы на ее эксплуатацию.
Стоимость использования GPT-3.5 составляет $0.008/1k токенов для обучения, $0.012/1k токенов для использования на входе и $0.016/1k токенов для использования на выходе.
Количество токенов в отправленных вами подсказках и полученных ответах определяет стоимость поездки туда и обратно. Настроив модель, вы можете обучить ее реагировать на сокращенные подсказки. OpenAI утверждает, что некоторые ранние тестеры смогли сократить длину подсказок до 90%.
Такое сокращение количества отправляемых токенов снижает сопутствующие расходы, а также делает вызовы API намного быстрее. Возможность снижения стоимости за счет тонкой настройки очень важна для OpenAI, поскольку она конкурирует с такими бесплатными моделями, как Llama 2.
Даже если OpenAI взимает плату за вызовы API, эффективность и повышенная производительность могут сделать его эксплуатацию дешевле, чем бесплатные модели с открытым исходным кодом, такие как Llama 2. Бесплатные модели все равно должны где-то работать, а вычисления стоят недешево.
Появление GPT-3.5 Turbo для тонкой настройки также своевременно, учитывая, как Компания Microsoft предпринимает шагидля представления конкурирующих моделей искусственного интеллекта на платформе Azure.
И поскольку корпоративные опасения по поводу безопасности данных ChatGPT не утихают, OpenAI не преминула подтвердить: "Как и во всех наших API, данные, отправляемые в API тонкой настройки, принадлежат клиенту и не используются OpenAI или какой-либо другой организацией для обучения других моделей".
Хватит ли этого, чтобы убедить скептиков, пока неизвестно. Если все сведется к стоимости обработки и производительности, то благодаря этому последнему шагу предложение OpenAI станет более привлекательным, чем даже ведущие бесплатные модели ИИ.
