На этой неделе компания Meta выпустила генеративный ИИ для преобразования текста в звук под названием AudioCraft, и образцы его работы впечатляют.
В сфере генеративного ИИ наблюдается экспоненциальное развитие в области генерации текстов, изображений и голосов, но в сфере генерации аудио ИИ новостей пока не было. AudioCraft это один из первых в своем роде инструментов преобразования текста в звук, который можно опробовать в действии.
В начале этого года Google представила нам генератор музыки в текст MusicLM, но прошло уже 8 месяцев, а вы все еще можете попробовать его в деле, только если вас примут на испытательную кухню искусственного интеллекта.
Предварительно обученные модели AudioCraft доступны для загрузки на GitHub, и Meta надеется, что стратегия открытого исходного кода будет способствовать принятию и тестированию моделей для их улучшения.
AudioCraft состоит из моделей MusicGen, AudioGen и Encodec компании Meta.
Модель MusicGen была обучена на музыке, которая была специально лицензирована и принадлежала компании Meta, и выводит музыку на основе текстовой подсказки. В примере на блоге Meta использовался следующий запрос: "Поп-танцевальный трек с запоминающимися мелодиями, тропическими ударными и бодрыми ритмами, идеально подходящий для пляжа".
Музыкальный выход звучит довольно хорошо и точно соответствует подсказке. Образец, скорее всего, был взят вишневый, но, тем не менее, он впечатляет. Вы можете прослушать больше образцов здесь.
🎵 Сегодня мы рассказываем о AudioCraft, семействе генеративных моделей искусственного интеллекта, позволяющих легко генерировать высококачественное аудио и музыку из текста.https://t.co/04XAq4rlap pic.twitter.com/JreMIBGbTF
- Meta Newsroom (@MetaNewsroom) 2 августа 2023 года
В Интернете можно найти несколько инструментов для преобразования текста в музыку, но модель AudioGen довольно уникальна. Модель была обучена на публичных звуковых эффектах и генерирует сложные звуковые эффекты на основе текстовых подсказок. Пример подсказки в блоге Меты был таким: "Сирены и гудящий двигатель приближаются и проезжают", и звучал он великолепно. Вот еще несколько Эффекты сэмплов AudioGen.
Возможность бесплатно генерировать звуковые эффекты из текстовых описаний будет иметь огромное значение для создателей контента. Представьте себе, что вы делаете ролик для социальных сетей или видео на Youtube и получаете именно тот звуковой эффект, который вам нужен, не платя за его загрузку с сайта звуковых эффектов.
Модель Encodec - это, пожалуй, самая интересная часть AudioCraft. Это кодек для аудио, работающий на основе искусственного интеллекта. Кодек - это программное обеспечение, которое берет данные и сжимает их, теряя при этом как можно меньше. Если вы проигрывали музыкальный файл в формате MP3, то вы использовали кодек.
Encodec удаляет из создаваемого аудиофайла как можно больше данных, а затем использует искусственный интеллект для заполнения пробелов при повторном воспроизведении. В результате сжатые аудиофайлы могут быть в 10 раз меньше, чем если бы они хранились в формате MP3.
У Meta пока нет аналогичного кодека для видео, но можете ли вы представить себе последствия сжатия видео и аудио в 10 раз без потери качества? Вы можете освободить 90% места на жестком диске или передавать музыку и видео в 10 раз быстрее при той же пропускной способности.
Будет интересно посмотреть, как разработчики используют инструмент Meta для преобразования текста в аудио. Похоже, что Meta ответственно подошла к обучению своих моделей, но другие пользователи моделей могут не разделять их этические и юридические опасения. Ожидаются жаркие споры о том, является ли музыка, защищенная авторским правом, честной игрой для обучения ИИ.
И хотя Актеры и сценаристы продолжают бастоватьВскоре к пикету могут присоединиться музыканты и художники по звуковым эффектам, а также такие бесплатные музыкальные инструменты, как AudioCraft.
