Два бывших исследователя Google основали новую интригующую исследовательскую лабораторию ИИ, которая занимается созданием ансамблей небольших моделей ИИ, работающих вместе.
Исследовательская лаборатория Sakana, названная в честь японского слова, означающего "рыба", планирует создать несколько компактных моделей ИИ, которые будут гармонично взаимодействовать друг с другом, подобно тому, как природные системы реагируют только на локальную информацию, но действуют как часть единого целого.
В качестве примера можно привести косяки рыб, стаи птиц и стаи насекомых, которые передвигаются независимо, но слаженно.
Дуэт Дэвида Ха и Ллиона Джонса считает, что "рой" моделей может достичь большего, чем привычный подход, когда все усилия по обучению модели направляются на создание единой колоссальной модели.
Рассказывая о философии, Ха прокомментировал: "Муравьи передвигаются и динамично формируют мост самостоятельно, который может быть не самым прочным, но они могут сделать это сразу же и адаптироваться к окружающей среде".
Он также подчеркнул: "Я думаю, что подобная адаптация - это одна из очень мощных концепций, которые мы видим в естественных алгоритмах".
Ха и Джонс считаются выдающимися исследователями в этой области, причем Джонс одним из первых предложил архитектуру трансформаторов в работе 2017 года "Внимание - это все, что вам нужно."
Ранее Ха возглавлял исследования в Stability AI и генеративный ИИ в Google Brain в Японии.
Хотя Sakana еще только зарождается, у нее грандиозные планы: по словам Ха, в планах открытие офиса в Токио. О своей финансовой поддержке компания пока умалчивает.
Подход Sakana к разработке ИИ основан на некоторых существующих исследованиях. Ха и его коллега из Google Юджин Танг впервые применили подход, названный "Сенсорный нейрон как трансформатор", выступая за совместную работу нескольких моделей ИИ, а не одной массивной.
Интерес к биоинспирированному искусственному интеллекту растет по мере того, как исследователи начинают выяснять, как биологические системы поддерживают невероятные способности при низком энергопотреблении.
Биологический мозг использует лишь малую долю энергии, необходимой для создания легких моделей ИИ. Недавно компания IBM представила чип аналогового GPU, вдохновленный мозгом, способный обеспечить высокую производительность при низком энергопотреблении.
Джонс заметил: "Человеческий мозг по-прежнему работает лучше, чем наш лучший ИИ", и продолжил: "Очевидно, человеческий мозг делает что-то правильное, чего мы еще не поняли".
Уход из крупных исследовательских групп в инновационные стартапы - хорошо проторенный путь, и Джонс откровенно сказал о своем опыте работы за пределами Google: "К сожалению, верно говорить, что за пределами Google у меня гораздо больше возможностей для развития". В ответ на предложение г-на Ха о создании стартапа он согласился: "Для меня в этом был большой смысл".
