В понедельник компания Tesla собирается включить новый суперкомпьютер $300M, что станет толчком к развитию программы полного самообучения (FSD).
Подход, который Tesla использует в своей технологии автономного вождения, потребует больших вычислительных мощностей.
Несколько дней назад Элон Маск продемонстрировал вживую FSD V12 компании Tesla, и хотя она показала себя очень хорошо, было несколько сбоев. Система все еще находится в стадии бета-тестирования и представляет собой амбициозный подход к самодвижущимся автомобилям, поскольку она полагается исключительно на камеры без помощи радаров или лидарных датчиков.
В своем твите Маск написал: "Поразительно, но для 8 камер, работающих с частотой 36 кадров в секунду, требуется всего 100 Вт вычислительной мощности для вычисления выводов на компьютере искусственного интеллекта, разработанном Tesla. Этого ничтожного количества энергии достаточно для достижения сверхчеловеческого вождения!"
Это может быть справедливо в отношении вычислительной мощности, требуемой в автомобиле, но это возможно только после того, как ИИ будет должным образом обучен.
Маск объяснил необходимость инвестиций в вычислительную технику Tesla, сказав, что "для достижения сверхчеловеческого вождения с помощью искусственного интеллекта требуются миллиарды долларов в год на обучающие вычисления и хранение данных, а также огромное количество пройденных миль".
И именно здесь на помощь приходит новый суперкомпьютер Tesla. Компьютер состоит из 10 000 вычислительных GPU Nvidia H100. Это делает его одним из самых мощных суперкомпьютеров в мире.
В настоящее время у Tesla 4 миллиона автомобилей на дорогах, которые могут пополнить ее обучающую базу данных, а через несколько лет ожидается 10 миллионов. Это очень много видео, которое нужно просмотреть.
Тим Заман, один из руководителей отдела разработки искусственного интеллекта компании Tesla, сказал: "Благодаря реальному видеообучению у нас, возможно, самые большие в мире наборы данных для обучения, емкость кэш-памяти горячего уровня превышает 200 ПБ - на порядки больше, чем у LLM".
Новый компьютер Tesla обеспечит 340 FP64 PFLOPS для технических вычислений и 39,58 INT8 ExaFLOPS для приложений искусственного интеллекта.
Если эти цифры для вас ничего не значат, то они лучше, чем у Leonardo, который занимает четвертое место в списке лучших суперкомпьютеров мира.
Nvidia не может идти в ногу со временем
Графические процессоры H100 от Nvidia выполняют обучение искусственному интеллекту в 9 раз быстрее, чем процессоры A100, которые Tesla использовала до сих пор. Но этого все равно недостаточно для нужд Tesla.
Так почему бы им просто не купить больше GPU? Потому что у Nvidia нет возможности поставлять их достаточно быстро.
Но Tesla не ждет, пока Nvidia увеличит производство. Последние несколько лет она создает свой собственный суперкомпьютер Dojo на базе чипов собственной разработки Tesla.
Ожидается, что Dojo появится в сети в конце 2024 года и будет даже мощнее, чем кластер Nvidia компании Tesla.
Источник: Tesla
Быть руководителем производства в Nvidia, должно быть, нелегкая работа в настоящее время, учитывая неутолимый спрос на графические процессоры Nvidia.
Интересно, что Маск сказал: "Честно говоря... если бы они (NVIDIA) могли поставить нам достаточно GPU, нам бы не понадобился Dojo".
Мы склонны думать о Tesla как о компании, производящей электромобили, но все чаще кажется, что на самом деле это компания по производству суперкомпьютеров с искусственным интеллектом.
Будет интересно посмотреть, как экспоненциальный рост вычислительной мощности будет способствовать реализации амбиций Маска как в Tesla, так и в его проекте xAI.
