A Meta está a estabelecer uma parceria com a Qualcomm para permitir que as aplicações baseadas no Llama 2 sejam executadas nos seus chips Snapdragon até 2024.
O nível atual de capacidade de computação dos dispositivos pessoais não é suficiente para executar LLMs como a Llama 2 de forma eficaz em telemóveis ou computadores portáteis. Para utilizar estas poderosas ferramentas de IA, é geralmente necessário executá-las em servidores de computação em nuvem.
Quando a Meta anunciou o lançamento da Llama 2, estabeleceu uma parceria com a Microsoft para utilizar o Azure como a sua solução de computação em nuvem preferida. No entanto, prevê-se que a próxima geração de chips Snapdragon da Qualcomm traga poder de processamento suficiente aos dispositivos pessoais para que as aplicações de IA baseadas na Llama 2 possam ser executadas num dispositivo pessoal sem necessidade de computação em nuvem.
Durante uma entrevista com o Diretor Executivo da Stability No início deste ano, o entrevistador ficou incrédulo quando Emad Mostaque afirmou que, em 2024, teríamos o ChatGPT a funcionar nos nossos telemóveis sem Internet. Mas agora parece que a sua afirmação ousada não era de todo rebuscada.
Relativamente à sua parceria com a MetaDurga Malladi, executiva da Qualcomm, disse: "Aplaudimos a abordagem da Meta para IA aberta e responsável e estamos empenhados em impulsionar a inovação e reduzir as barreiras à entrada para desenvolvedores de qualquer tamanho, trazendo IA generativa para o dispositivo".
O atual chip Snapdragon X75 já utiliza a IA para melhorar a conetividade da rede e a precisão da localização em telemóveis 5G. Assim que o Llama 2 estiver a funcionar no dispositivo com o chip da próxima geração, poderá conversar com a sua aplicação de IA mesmo quando estiver em modo de avião ou numa área sem cobertura.
A outra grande vantagem deste desenvolvimento é o facto de fazer baixar o custo das aplicações de IA. Ter de fazer chamadas API para um LLM executado num servidor em nuvem custa dinheiro e esses custos são inevitavelmente transferidos para os utilizadores da aplicação.
Se a aplicação puder interagir com o LLM que está a ser executado no dispositivo, então não há custos incorridos. E mesmo com a incrível velocidade das redes 5G, uma aplicação de IA executada localmente, como um assistente de voz, responderá ainda mais rapidamente.
A execução de aplicações de IA no dispositivo sem a necessidade de enviar dados para servidores na nuvem também melhorará as preocupações com a privacidade e a segurança.
A parceria da Qualcomm Meta neste projeto é um grande negócio e um sinal de desenvolvimentos interessantes que estão para vir. Em 2020, a Apple já se gabava de que o chip M1 utilizava o seu Apple Neural Engine para acelerar as tarefas de aprendizagem automática.
Espera-se ver muito mais fabricantes de chips como a Nvidia a trabalhar para que os grandes modelos de IA sejam executados no dispositivo num futuro próximo.
