Meta se ha asociado con Qualcomm para que las aplicaciones basadas en Llama 2 funcionen en sus chips Snapdragon en 2024.
El nivel actual de potencia de cálculo de los dispositivos personales no es suficiente para ejecutar eficazmente LLM como Llama 2 en teléfonos móviles u ordenadores portátiles. Si quieres utilizar estas potentes herramientas de IA, por lo general necesitas ejecutarlas en servidores de computación en nube.
Cuando Meta anunció el lanzamiento de Llama 2 se asoció con Microsoft para utilizar Azure como su solución preferida de computación en la nube. Pero se prevé que la próxima generación de chips Snapdragon de Qualcomm aporte suficiente potencia de procesamiento a los dispositivos personales para que las aplicaciones de IA basadas en Llama 2 puedan ejecutarse en un dispositivo personal sin necesidad de computación en la nube.
Durante un entrevista con el Director General de Stability a principios de este año, el entrevistador se mostró incrédulo cuando Emad Mostaque afirmó que en 2024 tendríamos ChatGPT funcionando en nuestros teléfonos sin Internet. Pero ahora parece que su audaz afirmación no era descabellada en absoluto.
En cuanto a su asociación con MetaEn palabras de Durga Malladi, ejecutiva de Qualcomm: "Aplaudimos el enfoque de Meta hacia una IA abierta y responsable y nos comprometemos a impulsar la innovación y reducir las barreras de entrada para desarrolladores de cualquier tamaño llevando la IA generativa a los dispositivos."
El actual chip Snapdragon X75 ya utiliza IA para mejorar la conectividad de red y la precisión de la localización en los móviles 5G. Cuando Llama 2 funcione en el dispositivo con el chip de nueva generación, podrás chatear con tu aplicación de IA aunque esté en modo avión o en una zona sin cobertura.
La otra gran ventaja de este desarrollo es que reducirá el coste de las aplicaciones de IA. Tener que hacer llamadas API a un LLM que se ejecuta en un servidor en la nube cuesta dinero y esos costes se repercuten inevitablemente en los usuarios de la aplicación.
Si la aplicación puede interactuar con el LLM que se ejecuta en el dispositivo, los costes son nulos. E incluso con la increíble velocidad de las redes 5G, una aplicación de IA ejecutada localmente, como un asistente de voz, responderá aún más rápido.
Ejecutar aplicaciones de IA en el dispositivo sin necesidad de enviar datos a servidores en la nube también mejorará la privacidad y la seguridad.
La colaboración de Qualcomm Meta en este proyecto es todo un acontecimiento y una señal de los interesantes avances que están por llegar. Allá por 2020, Apple ya presumía de que el chip M1 utilizaba su Apple Neural Engine para acelerar las tareas de aprendizaje automático.
Es de esperar que, en un futuro próximo, muchos más fabricantes de chips, como Nvidia, trabajen en la ejecución de grandes modelos de inteligencia artificial en los dispositivos.
