En los últimos seis meses, hemos asistido a un boom revolucionario de Inteligencia artificial Los LLM (Large Language Models) ocupan un lugar central. Pero, ¿es siempre necesario que un producto o servicio de IA se base en LLM? Según un artículo, los nuevos modelos lingüísticos de autoaprendizaje del MIT no se basan en LLM y pueden superar a algunos de los otros grandes sistemas de IA que actualmente lideran el sector.
Un grupo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT ha desarrollado una nueva forma de abordar los modelos lingüísticos de la IA.
Se trata de un logro pionero que hace hincapié en los modelos lingüísticos más pequeños y en su capacidad para resolver problemas de ineficacia, así como en las preocupaciones por la privacidad relacionadas con el desarrollo de grandes modelos de IA basados en datos textuales.
Con la aparición de OpenAI ChatGPT basado en los modelos lingüísticos GPT-3 y GPT-4, muchas empresas se sumaron a la carrera de la IA, entre ellas Google Bard, y otras IA generativa sistemas que permiten generar textos, imágenes e incluso vídeos.
Sin embargo, para generar resultados de calidad impecable, estos sistemas se basan en una gran cantidad de datos cuyo procesamiento informático es costoso. Muchos de estos sistemas importan datos para el entrenamiento a través de API, lo que conlleva sus propios riesgos, como fugas de datos y otros problemas de privacidad.
Vinculación textual
Según un nuevo documento titulado La vinculación como autoaprendizaje robusto publicado actualmente en el repositorio de preimpresión en línea arXiv, los investigadores señalan que los nuevos modelos lingüísticos de aprendizaje automático del MIT pueden resolver el problema de comprensión de ciertas tareas lingüísticas que tienen los grandes modelos lingüísticos. A este logro pionero lo denominan vinculación textual.
Los modelos se basan en el concepto de que si hay dos frases -una premisa y una hipótesis-, en el caso de que una premisa de la primera frase sea cierta, es probable que la hipótesis también lo sea.
En un declaración publicado en el blog CSAIL del MIT, un ejemplo de esta estructura sería que si "todos los gatos tienen cola" es probable que la hipótesis "un gato atigrado tiene cola" sea cierta. Este enfoque conduce a un menor sesgo en Modelos de IA, lo que hace que los nuevos modelos lingüísticos de aprendizaje automático del MIT superen a los modelos lingüísticos de mayor tamaño, según el comunicado.
"Nuestros modelos de vinculación autoentrenados, con 350 millones de parámetros y sin etiquetas generadas por humanos, superan a los modelos lingüísticos supervisados con entre 137.000 y 175.000 millones de parámetros", afirma en un comunicado Hongyin Luo, postdoctorando del MIT CSAIL y autor principal. "
También añadió que este enfoque podría ser muy beneficioso para los actuales sistemas de IA y remodelar los sistemas de aprendizaje automático de forma que sean más escalables, fiables y rentables cuando trabajen con modelos lingüísticos.
Los nuevos modelos lingüísticos de aprendizaje automático del MIT siguen siendo limitados
Aunque los nuevos modelos lingüísticos de aprendizaje automático del MIT prometen mucho a la hora de resolver problemas de clasificación binaria, siguen estando limitados a la hora de resolver problemas de clasificación multiclase. Eso significa que la vinculación textual no funciona tan bien cuando al modelo se le presentan múltiples opciones.
Según James Glass, profesor del MIT e investigador principal del CSAIL, autor también del artículo, esta investigación podría arrojar luz sobre métodos eficientes y eficaces para entrenar a los LLM en la comprensión de problemas de vinculación contextual.
"Aunque el campo de los LLM está experimentando cambios rápidos y espectaculares, esta investigación demuestra que es posible producir modelos lingüísticos relativamente compactos que rinden muy bien en tareas de comprensión de referencia en comparación con sus homólogos de aproximadamente el mismo tamaño, o incluso con modelos lingüísticos mucho más grandes", afirmó."
Esta investigación es sólo el principio de futuras tecnologías de IA que podrían aprender por sí solas y ser más eficaces, sostenibles y centradas en la privacidad de los datos. El trabajo sobre los nuevos modelos lingüísticos de autoaprendizaje del MIT se presentará en julio en la reunión de la Asociación de Lingüística Computacional en Toronto. El proyecto también cuenta con el respaldo del Programa Hong Kong Innovation AI.
