Nos últimos seis meses, assistimos a um boom revolucionário de Alimentado por IA Os LLM (Large Language Models) ocupam o centro das atenções. Mas será sempre necessário que um produto ou serviço de IA se baseie em LLMs? De acordo com um documento, os novos modelos linguísticos de auto-aprendizagem do MIT não se baseiam em LLMs e podem superar alguns dos outros grandes sistemas de IA que atualmente lideram a indústria.
Um grupo de investigadores do Laboratório de Ciências Informáticas e Inteligência Artificial (CSAIL) do MIT desenvolveu uma nova forma de abordar os modelos de linguagem de IA.
Trata-se de uma conquista inovadora que realça os modelos linguísticos mais pequenos e a sua capacidade para resolver problemas de ineficiência, bem como as preocupações com a privacidade que estão associadas ao desenvolvimento de grandes modelos de IA baseados em dados textuais.
Com o aparecimento de O projeto da OpenAI ChatGPT baseado nos modelos linguísticos GPT-3 e GPT-4, muitas empresas aderiram à corrida da IA, incluindo a Google Bard e outras IA generativa sistemas que permitem gerar texto, imagens e até vídeos.
No entanto, para gerar resultados de qualidade impecável, estes sistemas dependem de uma grande quantidade de dados cujo processamento computacional é dispendioso. Muitos destes sistemas importam dados para formação através de API, o que acarreta os seus próprios riscos, como fugas de dados e outros problemas de privacidade.
Implicação textual
De acordo com um novo documento intitulado A utilização de um sistema de auto-aprendizagem robusto publicado no repositório online de pré-impressão arXiv, os investigadores constatam que os novos modelos linguísticos de auto-aprendizagem do MIT podem resolver o problema da compreensão de certas tarefas linguísticas que os modelos linguísticos de grande dimensão têm. Referem-se a esta conquista inovadora como implicação textual.
Os modelos baseiam-se no conceito de que, se houver duas frases - uma premissa e uma hipótese - no caso de uma premissa da primeira frase ser verdadeira, é provável que a hipótese também seja verdadeira.
Num declaração publicado no blogue do MIT CSAIL, um exemplo desta estrutura seria que, se "todos os gatos têm cauda", a hipótese "um gato malhado tem cauda" é provavelmente verdadeira. Esta abordagem conduz a um menor enviesamento na Modelos de IAo que faz com que os novos modelos linguísticos de auto-aprendizagem do MIT superem os modelos linguísticos de maior dimensão, de acordo com a declaração.
"Os nossos modelos de implicação auto-treinados, com 350 milhões de parâmetros, sem rótulos gerados por humanos, superam os modelos de linguagem supervisionados com 137 a 175 mil milhões de parâmetros", afirmou Hongyin Luo, associado de pós-doutoramento do MIT CSAIL, autor principal, num comunicado. "
Acrescentou ainda que esta abordagem poderia ser altamente benéfica para os actuais sistemas de IA e remodelar os sistemas de aprendizagem automática de uma forma mais escalável, fiável e rentável quando se trabalha com modelos linguísticos.
Os novos modelos linguísticos de auto-aprendizagem do MIT são ainda limitados
Apesar de os novos modelos linguísticos de auto-aprendizagem do MIT prometerem muito no que respeita à resolução de problemas de classificação binária, ainda estão limitados à resolução de problemas de classificação multi-classe. Isto significa que a implicação textual não funciona tão bem quando o modelo é apresentado com múltiplas escolhas.
De acordo com James Glass, professor do MIT e investigador principal do CSAIL, que também é o autor do artigo, esta investigação pode lançar luz sobre métodos eficientes e eficazes para formar LLMs para compreenderem problemas de implicação contextual.
"Enquanto o campo dos LLMs está a sofrer mudanças rápidas e dramáticas, esta investigação mostra que é possível produzir modelos linguísticos relativamente compactos que têm um desempenho muito bom em tarefas de compreensão de referência, em comparação com os seus pares de tamanho aproximadamente igual, ou mesmo modelos linguísticos muito maiores, disse ele.
Esta investigação é apenas o início de futuras tecnologias de IA que poderão aprender por si próprias e ser mais eficazes, sustentáveis e centradas na privacidade dos dados. O documento sobre os novos modelos linguísticos de auto-aprendizagem do MIT será apresentado em julho na reunião da Associação de Linguística Computacional em Toronto. O projeto conta também com o apoio do Programa de inovação em IA de Hong Kong.
