{"id":13599,"date":"2024-07-28T17:00:03","date_gmt":"2024-07-28T17:00:03","guid":{"rendered":"https:\/\/dailyai.com\/?p=13599"},"modified":"2024-07-29T09:48:32","modified_gmt":"2024-07-29T09:48:32","slug":"ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds","status":"publish","type":"post","link":"https:\/\/dailyai.com\/es\/2024\/07\/ai-models-face-collapse-when-trained-on-ai-generated-data-study-finds\/","title":{"rendered":"Los modelos de IA se colapsan cuando se entrenan con datos generados por ella, seg\u00fan un estudio"},"content":{"rendered":"

Un nuevo estudio publicado en Nature revela que los modelos de IA, incluidos los grandes modelos ling\u00fc\u00edsticos (LLM), degradan r\u00e1pidamente su calidad cuando se entrenan con datos generados por modelos de IA anteriores.\u00a0<\/b><\/p>\n

Este fen\u00f3meno, denominado \"colapso del modelo\", podr\u00eda erosionar la calidad de los futuros modelos de IA, sobre todo a medida que se publiquen en Internet m\u00e1s contenidos generados por IA y, por tanto, reciclados y reutilizados en los datos de entrenamiento de los modelos.\u00a0<\/span><\/p>\n

Investigadores de la Universidad de Cambridge, la Universidad de Oxford y otras instituciones han estudiado este fen\u00f3meno. experimentos realizados<\/a> que demuestra que cuando los modelos de IA se entrenan repetidamente con datos producidos por versiones anteriores de ellos mismos, empiezan a generar resultados sin sentido.\u00a0<\/span><\/p>\n

Esto se observ\u00f3 en distintos tipos de modelos de IA, incluidos los modelos ling\u00fc\u00edsticos, los autocodificadores variacionales y los modelos de mezcla gaussiana.<\/span><\/p>\n

En un experimento clave con modelos ling\u00fc\u00edsticos, el equipo afin\u00f3 el modelo OPT-125m en el conjunto de datos WikiText-2 y luego lo utiliz\u00f3 para generar texto nuevo. <\/span><\/p>\n

Este texto generado por la IA se utilizaba entonces para entrenar a la siguiente \"generaci\u00f3n\" del modelo, y el proceso se repet\u00eda una y otra vez.\u00a0<\/span><\/p>\n

No pas\u00f3 mucho tiempo antes de que los modelos empezaran a producir textos cada vez m\u00e1s improbables y disparatados.\u00a0<\/span><\/p>\n

En la novena generaci\u00f3n, el modelo generaba un galimat\u00edas completo, como enumerar m\u00faltiples tipos inexistentes de \"jackrabbits\" cuando se le preguntaba por las torres de las iglesias inglesas.<\/span><\/p>\n

Los investigadores tambi\u00e9n observaron c\u00f3mo los modelos pierden informaci\u00f3n sobre sucesos \"raros\" o poco frecuentes antes del colapso total.\u00a0<\/span><\/p>\n

Esto es alarmante, ya que los sucesos raros suelen estar relacionados con grupos marginados o at\u00edpicos. Sin ellos, los modelos corren el riesgo de concentrar sus respuestas en un estrecho espectro de ideas y creencias, reforzando as\u00ed los sesgos.<\/span><\/p>\n

Las empresas de IA son conscientes de ello, y por eso est\u00e1n cerrando acuerdos con empresas de noticias y editores para asegurarse un flujo constante de informaci\u00f3n de alta calidad, escrita por humanos y relevante desde el punto de vista tem\u00e1tico.\u00a0<\/span><\/p>\n

\"El mensaje es que tenemos que tener mucho cuidado con lo que acaba en nuestros datos de formaci\u00f3n\". <\/span>estudiar<\/span> coautor Zakhar Shumaylov de la Universidad de Cambridge <\/span>dijo a Nature<\/span><\/a>. \"De lo contrario, las cosas siempre ir\u00e1n mal, como es l\u00f3gico\".<\/span><\/p>\n

Para agravar este efecto, un reciente <\/span>estudiar<\/span><\/a> del Dr. Richard Fletcher, Director de Investigaci\u00f3n del Instituto Reuters para el Estudio del Periodismo, descubri\u00f3 que casi la mitad (48%) de los sitios de noticias m\u00e1s populares de todo el mundo son ahora inaccesibles para los rastreadores de OpenAI, con los rastreadores de IA de Google bloqueados en 24% de sitios.<\/span><\/p>\n

Como resultado, los modelos de IA tienen acceso a un conjunto de datos recientes y de alta calidad m\u00e1s reducido que antes, lo que aumenta el riesgo de que se entrenen con datos obsoletos o de baja calidad.\u00a0<\/span><\/p>\n

Soluciones al colapso del modelo<\/h2>\n

En cuanto a las soluciones, los investigadores afirman que mantener el acceso a fuentes de datos originales, generados por humanos, es vital para el futuro de la IA.\u00a0<\/span><\/p>\n

El seguimiento y la gesti\u00f3n de los contenidos generados por IA tambi\u00e9n ser\u00edan \u00fatiles para evitar que contaminen accidentalmente los conjuntos de datos de entrenamiento. Eso ser\u00eda muy complicado, ya que los contenidos generados por IA son cada vez m\u00e1s imposibles de detectar.\u00a0<\/span><\/p>\n

Los investigadores proponen cuatro soluciones principales:<\/span><\/p>\n