Investigadores de la Universidad de Chicago desarrollaron una nueva herramienta para "envenenar" los modelos de IA cuando las empresas de este campo incluyen imágenes en sus conjuntos de datos sin consentimiento.
Empresas como OpenAI y Meta se han enfrentado a críticas y demandas judiciales por el uso masivo de contenidos en línea para entrenar sus modelos. Para que generadores de texto a imagen como DALL-E o Midjourney sean eficaces, deben entrenarse con grandes cantidades de datos visuales.
Una serie de artistas se han quejado de que estos generadores de imágenes son ahora capaces de producir imágenes en su estilo después de raspar su arte sin consentimiento.
En los investigadores crearon Nightshade, una herramienta que incrusta píxeles invisibles en una imagen que posteriormente la convierte en "venenosa" para los modelos de IA.
La IA generativa se basa en datos etiquetados correctamente. Si un modelo de IA se entrena con miles de imágenes de gatos y todas ellas están etiquetadas como "gato", sabrá qué aspecto debe tener un gato cuando se le pida que genere una imagen de uno.
Nightshade incrusta datos en la imagen que corrompen la clasificación de la misma. Así, por ejemplo, una imagen de un castillo envenenado por Nightshade se clasificaría como un camión viejo. Los investigadores descubrieron que el uso de tan solo 100 imágenes dirigidas a un único indicador era eficaz para corromper un modelo.
Nightshade es una mala noticia para los generadores de imágenes por IA
Un modelo afectado por datos envenenados podría pensar que las imágenes de pasteles son sombreros, o que las tostadoras son bolsos. Además de corromper la palabra específica a la que apunta Nightshade, la corrupción también infecta conceptos más amplios. Así, corromper la etiqueta "perro" extendería la corrupción también a términos como "cachorro".
Si un número suficiente de artistas empieza a utilizar Nightshade, las empresas tendrán mucho más cuidado a la hora de obtener el consentimiento antes de hacerse con las imágenes.
El equipo de investigación incorporará Nightshade a la herramienta Glaze que también ha desarrollado. Glaze etiqueta erróneamente el estilo de una imagen. Por ejemplo, un artista que quiera proteger el estilo de su obra puede utilizar Glaze para etiquetarla como "impresionista" cuando en realidad es "pop art".
El hecho de que herramientas como Nightshade funcionen con tanta eficacia pone de relieve una vulnerabilidad en generadores de texto a imagen que podrían ser explotados por agentes maliciosos.
Empresas como OpenAI y Stability AI afirman que respetarán la exclusión voluntaria de "do not scrape que los sitios web pueden añadir a sus archivos robots.txt. Si las imágenes envenenadas por Nightshade no se raspan, los modelos no se verán afectados.
Sin embargo, los actores maliciosos podrían envenenar una gran cantidad de imágenes y ponerlas a disposición del scraping con la intención de dañar los modelos de IA. La única forma de evitarlo es con mejores detectores de etiquetado o revisión humana.
Nightshade hará que los artistas se sientan un poco más seguros a la hora de poner sus contenidos en línea, pero podría causar graves problemas a los generadores de imágenes AI.
