El debate en torno a la seguridad de la IA sigue siendo un tema candente, pero el sector no dispone de una definición definitiva de lo que es una IA "segura", ni de una referencia para comparar la seguridad de los distintos modelos.
MLCommons ha reunido a diversas empresas en sus diferentes grupos de trabajo para convertirse en la principal organización de evaluación comparativa de la IA.
Cuando comparamos el rendimiento de inferencia de la GPU de un fabricante con el de otro o rellenamos una tabla de clasificación de LLM, podemos hacerlo porque disponemos de puntos de referencia. Benchmarks como MLPerf y pruebas estandarizadas nos permiten decir "Este es mejor que aquel".
Pero en lo que respecta a la seguridad de la IA no tenemos realmente un punto de referencia estándar en el sector que nos permita decir: "Este LLM es más seguro que aquel".
Con la formación del Grupo de Trabajo sobre Seguridad de la IA (AIS), MLCommons quiere desarrollar un conjunto de puntos de referencia sobre seguridad de la IA para hacerlo posible.
Algunas empresas y organizaciones ya han trabajado en este ámbito. Los guardrails de Google para la IA generativa y los RealToxicityPrompts de la Universidad de Washington son buenos ejemplos.
Pero estas pruebas de evaluación comparativa se basan en la introducción de una lista específica de instrucciones y sólo indican realmente el grado de seguridad del modelo en función de ese conjunto de instrucciones de prueba.
Estas pruebas también suelen utilizar conjuntos de datos abiertos para las preguntas y las respuestas. Los LLM sometidos a prueba también pueden haber sido entrenados con estos conjuntos de datos, por lo que los resultados de las pruebas podrían estar sesgados.
El Centro de Investigación sobre Modelos de Fundaciones de la Universidad de Stanford realizó un trabajo pionero con el desarrollo de su Evaluación holística de modelos lingüísticos (HELM). HELM utiliza una amplia gama de métricas y escenarios para probar la seguridad de los LLM de una forma más holística.
AIS se basará en el marco HELM para desarrollar sus parámetros de seguridad para grandes modelos lingüísticos. También está invitando a una mayor participación de la industria.
Según el anuncio de MLCommons, "esperamos que varias empresas externalicen las pruebas de seguridad de IA que han utilizado internamente con fines de propiedad y las compartan abiertamente con la comunidad de MLCommons, lo que contribuirá a acelerar el ritmo de la innovación."
Entre los grandes nombres que integran el Grupo de Trabajo AIS figuran Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm Technologies, así como académicos especializados en IA.
Una vez que la industria de la IA pueda ponerse de acuerdo sobre un punto de referencia de seguridad, realizará esfuerzos como el Cumbre sobre seguridad de la IA más productivo.
Además, los reguladores gubernamentales podrían insistir en que las empresas de IA alcancen una puntuación específica en un parámetro de referencia antes de permitir que sus modelos salgan a la venta.
Las tablas de clasificación también son excelentes herramientas de marketing, por lo que contar con un sistema de puntuación de la seguridad aceptado por el sector tiene más probabilidades de dirigir el presupuesto de ingeniería hacia la seguridad de la IA.
