A medida que los sistemas algorítmicos y de aprendizaje automático empiezan a proliferar en los sectores gubernamental y público, ¿podríamos estar dirigiéndonos hacia una forma de gobernanza por algoritmos, o una "algocracia"?
La algogracia -una forma de gobernanza basada en algoritmos relacionada con la tecnocracia y la cibercracia- aplica sistemáticamente la IA, la blockchain y los algoritmos a diversos aspectos del Derecho y la sociedad.
El propio término "algocracia" surgió en el discurso académico alrededor de 2013, pero los ejemplos de gobernanza algorítmica se remontan a los años 60 y 70.
Aunque el procesamiento algorítmico y el aprendizaje automático o la IA no son lo mismo, representan un continuo de tecnologías.
Los temas centrales de la gobernanza algorítmica (ceder el control humano a sistemas informatizados de toma de decisiones) han pasado de las simulaciones matemáticas más sencillas a los actuales modelos avanzados de autoaprendizaje.
¿Es algo de lo que debemos alegrarnos o desconfiar?
Orígenes de la algocracia
La gobernanza algorítmica nació en una época de rápida digitalización: los años sesenta.
He aquí una breve cronología de cómo la toma de decisiones integrada en algoritmos e IA ha protagonizado proyectos públicos y gubernamentales:
- 1962: Alexander Kharkevich propone una red informática para la gobernanza algorítmica en Moscú.
- 1971-1973: El Proyecto Cybersyn en Chile intenta gestionar la economía nacional.
- 1970s: Desarrollo de los primeros sistemas de razonamiento jurídico e interpretación de la legislación fiscal, como el proyecto LEGOL del Reino Unido y el proyecto TAXMAN de Estados Unidos.
- 1993: Publicación de "Hacia un nuevo socialismo", en el que se analizan las posibilidades de una economía planificada democráticamente y basada en la moderna tecnología informática.
- 2000s: Comienzan a utilizarse algoritmos para el análisis de vídeos de vigilancia.
- 2006: A. Aneesh introduce el concepto de algocracia y analiza el impacto de las tecnologías de la información en la toma de decisiones públicas.
- 2013: Tim O'Reilly acuñó el término "regulación algorítmica", abogando por el uso de big data y algoritmos en la administración pública.
- 2017: El Ministerio de Justicia de Ucrania realiza subastas públicas experimentales utilizando blockchain.
- Hoy: Hay numerosos ejemplos de sistemas de aprendizaje automático desplegados en los sectores público y gubernamental, algunos de los cuales han demostrado tomar decisiones de alto nivel que cambian la vida con una supervisión humana mínima.
Uno de los proyectos más fascinantes es Cybersynen Chile, que se desarrolló entre 1971 y 1973. A pesar de su corta vida, el proyecto sigue siendo un ejemplo de cómo los sistemas informáticos pueden modelar con éxito la sociedad y las personas.
Su mecánica es fascinante, prefigurada por la caída de Salvador Allende, apoyada por la CIA, y la progresión de Chile hacia la devastadora era de Pinochet.
En el núcleo del Proyecto Cybersyn había cuatro componentes principales:
- Simulador económico: Este módulo fue diseñado para modelar la economía chilena, permitiendo a los funcionarios simular los resultados de diversas decisiones económicas.
- Software para el rendimiento en fábrica: Se desarrolló un software a medida para supervisar y evaluar el rendimiento de la fábrica, centrándose en indicadores clave como los niveles de producción y el suministro de materias primas.
- Sala de operaciones (Opsroom): Era el centro físico de Cybersyn, donde se recopilaban, procesaban y mostraban los datos económicos. La sala de operaciones permitía a los responsables asimilar rápidamente información compleja y tomar decisiones con conocimiento de causa.
- Red nacional de télex: Se conectaban a un ordenador central y formaban una red de comunicación (denominada "Cybernet") entre las empresas estatales. Esta red facilitaba la transmisión en tiempo real de datos económicos al gobierno central.
El Proyecto Cybersyn demostró su potencial durante una huelga nacional de camioneros en 1972, en la que el gobierno pudo contar con datos en tiempo real para mitigar el impacto de la huelga. La red de télex fue crucial para mantener la comunicación y coordinar la distribución de recursos en medio de la crisis.
Sin embargo, el proyecto terminó abruptamente tras el golpe militar del 11 de septiembre de 1973. La Opsroom y el sistema más amplio fueron desmantelados, y Cybersyn quedó como una visión inacabada de un sistema de gestión económica tecnológicamente avanzado y potencialmente socialmente responsable. La política de Cybersyn es muy debatida, siendo un ejemplo de innovación bajo el socialismo, por lo que ha sido venerada.
Existen otros ejemplos tempranos de algocracia, como los proyectos LEGOL y TAXMAN de los años setenta, que sentaron las bases para la automatización de los procesos basados en reglas en las agencias tributarias. Las décadas siguientes fueron testigos de la evolución de estas tecnologías, y las aplicaciones de vigilancia cobraron protagonismo en la década de 2000.
En 2006, A. Aneesh, en su libro "Migración virtualEl informe de la Comisión Europea "La democracia en la sociedad de la información" introduce el concepto de algocracia, explorando cómo las tecnologías de la información pueden limitar la participación humana en la toma de decisiones públicas, distinguiéndola de los sistemas burocráticos y de mercado.
En 2013, Tim O'Reilly, fundador y consejero delegado de O'Reilly Media Inc. acuñó el término "regulación algorítmica", articulando una visión de la gobernanza que aprovecha el poder de los macrodatos y los algoritmos para lograr resultados jurídicos específicos, abogando por un cambio de paradigma hacia una gobernanza más eficiente y responsable.
Más recientemente, en 2017, el Ministerio de Justicia de Ucrania realizó experimentos subastas públicas basadas en blockchain (licitación del sector público), mostrando el potencial de estas tecnologías para aumentar la transparencia y combatir la corrupción en las transacciones gubernamentales.
Y eso nos lleva hasta la floreciente era de la IA generativa y los actuales modelos avanzados de frontera.
Experimentación del sector público con IA y algoritmos
El sector público y los organismos gubernamentales han experimentado considerablemente con la toma de decisiones algorítmica, la IA y el aprendizaje automático en los últimos años.
Un estudio exhaustivo realizado por la Universidad de Stanford reveló la importante adopción de herramientas de IA y ML en el sector federal estadounidense, con 45% de agencias experimentando con estas tecnologías para 2020.
Tecnologías Palantir es un importante proveedor comercial en este espacio, que contribuye a las aplicaciones residuales.
En cuanto a organismos concretos, la Oficina de Programas de Justicia encabeza la lista con 12 casos de uso, seguida de la Comisión de Valores y Bolsa con 10 y la NASA con nueve. Otros organismos destacados son la FDA, USGS, USPS, SSA, USPTO, BLS y US Customs and Border Protection.
Existen pruebas generalizadas de sesgo entre algunos de estos sistemas. Se ha descubierto que los algoritmos de asistencia sanitaria en EE.UU. son menos propensos a derivar a pacientes negros de atención adicional, y herramientas policiales predictivas como COMPAS han sido acusados de prejuicios raciales a la hora de predecir el riesgo de reincidencia y de dictar sentencia.
Un reciente Investigación de The Guardian en el sector público británico descubrió que los algoritmos utilizados en ámbitos como la asistencia social, la inmigración y la justicia penal se han visto implicados en casos de uso indebido y discriminación.
En particular, el Departamento de Trabajo y Pensiones (DWP) se enfrentó a críticas por un algoritmo que supuestamente dio lugar a suspensiones erróneas de prestaciones, y la herramienta de reconocimiento facial de la Policía Metropolitana mostró mayores tasas de error en los rostros negros.
Justicia por IA y algoritmo
Otra rama de la algocracia es la justicia y la aplicación de la ley algorítmicas o influidas por la IA.
Además del sistema COMPAS estadounidense, en Australia, el "Software "Split Up ayuda a los jueces a determinar la división de bienes durante los procesos de divorcio, y China ha sido pionera en la creación de tribunales por Internet, con un juez virtual de IA que asiste en las tareas básicas del litigio.
La experiencia del Gobierno neerlandés con el Indicación de riesgo del sistema (SyRI) diseñado para detectar el fraude en la asistencia social, se enfrentó a desafíos legales por sus posibles efectos discriminatorios y su falta de transparencia, lo que llevó a una sentencia judicial histórica contra su uso.
La adopción en Brasil de la tecnología de reconocimiento facial en São Paulo a través de la Proyecto Smart Sampa y otras formas de policía predictiva, incluidos varios programas en Estados Unidos, indica el potencial de la tecnología para influir en la gobernanza de las libertades fundamentales de las personas.
El software Gotham de Palantir ha sido utilizado por el Departamento de Policía de Nueva Orleans desde 2012 para la policía predictiva, y las iteraciones más recientes han sido declarados un fracasoLa delincuencia organizada, que inflige prejuicios a las comunidades marginadas y malgasta los recursos policiales.
Además, los robots jurídicos están asumiendo cada vez más tareas que tradicionalmente realizaban los asistentes jurídicos, con tecnologías como ROSS Intelligence, que ayuda a los bufetes de abogados estadounidenses en la investigación jurídica.
Recientemente se han publicado informes sobre abogados que utilizan IA generativa, como ChatGPT, para ayudarles en la investigación de casos, entre ellos una incidente de gran repercusión en el que un abogado presentaba demandas judiciales con casos fabricados por la IA.
Los políticos de la IA se presentan a las elecciones
La sustitución completa de los políticos por la IA ha sido objeto de muchas especulaciones, incluso en un podcast reciente de Joe Rogan y el CEO de OpenAI, Sam Altman.
Joe Rogan saca el tema a colación, afirmando que la IA podría resultar más objetivamente capaz de beneficiar a las necesidades específicas de las personas, al margen de influencias financieras y políticas.
Altman está de acuerdo en que la toma de decisiones gubernamental convencional suele basarse en motivos corruptos, pero no se siente cómodo confiando en exceso a la IA decisiones importantes para la sociedad.
En 2018, Michihito Matsuda se presentó como candidato a la alcaldía de la zona de Tama de Tokio como sustituto humano de un programa de IAen el que se mostraba un enfoque novedoso de la candidatura política. A pesar de no ganar, esta iniciativa puso de relieve el potencial de la IA en la política.
César Hidalgo introdujo el concepto de democracia aumentada en 2018, proponiendo legislación a través de gemelos digitales de individuos. Hidalgo dijo"La democracia puede actualizarse o mejorarse utilizando la tecnología y las nuevas ideas, estoy absolutamente convencido".
En 2022, "Líder Lars," un chatbot, fue nominado para presentarse a las elecciones parlamentarias danesas en representación del Partido Sintético.
A diferencia de sus predecesores, Leader Lars dirigía un partido político y participaba en debates políticos críticos sin pretender ser objetivo, lo que añadía una nueva dimensión al concepto de políticos virtuales.
Ventajas y críticas de la algocracia
Las ventajas de Algocracy suelen englobarse bajo el paraguas de la "eficiencia". Utilizar IA y algoritmos para tomar decisiones complejas es más rápido que depender de humanos.
Esto es especialmente beneficioso en ámbitos complejos del sector público, ya de por sí sobrecargados por los retrasos.
Así pues, la tentación de experimentar con la toma de decisiones mediante IA es inmensa, de ahí que haya tantos ejemplos notables en el sector público en departamentos con problemas de recursos como Derecho, Justicia, Economía y Bienestar Social.
Ganarse la confianza en estas herramientas es difícil, ya que los gobiernos no quieren que sus modelos patentados salgan a la luz, pues esto podría dejar datos sensibles expuestos a amenazas. Por ello, muchos de estos proyectos se mantienen en secreto, lo que contribuye a aumentar sus riesgos.
El historiador y autor de bestsellers como "Sapiens" y "Homo Deus", Yuval Noah Harari, ha señalado que el actual conflicto entre regímenes democráticos y autoritarios podría verse como una batalla entre dos sistemas de procesamiento de datos, con la IA y los algoritmos inclinando potencialmente la balanza hacia la centralización y el control.
Harari destaca que la capacidad de la IA para manipular el lenguaje y generar contenidos persuasivos podría comprometer la democracia. Lo que preocupa no es solo que la IA produzca información sesgada o falsa, sino su capacidad para imitar la conversación humana e influir en la opinión pública sin ser detectada.
Harari describe además cómo la IA podría crear cámaras de eco, que los regímenes autoritarios podrían aprovechar más eficazmente que las democracias. Los gobiernos autoritarios, con su control centralizado de los datos y su menor preocupación por la privacidad o las restricciones éticas, podrían desplegar la IA de forma más agresiva para vigilar y manipular la opinión pública.
Existen métodos para remediarlo. Por ejemplo, la startup de IA Anthropic ha dedicado considerables investigaciones a "IA constitucionaly, más concretamente, "IA constitucional colectivaque alimenta un modelo de inteligencia artificial con las opiniones de la gente para "crowdsourcear" sus valores a partir de la población general.
Estas técnicas podrían informar democráticamente la gobernanza de la IA, garantizando que los modelos se guíen por las opiniones del público y no únicamente por las de sus creadores.
Opinión pública sobre la algocracia
Desde un punto de vista crítico, ¿qué piensa la mayoría de la gente sobre estas aplicaciones de la IA?
Esas voces son las más indicativas de lo que la sociedad siente realmente al ser gobernada total o parcialmente por sistemas algorítmicos o de IA. Y no olvidemos que el público financia estos proyectos a través de los impuestos.
Una encuesta realizada en 2019 por Centro para la Gobernanza del Cambio de IE University en España reveló distintos niveles de apoyo público en los países europeos a permitir que la IA tome decisiones nacionales importantes. Los Países Bajos mostraron la mayor aprobación, con 43%, mientras que Portugal registró la más baja, con 19%.
Los investigadores han descubierto que la desilusión con los líderes políticos o los proveedores de seguridad puede aumentar la inclinación del público hacia agentes artificiales, percibidos como más fiables.
Con el tiempo, los modelos de IA podrán actuar como calibradores de la acción gubernamental socialmente responsable, tomando las opiniones del público e impregnándolas en modelos de IA para anular algunas de las manifestaciones menos fiables de la democracia tradicional.
Si se ejecutan correctamente, estas técnicas podrían incluso hacer que los gobiernos rindieran cuentas de forma transparente ante los deseos democráticos del pueblo.
Sin embargo, hasta la fecha, la mayoría de los ejemplos de algocracia ilustran la toma de decisiones estatal, y no democrática.
