¿Qué es la seguridad de la Inteligencia artificial?
Los sistemas de inteligencia artificial basados en aprendizaje automático están aumentando rápidamente de tamaño, están adquiriendo nuevas capacidades y se implementan cada vez más en entornos de alto riesgo. Si bien estos sistemas pueden ser muy beneficiosos en diferentes campos y actividades, también presentan riesgos de los que ya existe evidencia, como la posibilidad de multiplicar sesgos e incrementar la discriminación, la polarización de opiniones, la invasión a la privacidad y hasta la vigilancia masiva en algunos países. Algunos de estos riesgos ya se están materializando en daños a las personas y la sociedad.
Al igual que con otras tecnologías que desencadenan energías muy poderosas, la seguridad de los sistemas de IA, y en particular de aprendizaje automático, debería ser una prioridad de investigación. En la medida en que esos sistemas son sistemas sociotécnicos complejos, los propios sistemas y sus operadores deben ser capaces de comprender los riesgos y resistirlos (los sistemas deben ser suficientemente robustos), identificarlos (se requieren instancias técnicas y humanas de monitoreo), reducir aquellos incidentes inherentes a las tecnologías de aprendizaje automático u otras similares (es preciso garantizar la alineación) y reducir los incidentes sistémicos (propiciar la seguridad sistémica).
Si tenemos presentes las escalas de los sistemas de IA, cada escala conlleva riesgos específicos. Los riesgos de la escala micro suelen ser los típicos de todos los sistemas y escalas de IA, como los sesgos, la explicabilidad y la robustez. Las escalas meso y macro suman a estos, otros riesgos, como la producciones de “alucinaciones” y la ausencia de métodos sólidos para garantizar la alineación entre los resultados de los sistemas de IA y los del usuario.
En un encuentro de expertos acerca del futuro de la IA realizado en octubre de 2022,[1] los especialistas coincidieron en que los avances futuros en IA de escala macro podrían generar riesgos críticos, incluidos posibles riesgos existenciales. Destacaron asimismo que tanto los sistemas de IA estrecha como los sistemas de IA cada vez más general podrían plantear riesgos críticos, y potencialmente también existenciales. Además, dado que muchos de estos riesgos son continuos y aumentan con la creciente capacidad y despliegue de los sistemas de IA, es fundamental abordarlos antes de que aumenten. Entre los mencionados riesgos están el armamento cibernético, la manipulación masiva del comportamiento, el desplazamiento de puestos de trabajo por sistemas de IA cada vez más capaces, la implementación anticipada de IA para infraestructuras críticas, el uso de la IA por parte de gobiernos y/o corporaciones para mejorar el poder o la rentabilidad y podría plantear serios desafíos sociales si los sistemas de IA utilizados resultan poco confiables de manera imprevista o si existen incentivos para utilizar sistemas que no están asegurados de manera adecuada. Los especialistas señalaron también en que podría generarse una dependencia excesiva a los sistemas de IA a pesar de posibles fallas, en particular dado un sesgo humano bien conocido, consistente en confiar en las recomendaciones de los sistemas de IA, incluso en la toma de decisiones críticas. Lo complejo en este caso es que otros tipos de sistemas de IA más limitados pueden ayudar a mejorar la capacidad humana para operar o interpretar sistemas de IA y desalentar la dependencia excesiva, por ejemplo, utilizando sistemas de IA diseñados específicamente para ayudar a los operadores humanos a interpretar o criticar ciertas respuestas proporcionadas por otros sistemas de IA.
En líneas generales, los expertos advirtieron que los resultados de los sistemas de IA pueden estar disminuyendo la calidad de los datos en línea. Por ejemplo, las grandes cantidades de traducción generada por IA en Internet podrían causar graves caídas en la calidad de los datos utilizados para entrenar futuros sistemas de traducción e interpretación de IA.[2]
En síntesis: para desarrollar sistemas de IA confiables y seguros es necesario evaluar los impactos, investigar incidentes y accidentes y gestionar los riesgos de la IA, incluso en el contexto de la IA generativa.
En los últimos años, ha habido una convergencia global hacia el uso, que puede ser voluntario u obligatorio, de enfoques basados en riesgos y evaluaciones de impacto para ayudar a gobernar la IA. Y ha crecido notablemente la demanda en los sectores público y privado de herramientas y procesos que ayuden a documentar las decisiones del sistema de IA y que faciliten la rendición de cuentas a lo largo del ciclo de vida del sistema de IA, desde la planificación y el diseño hasta la recopilación y el procesamiento de datos, la construcción y validación de modelos, el despliegue, la operación y el monitoreo.
Es importante para esto que los marcos y estándares emergentes hoy sean interoperables, idealmente desde antes de su implementación obligatoria o voluntaria como criterio de evaluación y gestión de riesgos de IA. La proliferación de diferentes marcos y estándares no interoperables podría hacer que la implementación de una IA confiable sea más compleja y costosa en la práctica y, por lo tanto, menos efectiva, menos segura y menos ejecutable.
Esto requiere cooperación y coordinación entre actores estatales y no estatales, nacionales e internacionales, que desarrollen estándares y marcos relativos a la gestión de sistemas de IA, la gestión de riesgos de IA, el diseño de IA, las evaluaciones de impacto, conformidad y riesgos de la IA y la investigación de incidentes y accidentes de IA.
Con todo, el marco de riesgos debe complementarse con investigación sólida acerca de los sistemas y su seguridad (safety). El desarrollo acelerado del sector de las IA, de la legislación relacionada con ellas, y la consiguiente necesidad de formular políticas públicas actualizadas y eficaces, requiere conceptualizaciones claras (¿qué es un incidente de IA? ¿Qué es un accidente de IA?), evidencia acerca de los peligros, previsión y cooperación internacional.
Una herramienta central para esto es la investigación sistémica de incidentes y accidentes, un enfoque que deberá desarrollarse con celeridad para estar a la altura de estas tecnologías con las que estamos conviviendo y coevolucionando.
Hendrycks, Dan & Mazeika, Mantas & Woodside, Thomas. (2023). An Overview of Catastrophic AI Risks.
Newman, Jessica (2023). A Taxonomy of Trustworthiness for Artificial Intelligence. Connecting properties of trustworthiness with risk management and the AI lifecycle. UC Berkeley, Center for Long-Term Cybersecurity. En internet: https://cltc.berkeley.edu/wp-content/uploads/2023/01/Taxonomy_of_AI_Trustworthiness.pdf
NIST (2023). Marco de Gestión del Riesgo de IA (Artificial Intelligence Risk Management Framework, AI RMF 1.0) , enero 2023, US Departamento de Comercio. En internet: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
OCDE (2022). Marco OCDE para la clasificación de sistemas de IA (OECD Framework for the Classification of AI systems), OECD Digital Economy Papers, No. 323, OECD Publishing, Paris, https://doi.org/10.1787/cb6d9eca-en.
OCDE (2023). «Avanzando en la responsabilidad en la IA: Gobernando y gestionando riesgos a lo largo del ciclo de vida para una IA confiable», OECD Digital Economy Papers , n.° 349, OECD Publishing, París. https://doi.org/10.1787/2448f04b-en .
OCDE (2019, 2023). Principios de IA de la OCDE. En Internet: https://oecd.ai/en/ai-principles
Ruess, Harald & Burton, Simon. (2022). Safe AI — How is this Possible?
SITIOS Y DOCUMENTOS PARA SEGUIR PROFUNDIZANDO
BIBLIOGRAFÍA
[1] Ver el Resumen del debate de expertos de la OCDE sobre riesgos futuros de la IA, octubre de 2022. En Internet: https://wp.oecd.ai/app/uploads/2023/03/OECD-Foresight-workshop-notes-1.pdf
[2] Ver el Resumen del debate de expertos de la OCDE sobre riesgos futuros de la IA, octubre de 2022. En Internet: https://wp.oecd.ai/app/uploads/2023/03/OECD-Foresight-workshop-notes-1.pdf
