Alerta de seguridad: NIST subraya desafíos de privacidad y seguridad en la era del AI

El Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) ha emitido una advertencia sobre los crecientes desafíos de privacidad y seguridad asociados con la implementación acelerada de sistemas de inteligencia artificial (AI) en años recientes. Estos desafíos incluyen manipulaciones adversarias de datos de entrenamiento, explotación de vulnerabilidades del modelo para afectar negativamente el rendimiento del sistema de AI, y manipulaciones maliciosas o interacciones con modelos para exfiltrar información sensible.

Con la integración rápida de sistemas de AI en servicios en línea, potenciada por la aparición de sistemas generativos de AI como OpenAI ChatGPT y Google Bard, los modelos que alimentan estas tecnologías enfrentan numerosas amenazas. Estas van desde datos de entrenamiento corruptos hasta fallas de seguridad en componentes de software, envenenamiento de modelos de datos, debilidades en la cadena de suministro y brechas de privacidad resultantes de ataques de inyección de prompts.

Apostol Vassilev, científico informático de NIST, señala que aunque el uso extensivo puede mejorar los productos de software, no hay garantía de que la exposición sea beneficiosa. Los chatbots pueden emitir información incorrecta o tóxica cuando se les incita con un lenguaje cuidadosamente diseñado. Los ataques, que pueden tener impactos significativos en la disponibilidad, integridad y privacidad, se clasifican ampliamente en:

1. Ataques de evasión: Buscan generar una salida adversarial después de que se despliegue un modelo.
2. Ataques de envenenamiento: Apuntan a la fase de entrenamiento del algoritmo introduciendo datos corruptos.
3. Ataques de privacidad: Buscan obtener información sensible sobre el sistema o los datos en los que fue entrenado planteando preguntas que eluden las salvaguardias existentes.
4. Ataques de abuso: Buscan comprometer fuentes legítimas de información para reutilizar el uso previsto del sistema.

Según el NIST, estos ataques pueden ser llevados a cabo por actores de amenazas con conocimiento completo (caja blanca), conocimiento mínimo (caja negra) o un entendimiento parcial de algunos aspectos del sistema de AI (caja gris).

El organismo también señala la falta de medidas de mitigación robustas para contrarrestar estos riesgos, instando a la comunidad tecnológica a “idear mejores defensas”. Esto llega tras la publicación de directrices para el desarrollo de sistemas de AI seguros por parte del Reino Unido, EE.UU. y socios internacionales de otros 16 países.

“A pesar del progreso significativo que han hecho la AI y el aprendizaje automático, estas tecnologías son vulnerables a ataques que pueden causar fallos espectaculares con consecuencias graves”, advierte Vassilev. “Existen problemas teóricos con la seguridad de los algoritmos de AI que simplemente no se han resuelto aún. Si alguien dice lo contrario, está vendiendo aceite de serpiente.” El llamado a la acción del NIST resalta una preocupación crítica en el campo de la inteligencia artificial, instando a una colaboración y vigilancia constante para proteger la integridad y la privacidad en esta era digital avanzada.