Los quebraderos de cabeza de la IA generativa

La IA generativa lleva meses acaparando titulares y conversaciones en la comunidad profesional especializada en ciberseguridad. Muchos profesionales están aprovechando las ventajas de esta tecnología para mejorar la redacción de sus correos electrónicos o incluso para escribir artículos en blogs o en redes sociales, pero los responsables de seguridad de las organizaciones en las que trabajan dichos profesionales se muestran cada vez más preocupados por la posibilidad de incorporar la Inteligencia Artificial en sus rutinas de protección de los activos corporativos.

La inquietud que muestran los CISO es normal. La IA generativa causa sentimientos encontrados: por un lado es fácil reconocer su capacidad para mejorar la productividad o incluso para ayudar en sus rutinas a los equipos de tecnología o seguridad que ven como aumentan sus responsabilidades sin que se incrementen los recursos necesarios para darles respuesta. Pero, por otro lado, los riesgos de esta tecnología transformadora son también muchos.

La primera preocupación es muy básica. La mayoría de estas herramientas se albergan online y es necesario enviar datos propios o de clientes para poder aprovecharlas. Si leemos los términos de servicio de la herramienta que hayamos elegido, es probable que haya poca información sobre confidencialidad, seguridad, cumplimiento normativo… y, sin embargo, sí que encontraremos datos sobre el uso de la información que vamos a compartir para entrenar la herramienta, es decir, se almacenará la información corporativa para mejorar los modelos generales.

La IA «alucina»

Si seguimos con la lista de inquietudes, la siguiente sería la validez de las respuestas que nos da este tipo de herramientas. Los modelos de IA tienden a “alucinar”, es decir, a dar por cierta información errónea. Su objetivo es proveer de respuestas que parezcan precisas, no que sean precisas. Un ejemplo de esta situación, sin ir más lejos, lo encontramos en el uso de ChatGPT que hizo un grupo de abogados en un juicio para buscar argumentos y defender a su cliente… con casos que resultaron ser ficticios. También fue muy sonada la denuncia de Getty Images a los desarrolladores de la herramienta Stability AI por haber copiado sin permiso 12 millones de imágenes para entrenar su modelo.

Si, al final, el equipo de tecnología decide incorporar una herramienta de IA generativa como parte de uno de los productos de la organización, lo primero que hay que considerar es el proceso de compras: si los ingenieros empiezan a adquirir productos con sus propias tarjetas de crédito, los desafíos a los que nos enfrentaremos serán muy peligrosos. Si decidimos ir a por un modelo abierto, además, es imprescindible que el equipo de legal de la compañía revise bien los términos del contrato, ya que muchas licencias parecen de código abierto a primera vista pero luego no lo son y restringen muchas de las utilidades disponibles.

También puede ocurrir que decidamos entrenar un modelo propio precisamente a partir de una herramienta de código abierto. Para ello es importante tener en cuenta qué tipo de datos utilizamos y si son apropiados para nuestros objetivos, ya que puede influir en los resultados una vez que la herramienta pase a producción y responder con datos reales de esas pruebas previas, y que podrían ser confidenciales sobre algunos clientes. En otras palabras, es muy sencillo que los datos se filtren entre modelos y puedan causar problemas legales a la organización.

Más directamente relacionado con la ciberseguridad en concreto, las herramientas de IA generativa han creado su propia de superficie de ataque, especialmente con inyecciones indirectas de prompts: si un ciberdelincuente es capaz de llegar a controlar la introducción de texto en un modelo de lenguaje generativo, se puede llegar a confundir al modelo y las reglas que utiliza.

Y, finalmente, hay que estar muy al tanto de la regulación que se está aprobando en todo el mundo y que se modifica muy rápidamente debido también a la velocidad de evolución de este tipo de herramientas. Sin ir más lejos, de momento al menos, es fundamental conocer en profundidad la Ley de IA de la UE, el marco de gestión de riesgos de IA del NIST o el proyecto de la Casa Blanca sobre la declaración de derechos de la IA.

Al menos una cosa está clara: la IA generativa ha llegado para quedarse y tanto los profesionales de nuestra organización como nuestros clientes van a querer saber más sobre el potencial de este tipo de herramientas. Como responsables de los departamentos de seguridad, es esencial que se mantengan los altos niveles de protección ante una adopción responsable de esta tecnología para evitar que el entusiasmo actual se convierta en un arrepentimiento futuro. Solamente adoptar la IA de forma coherente y sosegada ayudará a las empresas de cualquier tamaño y sector a dar un paso adelante y a acelerar el negocio sin riesgos.

Miguel de Castro, ingeniero de ventas en CrowdStrike España.

La entrada Los quebraderos de cabeza de la IA generativa es original de MuyPymes

Muy PYMES
Enlace: Los quebraderos de cabeza de la IA generativa