Permisos y seguridad de datos en la IA empresarial: qué preguntar

Los permisos y la seguridad de datos en la IA empresarial son el conjunto de preguntas sobre a qué datos accede el asistente y por qué vía, qué puede modificar y quién puede ver qué. En la pantalla del directivo una pregunta parece fácil; pero esa pregunta puede abrir el presupuesto, las ventas por cliente o los registros de envíos. Por eso, al elegir un asistente de inteligencia artificial hay que mirar qué funciona detrás antes que lo fluida que es la respuesta. Por muy sencilla que sea la interfaz de chat, debajo hay una capa que se conecta a la base de datos, una cuenta y un modelo de permisos; el riesgo está en esa capa, no en la interfaz.

La lista siguiente reúne las preguntas que puede hacer a cualquier proveedor. En cada apartado indicamos por separado lo que hoy podemos decir y lo que no podemos decir sobre Fero, el asistente de IA empresarial de YazSis.

Dos enfoques: consulta libre y herramientas definidas

• Consulta libre: el modelo escribe y ejecuta directamente en la base de datos una consulta según la pregunta. Es flexible, pero resulta más difícil controlar qué consulta se ejecuta, qué tablas se unen y detectar una cifra equivocada. Una tabla mal unida puede producir un resultado aparentemente razonable pero erróneo.
• Herramientas de negocio definidas: el modelo solo llama a herramientas previamente definidas; qué hace cada herramienta, qué lee y cómo calcula está claro. Es menos flexible, pero auditable. El alcance de las preguntas que se pueden hacer queda limitado al alcance de las herramientas; esto debe leerse no como una carencia, sino como el precio que se paga por el control.

Fero utiliza el segundo enfoque. La inteligencia artificial no escribe SQL; solo se accede a los datos con herramientas de negocio definidas y no se ejecutan consultas libres. Las preguntas siguientes buscan los equivalentes concretos de este enfoque.

Siete preguntas para el proveedor

Acceso: ¿por qué vía se llega a los datos y puede modificarlos?

Las dos primeras preguntas están relacionadas. En Fero solo se accede a los datos mediante 17 herramientas de negocio definidas, de solo lectura, y la aplicación se conecta a la base de datos con una cuenta que solo tiene permiso de lectura. Por tanto, el asistente no puede modificar los datos. No se conforme con que el proveedor se lo cuente: revise, junto con su propio equipo de TI, los permisos de la cuenta de base de datos usada en la conexión. Que la cuenta solo tenga permiso de lectura significa no que el sistema “intente modificar y fracase”, sino que la vía para modificar no existe desde el principio; en términos de seguridad, la diferencia es grande.

Exactitud: ¿quién produce las cifras y la pantalla?

La tercera y la cuarta pregunta tratan de la fiabilidad del número que ve el directivo. En Fero, los KPI, los porcentajes y las diferencias se calculan en el back-end; el modelo no puede decir un número que no esté en el resultado de la herramienta. Las pantallas se construyen únicamente con 13 componentes de dashboard aprobados y la inteligencia artificial no genera código. Pida al proveedor que pueda mostrar de qué herramienta y de qué cálculo procede una cifra. Si no se puede explicar la procedencia de un número que se usará en una reunión de dirección, por convincente que sea la respuesta no basta para decidir.

Alcance: ¿quién verá qué y adónde van los datos?

Para las preguntas quinta y sexta no damos en este artículo una seguridad general, porque las respuestas dependen del proyecto. Qué datos llegarán a cada usuario según su usuario y rol debe preguntarse con ejemplos concretos en la demo y en la reunión del proyecto. Qué información va al modelo de lenguaje que utiliza el asistente, dónde se procesa y si se almacena o no, es igualmente algo que conviene aclarar por escrito. No afirmamos de forma absoluta que los datos no salgan nunca de la empresa; haga esta pregunta por escrito a todos los proveedores, incluidos nosotros. También es posible una prueba práctica sobre los permisos: suponga que un alto directivo y el responsable de un departamento hacen la misma pregunta, y pida ver en pantalla, no de palabra, qué datos llegarían a cada uno. Si la respuesta no es clara, proponga añadir el modelo de permisos al plan del proyecto como una partida aparte.

Fuente: ¿qué fuentes de datos están realmente listas?

La séptima pregunta separa la lista de conexiones de la presentación de la situación de hoy. La fuente de datos que está lista hoy en Fero es MySQL; fuentes como SQL Server, PostgreSQL, REST API, Logo, SAP, Odoo y Excel se abordan dentro del alcance del proyecto. Cada nueva fuente trae también su propia cuenta de acceso y su propia revisión de permisos; incluya esto en el plan del proyecto desde el principio. La diferencia entre “listo” y “dentro del alcance del proyecto” afecta tanto al calendario como al presupuesto; obtener esta distinción por escrito del proveedor revela la situación real de la lista de conexiones de la presentación.

Tres escenarios para probar en la demo

• Petición de modificación: pida al asistente que elimine o actualice un registro. En un sistema que funciona en solo lectura esto no debería ser posible; fíjese también en cómo se da la respuesta.
• Pregunta fuera de alcance: haga una pregunta que las herramientas definidas no cubran y vea cómo se comporta el sistema. Un buen sistema dice claramente cuál es su límite en lugar de inventar una cifra.
• Control de cifras: pida una cifra que usted conozca y compárela con su propio informe. Si sale distinta, pida que se pueda explicar a qué herramienta y a qué cálculo se debe.

Una característica de seguridad no es la que se cuenta en la presentación, sino la que se puede probar en la demo.

Puede examinar cómo funciona Fero y qué puede hacer hoy en la página de IA empresarial y plantear sus preguntas en una demo en vivo.