Права доступа и безопасность данных в корпоративном ИИ: какие вопросы задать

Права доступа и безопасность данных в корпоративном ИИ — это совокупность вопросов о том, к каким данным и каким путём обращается ассистент, что он может изменить и кто что может видеть. На экране руководителя вопрос выглядит просто; но он может открыть бюджет, продажи в разрезе клиентов или записи об отгрузках. Поэтому при выборе ИИ-ассистента нужно смотреть не на то, насколько беглым получается ответ, а на то, что работает за кулисами. Каким бы простым ни был чат-интерфейс, под ним есть слой, подключающийся к базе данных, учётная запись и модель прав; риск именно в этом слое, а не в интерфейсе.

В списке ниже собраны вопросы, которые можно задать любому поставщику. В каждом разделе мы отдельно пишем, что можем сказать сегодня об ассистенте YazSis Корпоративный ИИ — Fero, а чего сказать не можем.

Два подхода: произвольный запрос и заданные инструменты

• Произвольный запрос: Модель по вопросу сама пишет запрос к базе данных и выполняет его. Это гибко; но проверить, какой запрос выполнился и какие таблицы соединены, и поймать неверную цифру становится трудно. Неверно соединённая таблица может дать внешне правдоподобный, но неправильный результат.
• Заданные деловые инструменты: Модель вызывает только заранее определённые инструменты; для каждого известно, что он делает, что читает и как считает. Это менее гибко, но поддаётся проверке. Круг вопросов, на которые можно ответить, ограничен кругом инструментов; это нужно воспринимать не как недостаток, а как цену, которую платят за контроль.

Fero использует второй подход. ИИ не пишет SQL; доступ к данным идёт только через заданные деловые инструменты, работающие в режиме только чтения, и произвольные запросы не выполняются. Вопросы ниже ищут конкретное воплощение этого подхода.

Семь вопросов поставщику

Доступ: каким путём идёт обращение к данным, может ли он изменить данные?

Первые два вопроса связаны. В Fero доступ к данным идёт только через заданные 17 деловых инструментов, работающих в режиме только чтения, а приложение подключается к базе данных учётной записью с правом только на чтение. Следовательно, ассистент не может изменить данные. Не ограничивайтесь рассказом поставщика об этой границе: вместе с собственной ИТ-командой проверьте права учётной записи базы данных, используемой для подключения. Если у учётной записи есть только право на чтение, это означает не то, что система «пытается изменить и терпит неудачу», а то, что пути для изменения нет с самого начала; с точки зрения безопасности разница велика.

Точность: кто создаёт цифры и экран?

Третий и четвёртый вопросы касаются надёжности числа, которое видит руководитель. В Fero KPI, проценты и разницы рассчитываются на стороне сервера; модель не может назвать число, которого нет в результате инструмента. Экраны тоже собираются только из 13 утверждённых компонентов дашборда, а ИИ не генерирует код. Попросите поставщика показать, из какого инструмента и из какого расчёта пришла цифра. Если источник числа, которое будет использовано на совещании руководства, объяснить нельзя, то, насколько бы убедительным ни был ответ, для решения его недостаточно.

Охват: кто что увидит, куда уходят данные?

По пятому и шестому вопросам мы не даём в этой статье общих заверений, потому что ответы зависят от проекта. Какие данные кому окажутся на экране по пользователям и ролям, нужно спрашивать на демонстрации и на встрече по проекту с конкретными примерами. Так же письменно нужно прояснить, какие сведения попадают в языковую модель, которой пользуется ассистент, где они обрабатываются и сохраняются ли. Мы не делаем абсолютных заявлений вроде «данные вообще не покидают компанию»; задайте этот вопрос письменно каждому поставщику, включая нас. Возможна и практическая проверка прав: представьте, что старший руководитель и ответственный за подразделение задают один и тот же вопрос, и попросите показать не словами, а на экране, какие данные придут к каждому из них. Если ответ неясен, предложите добавить модель прав в план проекта отдельной позицией.

Источник: какие источники данных действительно готовы?

Седьмой вопрос отделяет список подключений в презентации от сегодняшнего положения дел. Готовый сегодня источник данных Fero — MySQL; такие источники, как SQL Server, PostgreSQL, REST API, Logo, SAP, Odoo и Excel, рассматриваются в рамках проекта. Каждый новый источник приносит собственную учётную запись доступа и собственную проверку прав; заложите это в план проекта с самого начала. Различие между «готово» и «в рамках проекта» касается и сроков, и бюджета; получить это разделение у поставщика письменно значит выяснить реальное положение дел со списком подключений в презентации.

Три сценария для проверки на демо

• Запрос на изменение: Попросите ассистента удалить или обновить запись. В системе, работающей только на чтение, это должно быть невозможно; обратите внимание и на то, как будет дан ответ.
• Вопрос вне охвата: Задайте вопрос, который не охватывают заданные инструменты, и посмотрите, как поведёт себя система. Хорошая система вместо выдуманной цифры прямо говорит о своих границах.
• Проверка цифры: Спросите цифру, которую вы знаете, и сравните со своим отчётом. Если результат отличается, потребуйте объяснить, из какого инструмента и из какого расчёта возникла разница.

Функция безопасности — это не та, о которой рассказывают на презентации, а та, которую можно проверить на демо.

Как работает Fero и что он умеет сегодня, можно изучить на странице Корпоративный ИИ, а свои вопросы задать на живой демонстрации.