Как поймать ИИ с поличным?

Обучаемые алгоритмы часто взаимодействуют друг с другом и с людьми. Это автономные дроны в небе, автомобили и доставщики еды на дорогах, роботы в госпиталях и др. Что знает их ИИ? Это стало животрепещущей проблемой компаний и людей, заботящихся о сохранности своих данных. Такие вопросы и опасения вызваны резким увеличением в мире числа устройств с ИИ.

В последние несколько месяцев в Интернете наблюдается взрывной рост интереса к обучаемым алгоритмам, способным рисовать картинки по описаниям или создавать тексты по заданным темам. Необходимость проверять и контролировать их работу стала насущной. Особенно это касается поддержания приватности и целостности источников данных для таких программных пакетов.

Однозначно ответить на вынесенный в заголовок вопрос взялись исследователи университета Суррея, возглавляемые доктором Солофомампионона Фортунат Раджаона (Solofomampionona Fortunat Rajaona) из лаборатории формальной верификации приватности. Они разработали программу, которая определяет, какой конкретно информацией владеют алгоритмы искусственного интеллекта и какие данные они извлекают из баз данных.

Новое программное обеспечение можно применять как протокол безопасности компании, работающий онлайн. Он поможет понять, не получил ли ИИ избыточные для него сведения и не приобрел ли он доступ к чувствительным для компании данным. Софт также определяет, не обладает ли ИИ возможностью использовать «дыры» в программном обеспечении и не реализовал ли он уже такую возможность. К примеру, в контексте онлайн-игр и ставок на тотализаторе пакет программ выполняет работу службы безопасности казино и выясняет, не научился ли ИИ постоянно выигрывать за счет программных ошибок кода. Пакет программ даже узнает, способен ли ИИ к успешной кооперации с софтом фирмы и нет ли у него знаний и способностей для преодоления границ безопасности в будущем.

Доктор Раджаона отмечает, что на создание работающего пакета программ ему потребовались годы усилий. Он уверен, что теперь пользователи смогут сами решать, какой ИИ безопасен для них. Пакет программ выиграл соревнование на лучшее исследование на 25 международном симпозиуме по формальным методам.