ИИ в критической инфраструктуре: помощник или угроза?
Изображение: ru.freepik.com
Задайте в поисковике запрос «искусственный интеллект это» и посмотрите выдачу. Вы удивитесь разбросу определений. Это «наука и технология создания интеллектуальных машин», и «раздел информатики, который занимается решением когнитивных задач, обычно отведенных человеку», и «способность машины или компьютерной системы выполнять задачи, для которых обычно требуется человеческий интеллект», и «комплекс программ, разработанных с целью воспроизведения навыков, присущих человеку», и чат-бот, включая ChatGPT…
Человечество пока не составило четкого представления о том, что является искусственным интеллектом. Но решения с таким названием уже начинают применяться в информационных системах – в том числе, и в критической информационной инфраструктуре. Отсутствие внятного понимания и четкого представления о развитии инструментов искусственного интеллекта (ИИ) чревато серьезными рисками, вплоть до фатальных.
Как человек, только лучше. Идеальный сценарий
Сегодня под маской ИИ выступают в основном экспертные системы. Они помогают человеку обработать и проанализировать огромные массивы информации, моментально выдают возможные варианты реагирования на ситуацию. Но окончательное решение человек принимает сам. Например, сотрудники диспетчерских центров, которые в круглосуточном режиме мониторят передачу и распределение электроэнергии, принимают решения на основе не только данных от экспертных систем, но также формальных регламентов и, что важно, своего неформализованного профессионального и жизненного опыта.
Ошибается ли человек? Безусловно. Яркая тому иллюстрация – сценарий развития событий на Чернобыльской АЭС. Кроме того, скорость реакции человека неизмеримо ниже скорости срабатывания автоматизированных систем мониторинга и контроля. Поэтому идея нивелировать влияние человеческого фактора с помощью ИИ выглядит весьма здравой и привлекательной. Следовательно, речь идет о создании систем интеллектуального управления реальными объектами – для резервирования оперативного управления, в которых ИИ полностью (или почти полностью) заменит человека, чтобы снизить негативные случайности человеческого фактора.
Огромное преимущество такой системы в том, что она будет реагировать заведомо быстрее человека. И точнее, поскольку просчитает возможные варианты и выберет оптимальный.
Это идеальная версия интеллектуальной системы управления. О реальных рисках мы поговорим чуть позже, а пока попытаемся смоделировать ее «организм».
Между цифровым двойником и реальным объектом
Сегодня практически все объекты критической информационной инфраструктуры (КИИ) имеют или будут иметь в ближайшем будущем цифровых двойников – виртуальные модели, отражающие работу объекта в каждый момент времени. Степень детализации моделей на разных объектах пока разная, но все они, так или иначе, помогают анализировать текущее состояние реального объекта, моделировать его возможные изменения и результаты этих изменений (например, при аварийной ситуации или при модернизации). Однако интерфейсом между цифровым двойником и реальным объектом служит человек – он управляет реальным объектом, используя данные, полученные с помощью цифрового двойника, и он же корректирует цифрового двойника на основании сведений об изменениях реального объекта.
Представим, что мы заменили в этой цепочке человека на ИИ. Тогда объектом управления по-прежнему остается реальный объект, а субъектом управления становится процесс, интеллектуальная система управления. Интеллектуальный цифровой управляющий, который имеет широкие возможности по подключению и управлению состоянием элементов инфраструктуры реального объекта, по сбору и анализу данных об этих состояниях и по корректировке цифрового двойника.
В таком сценарии цифровой образ предприятия – это уже не просто симулятор, на котором отрабатываются те или иные ситуации в отрыве от текущего момента, а фактический двойник, живущий одной жизнью с реальным объектом. Любое воздействие на цифровой объект воплощается в реальные управляющие действия на реальном объекте.
Как человек, только… непредсказуемый. Реалистичный сценарий
Однако можно ли ручаться, что эти управляющие воздействия всегда будут предсказуемыми и адекватными? Что вариант, оптимальный с точки зрения системы, действительно будет являться оптимальным в каждой конкретной ситуации? Не увеличит ли применение интеллектуальных средств управления риски, связанные, например, с устранением нештатных ситуаций? Или с отработкой ситуаций, которые еще не стали нештатными, но потенциально могут, если не предпринять немедленные – и, что важно, правильные! – действия.
Сейчас работу объектов (например, гидро- или атомных электростанций, участков сетей передачи данных и пр.) помогает контролировать «интеллектуальная» автоматика. Мы не напрасно взяли термин в кавычки: такие системы действуют в рамках строго заданных стандартизованных алгоритмов, пусть и достаточно сложных: «сбор данных от датчиков на объекте – сравнение полученных данных с эталонными параметрами и усадками – и выполнение регламентированных действий в случае выхода параметров за установленные рамки». Например, так выполняется автоматическое переключение режимов электрических сетей. Но подобные системы не способны обучаться в процессе работы.
Принципиальное же отличие ИИ – в способности обучаться: совершенствовать подходы к оценке потенциальных или уже возникших нештатных ситуаций, рассчитывать вероятность реализации угроз, создавать оптимальные сценарии их предотвращения или решения, корректно собирать обратную связь от реального объекта, на ее основе ранжировать управленческие практики по степени их пользы для применения в штатных и нештатных ситуациях.
Однако любой учащийся неизбежно допускает ошибки, и искусственный интеллект здесь не исключение. Сейчас весь мир с интересом наблюдает, как в ходе обучения ИИ регулярно приходит к парадоксальным, подчас чудовищным «умозаключениям». Пока, к счастью, человек не предоставляет ему возможность опробовать свои идеи на практике. Но при управлении реальным объектом такого рода активность может повлечь тяжелейшие, даже фатальные последствия для самого объекта, для людей, для экологии.
Куда приведет дорога «благих намерений» ИИ?
Подключение искусственного интеллекта к управлению реальными промышленными объектами переводит вопросы обеспечения информационной безопасности на совершенно новый уровень.
Сейчас модель ИБ статична: угрозы и регламенты реакций на них отражены в отраслевой и корпоративной нормативной базе, в соответствии с которой сотрудники действуют в различных ситуациях. Разумеется, нормативная база периодически обновляется, но обновления проходят долгий процесс анализа и согласований, в нем участвуют сотни людей.
Фактор ИИ становится сегодня главным в процессе изменения существующей нормативно-правовой базы. Для начала необходимо учесть его в качестве инструмента, возможного к применению всеми типами описанных нарушителей ИБ (от первого до шестого). Ясно, что такой инструментарий существенно изменяет самого нарушителя, повышая его уровень минимум на условную единицу. Справедливости ради необходимо также отметить, что, так как одним из ключевых процессов, существенно влияющих на результат применения ИИ, является его обучение (квалифицированные промпты), то неквалифицированному нарушителю в таком деле с ИИ, скорее всего, сделать ничего не удастся.
Применение ИИ переводит модель ИБ в статус динамической. Возникает принципиальный вопрос: как человеку контролировать изменения, которые будет вносить ИИ в процессы управления реальным объектом? А делать это он будет постоянно, ведь его суть и предназначение заключается в том, чтобы непрерывно собирать и анализировать данные о реальном объекте, на их основе уточнять и совершенствовать цифрового двойника, отрабатывать на нем возможные сценарии нештатных ситуаций, отбирать оптимальные и применять их на практике. Можем ли мы гарантировать, что в какой-то момент ИИ не даст интеллектуальный сбой, цифровой двойник перестанет быть двойником реального объекта? Можем ли исключить ситуацию, когда ИИ-управленец начнет «подгонять» работу реального объекта под его искаженный цифровой портрет, со всеми фатальными последствиями?
Следующий важный аспект – появление так называемой обратной связи в деле обучения ИИ, когда в почти автоматическом режиме на «вход» ИИ-процессу подаются (неоднократно) его же выходные данные для формирования более четкой модели предметной области. И, что еще важнее, появление возможности для ИИ на основе такого «самообучения» вносить изменения в себя самого. Тогда и без того неоднозначная и непрогнозируемая картина с ИИ становится максимально рискованной.
На сегодняшний день однозначных ответов на эти вопросы нет, поэтому поручать ИИ управление объектами КИИ неоправданно рискованно. Нужны программные платформы, которые могли бы формировать и контролировать процессы обучения и управления. Скорее всего, их появление – дело недалекого будущего. И чем определеннее оно будет, тем лучше для всей отрасли.
Опубликовано 17.07.2024
