По мере того, как компании все чаще интегрируют агентов искусственного интеллекта в свои платформы для управления финансами, закупками и цепочками поставок, возникает новый тип рисков, связанных с ИИ.

еперь инциденты происходят не только из-за проникновения злоумышленников — через украденные пароли, социальную инженерию или незащищенные серверы — или из-за искусственного интеллекта, помогающего злоумышленникам совершенствовать свои инструменты. Теперь командам безопасности и ИТ-специалистам необходимо управлять агентами, которые получили надлежащие разрешения, но потенциально могут совершать вредоносные действия внутри критически важных бизнес-систем.

«По-настоящему новой категорией является не злоумышленник, — заявил Роланд Палмер, директор по информационной безопасности и вице-президент по безопасности компании JumpCloud. — Вместо этого, это агент с законным доступом, выполняющий указания. Никакого взлома, все учетные данные действительны, все разрешения предоставлены».

Последние данные от компании Onapsis, занимающейся обнаружением угроз и обеспечением соответствия требованиям в ERP-системах, показывают, что искусственный интеллект все чаще интегрируется в программное обеспечение для планирования ресурсов предприятия (ERP): 58% респондентов заявили, что начали использовать приложения или агенты ИИ, взаимодействующие с их ERP-системами, в течение последних шести месяцев. Более 62% уже используют сгенерированный ИИ код в ERP-приложениях, а еще 26% планируют сделать это к концу 2026 года.

В июне 2026 года компания Onapsis провела опрос 204 руководителей высшего звена в сфере кибербезопасности в американских организациях с численностью сотрудников более 1000 человек, использующих SAP, Salesforce или Oracle.

Несмотря на высокие темпы внедрения ИИ, уровень доверия к этим системам падает.

Более 70% респондентов выразили лишь ограниченное или полное отсутствие доверия к ИИ как средству защиты их наиболее важных данных, а почти 69% имели ограниченную уверенность в том, что их системы защиты смогут обнаружить атаку с использованием ИИ. Почти 22% респондентов сообщили об инциденте безопасности за предыдущие 12 месяцев, в котором злоумышленники использовали ИИ против критически важной для бизнеса платформы. Еще 15,2% подозревали подобный инцидент, но не смогли его подтвердить.

Многие команды относятся к этому с опаской. Почти 57% респондентов заявили, что как минимум одно бизнес-подразделение возражало против внедрения ИИ в среду ERP. Наиболее сильное сопротивление оказала служба безопасности (41,4%), за ней следует ИТ-отдел (20,7%). Основными причинами были отсутствие уверенности в безопасности ИИ (75%) и риски, связанные с соблюдением нормативных требований (71,6%).

Обзор угроз в сфере ERP-систем с использованием ИИ

Эксперты утверждают, что ИИ не только помогает злоумышленникам использовать старые методы по-новому, но и создает совершенно новые категории рисков.

Хуан-Пабло Перес-Этчегойен, технический директор компании Onapsis, заявил, что если раньше злоумышленники сосредотачивались на операционных системах, базах данных и веб-приложениях, то теперь многие переключились на ERP-системы, поскольку искусственный интеллект может помочь им анализировать код и быстрее создавать более специализированные вредоносные программы.

«Искусственный интеллект позволяет вам обрабатывать огромные массивы библиотек и данных и объединять их в конкретные полезные нагрузки, которые можно использовать для эксплуатации уязвимостей в приложениях», — сказал он.

Имонн О'Нил, технический директор и соучредитель компании Lemongrass, предоставляющей управляемые услуги SAP, заявил, что, хотя ИИ может помогать злоумышленникам, многие компании, использующие ERP-системы в облаке, лучше защищены многоуровневой системой безопасности. Однако социальная инженерия с использованием ИИ остается одной из самых больших угроз для данных ERP-систем.

«Всем нам знаком фишинг, который мы сразу же распознаем. Орфография плохая, оформление плохое, — сказал О'Нил. — Искусственный интеллект может писать письма так же хорошо, как и любой другой человек».

Палмер согласился с тем, что большая часть угроз, исходящих от ИИ, исходит от злоумышленников, использующих ИИ для усовершенствования уже существующих методов. «Схемы не меняются, меняются лишь уровень совершенства и объем», — сказал он.

Палмер выделил агентов, создающих опасные последствия, но имеющих действительные учетные данные и утвержденные разрешения, как совершенно новую категорию риска. Авторизованные агенты могут быть подвергнуты манипуляциям посредством мгновенного внедрения вредоносного кода, утечки конфиденциальных данных или совершения вредоносных действий без нарушения работы каких-либо систем.

Как завоевать доверие агентов

Респонденты опроса Onapsis заявили, что существуют тактики, которые могли бы помочь им больше доверять агентам ИИ, работающим в системах ERP. Более строгий контроль доступа повысил бы доверие почти у 62% респондентов, а почти 46% заявили, что добавление защиты персональных данных повысило бы доверие. Изоляция конфиденциальных данных в песочницах или цифровых двойниках повысила бы доверие примерно у 37% респондентов.

Перес-Этчегойен отметил, что решения, принятые до развертывания агентов, могут помочь создать более надежные системы, чем внедрение средств контроля безопасности позже.

Агенты должны иметь четко определенные личные данные, минимально необходимые разрешения для выполнения своей работы и доступ только к необходимым инструментам. Принципы нулевого доверия и минимальных привилегий могут уменьшить масштаб последствий, если агент будет скомпрометирован или подвергнут манипуляциям. «Инцидент ограничивается конкретными действиями этого агента», — сказал он.

О'Нил заявил, что идентификационные данные агентов следует управлять так же, как и идентификационные данные людей, и что существующие системы управления доступом могут быть распространены и на них, включая разделение обязанностей и разграничение между возможностью чтения данных и возможностью их изменения.

Прежде чем агент сможет изменить запись в ERP-системе, компания должна проверить его права доступа и возможные последствия. В противном случае, сказал он, «не включайте это».

Палмер сказал, что его команда относится к каждому агенту как к новому сотруднику. Им присваивается личность и предоставляются минимальные права доступа, а доступ расширяется по мере необходимости и надежности. Все агенты также нуждаются в человеческом контроле, и в конечном итоге человек должен нести ответственность за свои решения.

«Работа переходит к агентам, а ответственность — нет, не должна и, что самое важное, не может быть», — сказал Палмер.

Ограничьте доступ к функции, а не к поставщику

Поскольку все больше поставщиков ERP-систем добавляют агентов в свои платформы, клиентам необходимо сохранять строгий подход к проверкам и мониторингу. Для Палмера это означает задавать четыре вопроса о каждой добавленной функции ИИ: Можно ли ее отключить? От имени какого пользователя она действует? Что она регистрирует при выполнении действий? Можно ли ограничить ее доступ отдельно от доступа пользователя?

«Незрелые решения вполне работоспособны, если мы учитываем этот период незрелости, используя такие тактики, как отключение по умолчанию, поэтапное внедрение и установление четко определенной даты», — сказал он. Поставщик, не дающий ответа, не дает разрешения на развертывание данной функции.

«Мы ограничиваем доступ к функции, а не к поставщику, потому что отклонить ERP-систему практически невозможно, но иногда можно отложить внедрение модуля искусственного интеллекта», — сказал он.

Для платформ искусственного интеллекта, разработанных внутри компании, Перес-Этчегойен рекомендует следовать проверенной схеме управления изменениями, тестирования безопасности, анализа кода, моделирования угроз и определения прав доступа, чтобы гарантировать, что сгенерированный ИИ код не внесет уязвимости или ошибочные проверки доступа непосредственно в бизнес-процессы.

Между тем О'Нил заявил, что не будет запускать агента до тех пор, пока его доступ не будет проверен в рамках стандартного процесса управления, оценки рисков и соблюдения нормативных требований, включая проверку разделения обязанностей и подтверждение того, что его разрешения соответствуют назначенной работе. Эти требования становятся еще более важными, когда агент может писать в ERP-систему.

«Почти так же, как и с человеком», — сказал О'Нил. «Я бы не предоставил доступ к системе ERP человеку, чья должность не была должным образом определена».

Данная статья переведена с английского языка на русский язык при помощи автопереводчика.

Источник: Inforisk Today.

Больше новостей читайте в сообществе SAPLAND в ВК и телеграм-канале SAPLAND: Новости экосистемы.