ИИ-модель Anthropic вышла из-под контроля и взломала три компании

Американская технологическая компания Anthropic сообщила, что ее модель искусственного интеллекта Claude вышла за пределы пространства, предназначенного для тестирования, и получила доступ к данным трех сторонних компаний. Их названия не сообщаются.

Это стало очередным случаем, когда продвинутые ИИ-модели выходят из-под контроля и совершают взломы. Ранее OpenAI сообщила, что ее ИИ-агент «вырвался» из пространства для тестирования и взломал две платформы. В подобных случаях продвинутые ИИ-модели используют уязвимости системы, позволяющие им выйти в интернет. Они получают доступ к данным других компаний, так как делают вывод, что это самый простой и быстрый способ решения поставленных перед ними задач.

В Anthropic сообщили, что именно после сообщений OpenAI начали проверять действия собственных моделей. Компания изучила более 140 тыс. ситуаций, в которых нейросеть могла во время тестирования выйти за пределы предназначенного для этого пространства. В итоге Anthropic обнаружила три подобных случая с разными версиями Claude — Opus 4.7, Mythos 5 и внутренней моделью для исследований и тестирований.

Кибератака со стороны агента OpenAI уже стала поводом для подписания более чем 1,2 тыс. сотрудников американских ИИ-компаний письма, в котором говорится о реальном риске того, что ИИ начнет развиваться быстрее, чем люди смогут его «понимать или контролировать».