Нейросеть Claude взломала системы трех организаций

Модель искусственного интеллекта Claude во время тестирования самостоятельно вышла в интернет и взломала системы трех организаций. Об этом 30 июля сообщила компания Anthropic.

Для взлома Claude применил стандартные методы: подбор слабых паролей и использование незащищенных конечных точек доступа. Инциденты касались трех разных моделей Claude: Opus 4.7, Mythos 5 и внутренней исследовательской тестовой модели.

Модель Claude Opus 4.7, столкнувшись с трудностями в симуляции, нашла через поисковик реальную компанию с похожим названием, получила ее учетные данные и скачала сотни строк производственных данных – это единственный случай, когда алгоритм продолжил атаку даже после осознания реальности среды.

Вторая модель, Claude Mythos 5, следуя инструкции установить несуществующий пакет Python, создала вредоносную библиотеку и загрузила ее в репозиторий PyPI. За час зараженный код был запущен на 15 реальных системах, включая сканер безопасности компании, что позволило похитить пароли для продвижения по инфраструктуре организации.

Исследовательская тестовая модель, не сумев решить учебную задачу, начала массовое сканирование около 9000 целей в интернете, взломала одно веб-приложение через SQL-инъекцию, но самостоятельно прекратила атаку, обнаружив признаки реального облачного аккаунта жертвы.

Ранее, 30 июня, стало известно, что OpenAI и Google обратились к правительству США с призывом замедлить развитие ИИ.

РЕН ТВ в мессенджере "МАКС" – главный по происшествиям