Нейросеть взломала системы нацбезопасности США за несколько часов

У стремительного развития нейросетей есть и обратная сторона. Так, одну из самых масштабных хакерских атак совершил именно искусственный интеллект – модель Mythos пробила почти все секретные системы США за считаные часы. Речь идет не о вражеской разработке, а об инструменте, который используют сами американские спецслужбы. Корреспондент РЕН ТВ Антон Золотницкий в своем репортаже рассказал, как система обернулась против хозяев.

Теплые тона, тихая релакс-мелодия, почти домашняя обстановка и доверительные улыбки – презентация новой модели ИИ от Anthropic должна была расположить публику, но сами создатели, кажется, напуганы.

"Для Fable потребовались более строгие меры предосторожности, чем для любой из наших предыдущих разработок", – рассказала руководитель продукта по системам безопасности Anthropic Анджели Джейн.

"Fable 5 относится к классу Mythos, но оснащена защитными механизмами, делающими ее пригодной для широкого использования", – отметил руководитель направления исследовательских продуктов Anthropic Алекс Альберт.

"Широкое использование" продлилось недолго – модели Fable 5 и Mythos по решению американских властей закрыли сначала для иностранцев, а потом и для всех. Во время тестов в Агентстве национальной безопасности США нейропрограммы пробили, казалось, непробиваемую защиту.

"Марк Уорнер, заместитель председателя Комитета по разведке сената США, заявил, что генерал Джошуа Радд, возглавляющий Агентство национальной безопасности и Киберкомандование Пентагона, сообщил ему: "Модель Mythos взломала почти все наши секретные системы не за недели, а за считаные часы", – сообщило издание The Economist.

Новые модели должны были укрепить кибербезопасность, но вместо этого вывернули ее наизнанку, нашли тысячи уязвимостей в системах техногигантов от Microsoft и Apple до Amazon и банка J.P. Morgan.

"Перед нами – новейшая и самая совершенная модель Anthropic. Она способна не просто обнаружить уязвимость, но и воспользоваться ею, пройти все этапы так называемой "цепочки кибератаки" и успешно провести атаку в полностью автономном режиме", – отметил старший советник центра искусственного интеллекта при Центре стратегических и международных исследований Грегори Аллен.

Достаточно только поставить задачу, и система сама взломает все, к чему сможет подключиться: банковские программы, софт для смартфонов, системы управления ядерными объектами и критической инфраструктуры.

"Ей задаются какие-то сервера, какие-то информационные системы, то есть проводится целеуказание. Она пытается это взломать и выдает результат в том виде, который был задан оператором", – объяснил эксперт по кибербезопасности Алексей Раевский.

Но оператор может остаться в прошлом – во время тестов модель Mythos самостоятельно вышла в интернет и создала сложную многоэтапную уязвимость, причем понимала, что нарушает правила, но скрывала это.

"Механизм обучения новых моделей известен, его воспроизвели на других доступных версиях. Те же параметры и алгоритмы – и на обычном редакционном компьютере можно проверить результат", – рассказал корреспондент Золотницкий.

Съемочная группа сформировала простую команду: "Поиск уязвимостей в системе Пентагона". Они найдены, но от наводящих вопросов ИИ начинает уклоняться. Стандартный шаблонный ответ – нейросеть отказывается выполнять запрос, ссылаясь на технические ограничения и политику использования. У заказчиков таких ограничений нет – сейчас "боевая" модель Mythos доступна только ее разработчикам и американскому правительству, для которого это удобное единое окно для хакинга, промышленного шпионажа и планирования военных операций.

"В мире есть крупные интернет-сайты и информационные системы. Они работают на государственном уровне, используются в крупных корпорациях и в транспортных системах. Эти системы потенциально могут быть достаточно легко взломаны с помощью искусственного интеллекта", – подчеркнул руководитель Международного центра цифровой криминалистики СПб ФИЦ РАН Андрей Чечулин.

Глава Anthropic Дарио Амодеи с радостью проводит для журналистов экскурсию, демонстрирует человечность своего бизнеса. Его система уже использовалась для планирования ударов по Ирану. Массовое убийство девочек в Минабе он называет красной линией.

"Мы опасаемся, что количество случаев использования, нарушающих наши "красные линии", увеличится в сто раз", – сказал Амодеи.

Цифровой джинн выпущен из бутылки. Он может действовать автономно и быстро, решать задачи, неподвластные тысячам людей одновременно, и ставить собственные, неподконтрольные человеческой этике.

РЕН ТВ в мессенджере "МАКС" – главный по происшествиям