Axios: в США ищут способ остановить опасный ИИ с помощью других нейросетей

Ведущие компании США в сфере искусственного интеллекта создают систему экстренного реагирования на вышедшие из-под контроля алгоритмы, используя для этого другие инструменты искусственного интеллекта. Об этом 10 сентября сообщил портал Axios.

"Компании могут отключать отдельные серверы, от которых зависит ИИ, но по-настоящему мощные системы работают на множестве компьютеров и платформ. Единого рубильника, который можно дернуть, не существует", – говорится в сообщении.

По этой причине компании тестируют многоступенчатые системы безопасности, которые способны распознавать аномальную активность, блокировать действия автономных программ и лишать вышедшие из-под контроля алгоритмы доступа к ресурсам для дальнейшей работы.

В OpenAI сообщили, что их цель – разработка полностью автономных процедур экстренного отключения на случай серьезных сбоев. В рамках этой концепции система-наблюдатель на базе искусственного интеллекта будет предупреждать сотрудников об опасном поведении ИИ-агентов и сможет самостоятельно деактивировать систему в течение 30 минут после подтверждения угрозы.

Компания Anthropic делает ставку на взаимодействие человека и машины: алгоритмы отслеживают подозрительную активность и оповещают персонал о возникающих ошибках. Однако недавние испытания показали ограниченную эффективность такого подхода – автоматизированный мониторинг сумел распознать лишь половину угроз (50%).

Ранее, 11 сентября, сообщалось, что в США начали расследование из-за вышедшего из-под контроля ИИ.

Ранее уже произошло несколько тревожных инцедентов, например, создание ИИ-агентами собственной религии в соцсети Moltbook. Кроме того, модель Claude пыталась шантажировать руководителя компании, угрожая раскрыть его тайны.

В августе ИИ-агент Claude самостоятельно взломал сайт австралийского спортзала. Модели OpenAI также взламывали инфраструктуру Hugging Face.

РЕН ТВ в мессенджере "МАКС" – главный по происшествиям