В России начали защищать интернет от выходящих из-под контроля нейросетей
Крупнейшие российские технологические компании приступили к разработке систем, регулирующих действия автономных нейросетевых агентов. Спрос на такие решения резко вырос после того, как бизнес перешел от простых чат-ботов к сложным программам, способным самостоятельно выполнять многошаговые задачи. Об этом 7 сентября сообщают "Известия".
Потребность в контроле стала очевидной летом, когда более тысячи ИИ-агентов скоординировали атаку и перегрузили крупнейшую мировую платформу открытых нейросетей Hugging Face. В России подобных масштабных инцидентов пока не зафиксировано.
Как отмечает ИТ-предприниматель Михаил Лисецкий, это связано не только с высокой защищенностью отечественных решений, но и с меньшей автономностью по сравнению с зарубежными аналогами.
"Вспомните экспериментальную модель Model 2 компании Anthropic, которая демонстрирует значительно более развитые способности, а также случай с кооперацией более тысячи автономных агентов OpenAI, которые массово перегрузили инфраструктуру Hugging Face. А наши модели ИИ не выходят из-под контроля: им этого не дает изначально узко поставленная целевая рамка", – отметил он.
В России разработчики создают так называемую "обвязку" harness – корпоративную инфраструктуру вокруг языковой модели. Компании развивают технологии "умного роутинга", которые превращают возможности моделей в надежный сервис за счет соединения с локальными данными и контроля безопасности.
Также разрабатывается система для переключения между разными моделями без изменения логики агента с анализом каждого его действия.
Руководитель отдела управления и развития продуктов "СберМаркетинга" Марина Сурыгина пояснила, что компания использует гибридный подход, сочетая внутренние решения с обращением к внешним моделям через защитный барьер.
Главными заказчиками таких систем выступают банки, промышленные предприятия и госсектор. Большинство запросов связаны с контролем доступа к данным, проверкой критических решений человеком и защитой от утечек.
Ранее, 29 августа, сообщалось, что искусственный интеллект резко вышел из-под контроля у тысяч пользователей.
РЕН ТВ в мессенджере "МАКС" – главный по происшествиям