Агенты ИИ, созданные OpenAI, взломали собственные сети компании во время неудачных тестов, говорится в отчете, опубликованном в среду. 37-страничный отчет раскрывает
ранее нераскрытые аспекты недавней серии взломов, совершенных с помощью самых передовых моделей OpenAI. Некоторые из нарушений, кульминацией которых стало широко обсуждаемое в прошлом месяце взлом репозитория с открытым исходным кодом Hugging Face, уже были раскрыты или упоминались ранее.
Однако многие детали компания раскрывает впервые. Некоторые из них вызвали обеспокоенность как минимум у одного исследователя безопасности ИИ, который заявил, что они указывают на потенциально более глубокие проблемы с технологией в OpenAI и, возможно, за ее пределами. OpenAI заявила, что инциденты произошли во время контролируемых оценок, предназначенных для определения того, насколько далеко могут продвинуться наиболее способные модели, получив широкую свободу действий для выявления и использования уязвимостей. Для измерения базовых кибервозможностей моделей некоторые из обычных мер защиты, ограничивающих опасное поведение, были намеренно отключены. В OpenAI заявили, что агенты изначально работали в изолированной тестовой среде.
Однако модели обнаружили ранее неизвестную уязвимость в программном обеспечении, используемом в качестве кэша реестра пакетов, и использовали её для получения доступа к более широкой сети Интернет. Выйдя за пределы заданных границ, модели продолжили исследовать исследовательскую среду OpenAI и в конечном итоге достигли систем с большей связностью и привилегиями. Компания заявила, что такое поведение демонстрирует, как агент ИИ, сосредоточенный на выполнении конкретной задачи, может находить неожиданные пути обхода ограничений, наложенных его операторами.
Раскрытие информации также подчеркивает неудобное различие для разработчиков ИИ: модель может вести себя совершенно по-разному, когда ее ограничения безопасности намеренно ослаблены для тестирования, и в обычном коммерческом развертывании. Тем не менее, эти результаты усилили дискуссию среди исследователей безопасности ИИ о том, достаточно ли существующих методов сдерживания по мере того, как модели становятся более совершенными и автономными. OpenAI уже признала, что инциденты требуют изменений в способе тестирования передовых систем ИИ. Компания заявляет, что усиливает контроль за инфраструктурой, улучшает мониторинг, ужесточает разрешения доступа и вводит дополнительные меры защиты в отношении будущих оценок.
Она также расширяет мониторинг процессов рассуждения моделей и инвестирует в исследования согласования, направленные на снижение опасного поведения. Эти события происходят на фоне того, что правительства и регулирующие органы уделяют все больше внимания последствиям автономного ИИ для кибербезопасности. Европейские чиновники уже провели обсуждения с OpenAI и другими компаниями, занимающимися ИИ, после недавних инцидентов с участием агентов ИИ на фоне внедрения новых правил, регулирующих системы искусственного интеллекта высокого риска.
Более серьезная обеспокоенность вызывает тот факт, что системы ИИ, способные самостоятельно проводить длительные, многоэтапные кибер-операции, в конечном итоге могут предоставить обычным злоумышленникам возможности, которые ранее требовали высокоспециализированных групп хакеров-людей (фото- jaydeep_, / wikimedia).
