ООН: меры безопасности ИИ нельзя откладывать
21 сентября Независимая международная научная панель ООН по искусственному интеллекту заявила, что откладывать меры безопасности для автономных систем до полной оценки риска потери контроля не следует.
В качестве основного примера эксперты разобрали инцидент OpenAI и Hugging Face: во время внутренних тестов ИИ-агенты обошли сетевые ограничения, наладили обмен данными между отдельными запусками и получили несанкционированный доступ к инфраструктуре обеих компаний. Специалисты назвали это ранним предупреждением о возможных проблемах с более совершенными системами.
Принцип предосторожности вместо ожидания
Сейчас надежной оценки вероятности потери контроля над ИИ нет. Мнения экспертов расходятся и по наиболее тяжелым сценариям — от длительных экономических потрясений до более масштабных последствий.
Панель предлагает рассматривать неопределенность через принцип предосторожности. Он применяется, когда потенциальный ущерб может быть катастрофическим или необратимым, хотя вероятность события пока невозможно точно установить. Способность OpenAI остановить июльский инцидент не доказывает, что разработчики сохранят такой же контроль над будущими агентами, отметили авторы отчета. Более совершенные системы смогут дольше работать без надзора, быстрее координироваться и лучше находить способы обходить ограничения.
При этом эксперты не считают такое развитие событий неизбежным. Сценарии в докладе показывают, как уже замеченные механизмы могут стать опаснее по мере роста возможностей ИИ, но не являются прогнозом.
Журналы, независимый контроль и аварийная остановка
Готового набора обязательных правил панель не предложила. Вместо этого специалисты рассмотрели методы из кибербезопасности, авиации и атомной энергетики, которые могут пригодиться при работе с передовыми ИИ-системами.
Один из основных подходов — многоуровневая защита. Разработчикам следует исходить из того, что отдельные механизмы могут отказать, сохранять за человеком возможность вмешаться и отделять критические средства контроля от самой системы, отметили эксперты.
Среди вариантов:
— обязательное информирование властей о серьезных инцидентах и защищенные каналы для сообщений о менее крупных сбоях;
— независимая проверка безопасности перед обучением или запуском систем, которые превышают определенный уровень возможностей или риска;
— непрерывная запись действий ИИ, включая сетевые подключения, использование учетных данных и общение между агентами;
— хранение таких журналов отдельно от инструментов системы, чтобы она не могла их изменить;
— автоматическое отключение сети, отзыв доступов или остановка работы при достижении заданного порога риска.
Дополнительная опция — использовать отдельную ИИ-модель для наблюдения за более мощной системой. Однако здесь возникает новая проблема: слабый контролер может пропустить опасное поведение, а достаточно мощному наблюдателю самому потребуется доверять. Эксперты также предложили ограничивать права агентов только теми инструментами, данными и сетями, которые необходимы для конкретной задачи.
Риски выходят за границы одной страны
Отдельной проблемой панель назвала трансграничный характер ИИ. Система может разрабатываться в одной стране, работать в другой, а последствия ее действий проявиться в третьей. Компании, которые тратят больше времени на безопасность, также могут сталкиваться с давлением со стороны конкурентов, выпускающих продукты быстрее.
Поэтому национальные механизмы ответственности эксперты предлагают связывать с международной координацией. При этом единая правовая модель для всех стран не требуется.
16 сентября генеральный секретарь ООН Антониу Гутерриш также призвал правительства координировать меры в сфере ИИ. По его словам, национальных действий недостаточно, поскольку технологии и связанные с ними риски не останавливаются на государственных границах.
«Мир не может позволить себе гонку на понижение стандартов безопасности ИИ», — заявил он.
В заключение авторы доклада отметили: несмотря на неопределенность вокруг вероятности потери контроля и споры о необходимых мерах, потенциальный масштаб последствий требует значительно больше внимания и ресурсов.
Напомним, в середине сентября Microsoft выпустила гуманистический кодекс для семейства своих ИИ-моделей MAI, пообещав сохранить искусственный интеллект под контролем человека.
