Председатель совета директоров и генеральный директор Microsoft Сатья Наделла в субботу призвал оснастить продвинутые системы ИИ аварийным тормозом под контролем человека, чтобы уполномоченные специалисты могли приостанавливать или отключать модель во время её работы. Он также призвал компании создавать независимые механизмы контроля и сдерживания этой технологии. Это предложение заслуживает внимания, поскольку ставит способность вмешаться в работу модели — а не просто доверие к её создателю — в центр дискуссии о безопасности ИИ.
Люди должны иметь возможность остановить модель во время работы
Главная рекомендация Наделлы — предоставить уполномоченным операторам практический способ прервать работу системы ИИ в ходе выполнения задачи. Возможность отключения, существующая лишь в теории, не устранит описанный им риск: оператор должен иметь доступ к управлению, если поведение системы вызывает опасения.
Он также призвал внедрять надёжные рабочие процедуры наряду с человеческим контролем. Для компаний, использующих ИИ, это означает необходимость заранее определить, кто может приостановить работу системы и как такое вмешательство будет встроено в её эксплуатацию, а не считать внедрение окончательным решением, которое нельзя пересмотреть после того, как модель начала работать.
Отделите модель от механизмов контроля
Наделла заявил, что продвинутые модели должны работать в рамках надёжно спроектированных систем. В своём посте в X он призвал использовать недетерминированные модели в системах с человеческим контролем и надёжными процедурами, а также разрабатывать отраслевые стандарты там, где действующие недостаточны.
Он также предложил рассматривать передовые модели с закрытыми весами и модели с открытыми весами как потенциальный риск изнутри организации. Такой подход смещает акцент с вопроса о доверии к модели на то, можно ли отслеживать и ограничивать её доступ и действия. Аварийный тормоз — лишь один элемент более широкой системы сдерживания, а не её замена.
Наблюдаемость — часть обоснования безопасности
Наделла изложил несколько принципов, которые помогут сделать системы ИИ наблюдаемыми: разнообразие моделей, понятная человеку запись действий модели, непрерывное тестирование системы, независимый контроль и возможность аудита, сдерживание и раскрытие информации об инцидентах. В совокупности эти меры призваны облегчить обнаружение проблем и помочь понять, что произошло, если они возникнут.
Понятный человеку журнал действий важен, потому что оператору недостаточно одной кнопки остановки: ему нужно иметь возможность проверить, что делала модель. Непрерывное тестирование и независимые аудиты, в свою очередь, служат гарантиями, которые не зависят исключительно от заверений организации, создавшей модель или управляющей ею.
Его предупреждение прозвучало на фоне растущих опасений за безопасность
Призыв Наделлы прозвучал в то время, когда известные представители технологической отрасли выражают сомнения в том, что меры защиты ИИ успевают за развитием технологии. В исходном материале среди тех, кто предупреждал о недостаточных протоколах безопасности или слишком быстром развитии, названы сооснователь Microsoft Билл Гейтс, генеральный директор Anthropic Дарио Амодеи, генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск.
Участники дискуссии по-разному оценивают опасность. В материале говорится, что в прошлом месяце исследователь Anthropic уволился, обвинив компанию и OpenAI в том, что они играют жизнями людей; позже в тот же день руководитель направления согласования ИИ в Anthropic заявил, что вероятность того, что ИИ уничтожит всё человечество в ближайшее десятилетие, превышает 10%. Президент Дональд Трамп, напротив, отверг угрозу вымирания и подчеркнул важность конкуренции с Китаем.
Подотчётность зависит от того, что происходит после остановки
Предложенные Наделлой меры защиты не ограничиваются возможностью вмешательства: раскрытие информации об инцидентах и возможность аудита помогут установить, что пошло не так и сработали ли процедуры. Таким образом, аварийный тормоз становится частью более широкой системы подотчётности, связывая возможность остановить модель с данными о её действиях.
Для компаний, внедряющих продвинутый ИИ, практический вопрос заключается в том, можно ли встроить эти механизмы контроля в систему и смогут ли уполномоченные специалисты воспользоваться ими при необходимости. В заключение Наделла заявил, что доверие должно в меньшей степени основываться на вере в безопасность модели и в большей — на наличии мер защиты, позволяющих управлять её поведением.
Главное: Наделла хочет, чтобы люди могли останавливать работу продвинутого ИИ, а независимый надзор и доступные для проверки записи помогали обеспечивать такой контроль.
Источники
- ndtvprofit.com — «Призыв к аварийному выключателю: почему Сатья Наделла из Microsoft поддерживает „аварийный тормоз“ ИИ под контролем человека»
- cnbc.com — «Наделла из Microsoft заявил, что ИИ нужен „аварийный тормоз“ под контролем человека»
- moneycontrol.com — «Глава Microsoft Сатья Наделла призвал установить для ИИ „аварийный тормоз“ и сохранить контроль человека над продвинутыми моделями»
- The Straits Times — «Глава Microsoft призвал установить для ИИ аварийный тормоз»
- TechCrunch — «Сатья Наделла из Microsoft заявил, что моделям ИИ нужен „аварийный тормоз“»
