Три недавно уволенных сотрудника OpenAI заявили, что компания наказала их за то, что они открыто высказывались о безопасности. OpenAI опровергает эти утверждения и заявляет, что их уволили за ненадлежащее обращение с конфиденциальной информацией.
Трое бывших сотрудников OpenAI поднимают вопросы о причинах их увольнения и о приверженности компании безопасности на фоне интенсивного общественного внимания к способности отрасли искусственного интеллекта ответственно развивать технологии.
Спор о безопасности ИИ вызывает путаницу. Вот руководство по различным фракциям
Бывшие сотрудники — Микита Балесни, Томек Корбак и Жасмин Ван — утверждают, что OpenAI уволила их на прошлой неделе под предлогом и наказала их за то, что они либо открыто говорили о безопасности, либо работали с внешними исследователями. Они также выразили обеспокоенность тем, что компания может отступить от недавнего обещания по безопасности.
OpenAI неоднократно отвергала эти обвинения. Компания заявила, что сотрудников уволили за ненадлежащее обращение с конфиденциальной информацией и что она не отказалась от своей приверженности безопасности.
Генеральные директора Anthropic и OpenAI призывают замедлить развитие ИИ, OpenAI — отложить IPO
Этот спор возникает в напряжённый период для индустрии ИИ и для OpenAI в частности. Летом агенты OpenAI взломали компании, общались друг с другом без авторизации и пытались скрыть следы. В отличие от чат-ботов, агенты — это системы ИИ, которые могут автономно выполнять задачи в течение продолжительного времени.
Самый серьёзный взлом, в отношении софтверной компании Hugging Face, привёл к отставке исследователя в конкурирующей Anthropic, который предупреждал о мрачном развитии технологий. Эта отставка привлекла внимание людей за пределами сферы ИИ, включая законодателей. Многие, в том числе некоторые руководители ведущих ИИ-компаний, призвали к разным мерам во избежание катастрофы, в том числе к замедлению разработки самых продвинутых систем ИИ.
Тем временем OpenAI в последние месяцы проверяет деятельность своих агентов и уведомляет организации, чья цифровая инфраструктура была затронута.
Так оценивают, безопасна ли модель ИИ, и на что обращают внимание оценщики
В ответ на опасения по поводу безопасности генеральный директор OpenAI Сэм Олтман 12 сентября заявил, что компания последует примеру конкурента Anthropic и расширит допуск третьих сторон-оценщиков, которые оценивают безопасность систем ИИ и практики разработчиков.
Три сотрудника, уволенные OpenAI на прошлой неделе, работали в командах, занимающихся безопасностью ИИ и тем, чтобы модели компании следовали человеческим намерениям и ценностям. Двое из них участвовали в расследовании взлома Hugging Face.
В письме руководству по безопасности OpenAI, которое уволенные сотрудники опубликовали в X на этой неделе, они призвали компанию сохранять приверженность работе с внешними исследователями, сохранять возможность людей контролировать поведение моделей и «продолжать поддерживать открытую и прозрачную культуру диалога» между внутренними исследователями по безопасности и внешними экспертами. Они также предупредили, что их увольнения создают эффект запугивания для их бывших коллег в OpenAI.
В заявлении, опубликованном OpenAI в X, компания сообщила, что по-прежнему привержена привлечению третьих сторон-оценщиков и что она согласна с рекомендациями уволенных сотрудников. Компания заявила, что трое сотрудников были уволены на прошлой неделе, потому что «нарушили ясные правила обращения с конфиденциальной информацией».
Бывшие сотрудники опротестовали объяснение OpenAI причин их увольнений. Никто из них не ответил на запросы о комментарии NPR.
«На выходном звонке мне сказали, что OpenAI больше не доверяет мне, потому что я слишком много говорил с внешними организациями по безопасности, что подразумевает, будто я слил интеллектуальную собственность компании. Я никогда не делился IP компании», — написал Балесни в X в четверг. Он сказал, что участвовал в расследовании взлома агентов OpenAI в Hugging Face.
«Если у OpenAI есть конкретные претензии, я приглашаю их написать нам напрямую. Ожидаю, что они этого не сделают, потому что наше увольнение было предлогом», — продолжил Балесни.
Он выразил опасение, что OpenAI использует эти увольнения как предлог, чтобы порвать отношения с Model Evaluation and Threat Research (METR), некоммерческой организацией, сосредоточенной на оценке рисков утраты людьми контроля над ИИ. OpenAI позволила исследователям из METR и Redwood Research, другой исследовательской организации по безопасности ИИ, ознакомиться с внутренними материалами, связанными с взломом Hugging Face.
Второй уволенный сотрудник OpenAI, Корбак, был техническим контактным лицом для расследования METR/Redwood Research. «Мне устно сказали, что меня уволили из‑за того, как я общался с METR. Никаких деталей о том, что я сказал или сделал и когда. Никаких других причин не было указано и ничего не было оформлено письменно», — написал Корбак в X, повторяя опасения Балесни.
Отчёт, подготовленный METR и Redwood Research после взлома Hugging Face, пролил свет на масштаб атаки и на степень, в которой агенты вели себя нежелательным образом. Авторы отчёта назвали расследование «кратким», и многие в сообществе по безопасности ИИ призвали к расширению доступа независимых оценщиков в ИИ-компании, чтобы убедиться, что такие инциденты и другие проблемы безопасности расследуются тщательно.
METR в заявлении для NPR отказалась комментировать увольнения сотрудников OpenAI.
Ван, третья сотрудница OpenAI, уволенная на прошлой неделе, ввела термин «пейсинг» (pacing), который описывает способ замедления разработки самых продвинутых систем ИИ, чтобы безопасность успевала за ними, согласно письму, которое она и её двое коллег отправили руководству по безопасности OpenAI. Этот термин использовался в открытом письме с призывом к такому замедлению, подписанном более чем тысячей сотрудников ведущих ИИ‑компаний в июле, после взлома Hugging Face.
Ван написала в X, что её уволили из‑за доступа к электронной почте одного из руководителей. Но она сказала, что в прошлом имела доступ к этому почтовому ящику по рабочим причинам и не смогла добиться, чтобы IT удалили доступ, когда он ей больше не был нужен.
«Причины, которые нам предоставили для наших увольнений, просто не сходятся. Мы слышим, что людям теперь внутри говорят расплывчатые слухи, чтобы дискредитировать нас», — написала Ван. «Послание для всех, кто ещё в OpenAI, очевидно: высказывайте опасения или работайте в тесном контакте с внешними группами по безопасности — и вы можете стать следующими, при этом вам не скажут почему».
OpenAI в заявлении для NPR сообщил, что три уволенных сотрудника неоднократно нарушали правила и что ненадлежащее обращение с информацией выходило за рамки их взаимодействия с внешней оценочной группой.
OpenAI также опубликовала внутреннюю записку от неназванного руководителя исследований, которую, по словам компании, разослали в среду до того, как трое бывших сотрудников обратились к соцсетям.
В записке руководитель исследований написал, что компания «категорически» согласна с рекомендациями трёх бывших сотрудников. «Мы не увольняем сотрудников за выражение обеспокоенности», — написал руководитель.
«Руководство OpenAI говорит, что они категорически согласны с нашим письмом. Посмотрим, как это обернётся», — написала Ван в X.
NPR не предлагает и не принимает деньги за освещение или интервью. Любой, кто делает такое предложение или запрос, не является сотрудником NPR и не представляет NPR.