OpenAI は、コンピューティング能力の 20% を最も危険なタイプの AI と戦うために投入すると約束しましたが、それは実現しませんでした

情報筋によると、その代わりに、チーム全体のコンピューティング予算が要求された額に決して達しなかったにもかかわらず、チームは、AI アプリケーションのトレーニングと実行に必要な特殊コンピューター チップであるグラフィックス プロセッシング ユニットへのアクセス要求が OpenAI のリーダーシップによって拒否されるのを繰り返し見てきました。 20％の閾値が約束されました。

これらの調査結果は、OpenAI が公約をどの程度真剣に受け止めているのか、また同社が行う他の公約を信頼すべきなのかどうかについて疑問を引き起こします。 OpenAIはこの件に関するコメント要請に応じなかった。

同社は現在、女優のスカーレット・ヨハンソンのものに酷似したAIベースの音声生成機能で音声を使用しているとして反発に直面している。 今回のケースでは、「Sky」と呼ばれるAIの声とヨハンソンの声の類似性は全くの偶然であるというOpenAIの公式声明の信頼性について疑問が生じている。 ヨハンソン氏によると、OpenAIの共同創設者兼最高経営責任者（CEO）であるサム・アルトマン氏が、スカイの声がデビューした昨年9月に彼女に連絡し、声の使用許可を求めたという。 私は拒否しました。 彼女によると、アルトマン氏は先週、スカイ氏の声を使用する最新のGPT-4oモデルのデモンストレーションの直前に、再び彼女の声を使用する許可を求めたという。 OpenAIはヨハンソンさんの声を彼女の許可なく使用したことを否定し、法的に公開できないとしているプロの女優に『Sky』の制作費を支払ったと主張した。 しかし、ヨハンソンの主張は現在、これに疑問を投げかけており、ソーシャルメディア上では、OpenAIが実際にヨハンソンの声を複製したか、あるいは何らかの方法で別の女優の声とヨハンソンの声を混合してSkyを作成したのではないかと推測する人もいる。

OpenAI Superalignment チームは、先週退社が発表された OpenAI の共同創設者で元主任研究員の Ilya Sutskever 氏のリーダーシップの下に設立されました。 OpenAI で長年研究者を務めている Jan Laecke 氏がチームの共同リーダーです。 同氏はスツケヴァー氏の辞任から２日後の金曜日に辞任を発表した。 その後、会社はチームの残りの従業員約25名に対し、チームの解散と社内での配置転換を通告した。

これは、1 年も経たない前まで OpenAI の仕事が会社にとって不可欠であり、文明の将来にとって重要であると考えられていたチームにとって、急激な転落でした。 超知能とは、すべての人間を合わせたよりも賢い、将来の仮想的な人工知能システムのアイデアです。 これは、汎用人工知能 (AGI)、つまり人間と同じくらい賢い単一の AI システムを作成するという同社の目標を超えるテクノロジーです。

スーパーインテリジェンス株式会社 チーム発表時に彼はこう言った人々を殺害したり奴隷化しようとしたりすることで、人類の存続を脅かす可能性があります。 OpenAIは発表の中で、「潜在的に超インテリジェントなAIを導き、制御し、AIの不正行為を防ぐソリューションがない」と述べた。 スーパーアライメント チームはこれらの解決策を研究することになっていました。

これは非常に重要な使命であったため、同社は発表の中で「今後 4 年間でこれまでに獲得したコンピューティングの 20%」をこの取り組みに費やすと述べた。

しかし、スーパーアライメントチームの活動に詳しい関係者６人は、そのようなコンピューティングがこのグループに割り当てられたことは一度もなかったと述べた。 その代わりに、3 か月ごとに再評価される同社の通常のコンピューティング割り当て予算よりもはるかに低い金額が支払われました。

スーパーアライメントチームの活動に詳しい関係者によると、20％を正確に計算する方法について明確な指標はなく、幅広い解釈が可能だという。 たとえば、関係者によると、その約束が「4年間年間20％」なのか、「4年間年間5％」なのか、あるいは最終的には「1％か2％」になる可能性のある変動額なのかはチームには知らされていなかったという。最初の 3 年間は「4 年間で %」、その後 4 年目にコミットメントの大部分を占めます。 とにかくすべてのソース 運 この記事により、Superalignment チームは 2023 年 7 月の時点で OpenAI のセキュア コンピューティングの 20% 近くをまったく取得していないことが確認されました。

OpenAI の研究者は、四半期ごとの予算会議の合間に新しいプロジェクトを処理するために、いわゆる「エラスティック」コンピューティング (予算を超えた追加の GPU 容量へのアクセス) のリクエストを送信することもできます。 しかし、これらの関係者によると、スーパーアライメントチームからの柔軟な要請は高官によって日常的に拒否されているという。

OpenAIの研究担当副社長のボブ・マグロウ氏は、これらの要求が拒否されたことをチームに通知した幹部だったが、CTOのミラ・モラッティ氏を含む同社の他のメンバーが決定に関与していたと関係者は述べた。 マグロウ氏もモラッティ氏もこの件についてのコメント要請に応じなかった。

チームがいくつかの調査を行っている間に、それがリリースされました 紙 同関係者は、2023年12月に強力ではないAIモデルでより強力なモデルを制御できるようにすることに成功した経験を詳述し、コンピューティング不足がチームのより野心的なアイデアを妨げたと述べた。

辞任後、ライク氏は金曜日、X（旧ツイッター）に一連の投稿を行い、「安全文化やプロセスが輝く製品よりも後回しになっている」と前雇用主を批判した。 彼はまた、「過去数か月間、私のチームは風に逆らって航海してきた。 時には計算に苦労することもあり、この重要な研究を完了することがますます困難になってきました。

スーパーアライメントチームの活動に詳しい5人の関係筋はライク氏の説明を支持し、アルトマン氏と非営利団体オープンAIの理事会の間で感謝祭前の対立をきっかけにコンピューティングアクセスの問題が悪化したと述べた。

取締役会のメンバーであるサツケバー氏はアルトマン氏の解任に投票しており、このニュースをアルトマン氏に知らせるために取締役会が選んだ人物だった。 この決定に対してOpenAIの従業員が反乱を起こした際、サツケヴァー氏は後にアルトマン氏の解雇に関与したことを「深く後悔している」とXに投稿した。 最終的にアルトマン氏は再任され、スツケヴァー氏と彼の取締役解任に関与した他の取締役数名が辞任した。 Altman氏が再雇用された後、Sutskever氏はOpenAIの仕事に戻ることはなかったが、先週まで正式に退職しなかった。

ある情報源が他の情報源の手法に同意しなかった 運 彼女はスーパーアライメントが直面したコンピューティングの問題について語り、それらは未遂に終わったクーデターへのサツケヴァー氏の関与以前から存在し、グループを当初から悩ませていたと述べた。

サツケヴァー氏がリモートで引き続きスーパーアライメントチームの共同リーダーを務めているとの一部報道もあったが、チームの仕事に詳しい情報筋によると、そうではなく、サツケヴァー氏はチームの仕事にアクセスできず、その後チームを指揮する役割も果たさなかったという。 。 感謝祭。

情報筋によると、サツケヴァー氏の辞任により、スーパーアライメントチームは、組織内でコンピューティングの流用を主張するのに十分な政治資金を持っていたチームメンバーの一人を失った。

Leike氏とSutskever氏に加えて、OpenAIはここ数カ月でさまざまなチームから少なくとも6人のAI安全性研究者を失った。 研究者の一人、ダニエル・ココタギロ氏は、Voxニュースサイトに対し、「OpenAIのリーダーシップとAGIを責任を持って処理する彼らの能力に徐々に自信を失い、辞任した」と語った。

ライク氏のコメントに応えて、アルトマン氏と共同創設者でOpenAI社長のグレッグ・ブロックマン氏は次のように投稿した。 [Leike] 彼が OpenAI のために行ったことすべてに対して。 2人は続けて、「それぞれの新モデルのリスクに見合った安全作業の水準を引き上げ続ける必要がある」と書いた。

次に彼らは、将来の AI の安全性に対する同社のアプローチについて意見を述べました。これには、将来のより強力なモデルを安全にする方法について理論的なアプローチを開発しようとするのではなく、現在開発中のモデルのテストにはるかに重点が置かれる予定です。 ブロックマン氏とアルトマン氏は「非常に緊密なフィードバックループ、厳格なテスト、あらゆる段階での慎重な検討、世界クラスのセキュリティ、安全性と機能の調和が必要だ」と書き、「経験的な理解が今後の方向性を決定するのに役立つ可能性がある」と付け加えた。

彼らが話した人々 運 彼らは、職を失うのが怖い、会社の既得株を失うのが怖い、あるいはその両方の理由で、匿名でそうしたのです。 OpenAIを退職した従業員は、会社を公に批判した場合、あるいは条項の存在を認めた場合でも会社が既得株を償還できるという厳格な非差別条項を含む離職契約書に署名することを強制された。 従業員には、離職合意書への署名を拒否した場合には株式も失うと告げられている。

フォックスの後 言及された これらの別居条件に関して、アルトマンはXに、この条項を知らなかったし、この事実に「本当に当惑している」と投稿した。 同氏は、OpenAIがこの条項を強制したり、既得権を誰かに取り戻そうとしたことは一度もなかったと述べた。 同氏は、同社はこの問題を「解決」するために退職届を更新している最中であり、署名した退職届の条項に懸念がある元従業員は、この件について直接連絡すれば変更されるだろうと述べた。