人工知能は言語の習得です。 彼の言うことを信頼すべきでしょうか？

「これにより、安全性の問題についてより思慮深く、より熟考できるようになると思います」とアルトマンは言います。 「私たちの戦略の一部は、世界の漸進的な変化は突然の変化よりも優れているということです。」 または、OpenAIのVPであるMira Morattiが言ったように、ソフトウェアへのオープンアクセスを制限するセキュリティチームの仕事について彼女に尋ねたところ、「これらの強力なテクノロジーを導入する方法を学ぶつもりなら、賭け金が非常に低いときに始めましょう。 。」

GPT-3自体が アイオワ州のスーパーコンピュータークラスターで285,000個のCPUコアで実行されている、OpenAIは、サンフランシスコのミッションエリアの外で、改装された手荷物工場で動作します。 昨年の11月、私はそこでIlya Sotskeferに会い、GPT-3が実際にどのように機能するかについて素人の説明を引き出しようとしました。

「それがGPT-3の基本的な考え方です」とSotskeverは椅子に寄りかかって熱心に言いました。 彼は質問に答える興味深い方法を持っています：いくつかの誤ったスタート-「あなたが求めた説明とほぼ一致する説明をあなたに与えることができます」-長い瞑想の一時停止によって中断され、まるで彼が進行中の応答全体をグラフ化しているかのようです。

彼は最後に次のように述べています：「GPT-3の基本的な考え方は、理解の直感的な概念を、機械的に測定および理解できるものに関連付ける方法であり、それはテキスト内の次の単語を予測するタスクです。 他の形式の人工知能は、世界に関する情報をエンコードしようとします。偉大なマスターのチェス戦略、気候学の原則です。 しかし、GPT-3インテリジェンスは、インテリジェンスがその言葉である場合、ボトムアップから来ます。つまり、次の単語を予測するための基本動詞を介して行われます。 GPT-3トレーニングの場合、モデルには「プロンプト」（たとえば、新聞記事、小説、科学論文からのテキストの数文または段落）が与えられ、次に、モデルに考えられる単語のリストを提案するように求められます。確率順に並べられたシーケンスを完了する可能性があります。 トレーニングの初期段階では、提案された単語はナンセンスです。 「ライターが最初の単語から最後の単語を削除しました。。。。」のような文でアルゴリズムに質問すると、ナンセンスのストリームのようなものになると推測されます。その特定の提案を生成するランダムなニューラル接続を強化および弱めます誤った推測を生成したすべての接続次に、次のルーターに移動します。時間の経過とともに、十分な反復で、プログラムは学習します。

1月に、OpenAIは、ユーザーがテキストのサンプルセグメントを拡張することを要求するだけでなく、プロンプトとして直接GPT-3命令を与えることを可能にする機能を追加しました。 たとえば、ヘルプモードを使用すると、GPT-3に「イタロカルヴィーノの作品におけるメタフィクションの役割について説明するエッセイを書く」というプロンプトが表示されました。 次のように始まった短い段落：

イタリアの作家イタロ・カルヴィーノは、メタフィクションの専門家と見なされています。メタフィクションは、作家が自分自身を書く行為について議論するために第4の壁を破るタイプの執筆です。 カルヴィーノにとって、メタフィクションは現実の本質と物語が私たちの世界の認識を形作ることができる方法を探求する方法です。 彼の小説には、現実とファンタジーの境界を操作する遊び心のある構造や迷路が含まれていることがよくあります。 たとえば、旅行者が冬の夜にいる場合、読者は読書行為のメタレベルとストーリーテリングの性質での議論によって絶えず中断されます。 。 。 。

GPT-3にまったく同じプロンプトを何度も与えることができ、そのたびに一意の応答が生成されます。他の応答よりも説得力がありますが、ほとんどすべてが非常に簡単です。 指示プロンプトは、「ボロネーゼソースのすべての材料のリストを教えてください」、「ジョンアッシュベリースタイルのフランスの海辺の村についての詩を書いてください」、「ビッグバンを8年間の言葉で説明してください」など、さまざまな形をとることができます。時々、この種のGPT-3刺激を与えた最初の数回は、本物のグースバンプが背骨を流れ落ちるのを感じました。予測するための初期トレーニングに完全に基づいて、マシンがこれほど明確で応答性の高いテキストを生成することはほとんど不可能に思えました。次の言葉。

しかし、AIには、実際に商品を届けることなく、知性や理解の幻想を生み出す長い歴史があります。 で 多くの議論された論文 昨年公開されたワシントン大学の言語学教授EmilyBender、元Google研究者のTimnit Gebruと共著者のグループは、大規模な言語モデルは単なる「ランダムなオウム」であると宣言しました。つまり、プログラムはランダム化を使用して、人間。 ベンダーは最近、電子メールで私に次のように語っています。データセット」—および「そのようなものを構築および販売する人々が持つことができる」文化技術は、不正確なデータに基づいて構築することにはほど遠いです。」