言葉は終わりのない雨のように流れます: LLM ニュースで忙しい一週間を総括

AI ニュースには不気味なほど静かな週もあるが、その週の出来事をコントロールすることが流れを食い止めようとしているように感じる週もある。 今週は 3 つの注目すべきラージ言語モデル (LLM) リリースがありました: Google Gemini Pro 1.5 一般提供 無料利用枠では、OpenAI は次の料金を請求します。 新しいコピー GPT-4 Turbo、Mistral は新しいオープンライセンス LLM をリリースしました。 ミストラル 8x22B。 3回の打ち上げは火曜日から24時間以内に行われた。

ソフトウェア エンジニアで独立系の AI 研究者である Simon Willison (彼も… に関する本 (Frantic LLM は今週独自のブログで開始されます)、3 つの主要なイベントをそれぞれほぼ時系列順に簡単に説明し、その後、今週追加の AI イベントについて詳しく説明します。

Gemini Pro 1.5 一般リリース

太平洋時間火曜日の朝、Google 発表する Gemini 1.5 Pro モデル (2 月に初めて取り上げました) は現在、Gemini API を介してパブリック プレビューとしてヨーロッパを除く 180 か国以上で利用可能です。 これは、Google がこれまでに提供した中で最も強力な一般 LLM 証明書であり、1 日あたり最大 50 件のアプリケーションを許可する無料枠で利用できます。

最大 100 万個の入力コンテキスト トークンをサポートします。 ウィソンが指摘するように 彼のブログでGemini 1.5 Pro の API 価格は、入力コード 1 個あたり 7 ドル、出力コード 1 個あたり 21 ドルで、GPT-4 Turbo よりわずかに安くなります (手頃な値段 100 万ドル当たり 10 ドルの収入、30 ドル /100 万ドルの収入）など クロード 3 ソネット (Anthropic 社の中級 MBA、 手頃な値段 インバウンド100万あたり3ドル、アウトバウンド100万あたり15ドル）。

Gemini 1.5 Pro には、ユーザーがオーディオまたはビデオ プロンプトをアップロードできるネイティブ音声 (音声) 入力処理、ファイルを処理するための新しいファイル API、フォーム応答を指示するためのカスタム システム命令 (システム プロンプト) を追加する機能が含まれていることは注目に値します。 JSON モード。

「大幅に改良された」GPT-4 Turboの発売。

Googleが火曜日に1.5 Proを発表した直後、OpenAIは、「gpt-4-turbo-2024-04」-09と呼ばれるGPT-4 Turbo（もともと11月に発表されたモデルファミリー）の「大幅に改良された」バージョンを公開すると発表した。 「これは、マルチモーダル GPT-4 ビジョン処理 (画像コンテンツの認識) をモデルに直接統合しており、最初は API アクセスのみを通じて起動されます。

そして木曜日、OpenAIは、新しいGPT-4 Turboモデルが有料のChatGPTユーザーに利用可能になると発表した。 OpenAIは、新しいモデルにより「文章作成、数学、論理的思考、コーディングの能力」が向上すると述べた。 チャートの共有 これは能力を判断するのに特に役に立ちません（後に彼らはそうしました） 更新しました）。 会社もね 例を挙げました ChatGPTで書く場合、AIアシスタントは「より直接的で、冗長さが減り、より会話的な言語を使用する」と主張する改善点について述べた。

OpenAI の GPT-4 Turbo 発表の曖昧な性質が一部の人々を惹きつけた 混乱 そしてネット上での批判。 10日、ウィソン 本「本当に役立つリリース ノートを公開する最初の LLM プロバイダーは誰でしょうか?」 Cloud 3 のデビュー時に LLM 標準の劣悪な状態について嘆いた記事で説明したように、これはある意味で再び「AI 感情」の事例です。 「実際に品質に特に違いは感じられませんでした」 [related to GPT-4 Turbo]」とウィソンはインタビューで直接語った。

このアップデートでは GPT-4 の知識制限も 2024 年 4 月まで拡張されましたが、一部の人々はこれを達成できると報告しています… 隠されたウェブ検索 バックグラウンドで他の人がソーシャルメディアを利用している 報告された問題 歴史に関連した混乱を伴う。

ミストラル ミステリー エディション ミストラル 8x22B

フランスの人工知能企業ミストラルも負けじと、火曜日の夜、最新のオープンライセンスモデルであるミストラル 8x22B を発売しました。 torrent リンクを含むツイート 以前のバージョンと同様、ドキュメントやコメントはありません。

新しい Hybrid Edition of Experts (MoE) は、以前のより高性能なオープン モデルよりも多くのパラメーターを備えています。 ミストラル 8x7B、12月に取り上げました。 潜在的に GPT-4 と同じくらいの能力があると噂されています (どういう意味ですか? Vibes)。 しかし、これはまだ見られていません。

「評価はまだ進行中ですが、現時点での最大の未解決の問題は、Mixtral 22x8B の形状がどの程度良好であるかです」と Willison 氏は Ars に語った。 「GPT-4 や Claude 3 Opus と同じ品質クラスであれば、最高の独自モデルに大きく劣らない、オープンライセンスモデルがついに登場することになります。」

このリリースに Willison 氏は非常に興奮し、次のように述べました。「これが本当に GPT-4 なら、（高価な）ラップトップで実行できるので、とんでもないことになります。そのためには 128GB RAM の MacBook が必要だと思います。これは「2 倍」です必要だった。” 所有しています。」

Willison 氏は、Mistral が正確なチャット モデルをまだリリースしていないため、新しい Mixtral ソフトウェアはまだ Chatbot Arena に含まれていないと述べました。 これは、次の LLM トークンを予測するためのプロトタイプ プログラムです。 「現在、コミュニティの指導の管理されたバージョンが少なくとも 1 つあります」とウィリソン氏は言います。

チャットボットアリーナのリーダーボードの変更

今週の LLM ニュースは、この分野の有名人だけに関するものではありません。 ソーシャル メディアでは、Cohere モデルなどのオープンソース モデルのパフォーマンスの向上についての噂もあります。 R+コマンド、 どれでも 6位に到達 LMSYS チャットボット アリーナ リーダーボード – オープン ウェイト モデル史上最高のランキング。

そして、チャットボット アリーナをさらに興奮させるために、GPT-4 Turbo の新バージョンが Claude 3 Opus と競合できることが証明されたようです。 この 2 つは依然として統計的には互角ですが、GPT-4 Turbo は最近、 前に引っ張った 数値的には。 (3 月に、Claude 3 が GPT-4 Turbo で初めてデジタルで首位に立ったときのことを報告しました。これは、他の AI モデルがリーダーボードで GPT-4 ファミリー モデルを破ったのは初めてでした。)

LLM 間のこの熾烈な競争について、密輸業界のほとんどが気づいていないし、これからも起こらないだろうが、ウィルソン氏はアルスに次のように語った。 GPT-4を使って。」 今年後半に OpenAI が噂されている GPT-5 の発売によって、かつては乗り越えられないと思われていた同社の技術的リーダーシップが回復するかどうかが分かるだろう、と我々は指摘する。 しかし現時点では、「OpenAI はもはや MBA における議論の余地のないリーダーではない」と Willison 氏は言います。