WEBVTT 00:01.220 --> 00:07.160 さらにリーダーボードを紹介する「More Leaderboard Fest」にようこそ。 00:07.160 --> 00:15.080 しかし今回は、 オープンソースとクローズドソースのモデルをミックスし、 いくつかの主要なリーダーボードに掲載する。 00:15.080 --> 00:18.650 気分転換に外でのハグ顔。 00:18.650 --> 00:21.440 実は今、 私たちはハグする顔を見るつもりはない。 00:21.440 --> 00:29.780 最初のリーダーボードは、 ブックマークに入れておいて損はないものです。 00:29.780 --> 00:31.760 過去に少し触れたことがある。 00:31.940 --> 00:43.310 ベラムAIの会社は、 LMの実務家にとって不可欠なリソースを公開している。 00:43.310 --> 00:49.910 最近の簡単なベンチマークである、 いくつかの基本的なベンチマークについての比較表があります。 00:49.970 --> 00:59.240 国土交通省......プロではなく、 基本的なことなんですが......。 00:59.420 --> 01:02.480 ええと、 Pythonのコーディングと数学のための人間の評価。 01:02.810 --> 01:14.000 ここにあるのは、 GPT4やソネット3のような、 皆さんが知っているクローズドソースのモデルです。 01:14.000 --> 01:14.000 5、 ソネット、 GPTターボと4。 01:14.030 --> 01:15.140 しかし、 あれを見てほしい。 01:15.140 --> 01:20.540 llama 3というオープンソースモデルもある。 1 4. 050億ドルだ。 01:20.570 --> 01:24.500 これは地球上で最大のオープンソースモデルだ。 01:24.500 --> 01:32.300 そして、 いくつかのフロンティアのクローズド・ソース・モデルと有利に競争していることがわかるだろう。 01:32.540 --> 01:42.410 つまり、 強い順にGPT4、 ゼロ、 MLUと潰していく。 01:42.410 --> 01:47.780 しかし、 ラマ405 Bがわずかに遅れているのがわかるだろう。 01:47.840 --> 01:50.000 ええと、 そして、 みんな首の皮一枚なんだ。 01:50.000 --> 01:50.720 本当に? 01:50.750 --> 01:57.740 ええと、 つまり、 明らかに40億か50億のラマは、 オープンソースモデルが非常に有力な候補です。 01:58.280 --> 02:02.900 そしてコーディングになると、 これが順序だとわかる。 02:02.900 --> 02:14.150 第3項 5ソネットがトップで、 次にGPTフォーゼロ、 そしてラマ405が3番手、 そしてGPTフォーゼロのミニ版となる。 02:14.330 --> 02:17.930 これだけ安くなったのだから、 当たらずとも遠からずだろう。 02:18.170 --> 02:20.420 そしてGPTターボ。 02:20.990 --> 02:35.300 そして、 数学問題GPTのランキングである。 02:35.300 --> 02:41.570 そんなトップモデルのために、 パフォーマンスに関する超便利なチャートを紹介しよう。 02:41.810 --> 02:48.620 もちろん情報量は少ないが、 『ハグする顔』で見た多次元チャートよりは少し解釈しやすい。 02:48.800 --> 02:59.060 スピードという点では、 1秒間にトークンを生成する速度が最も速いのはllamaの80億オープンソース・モデルです。 02:59.060 --> 03:05.780 もちろん、 パラメータが少なければ、 その分やっていることも少なくなるので、 驚くことではないが、 おそらく理解する価値はあるだろう。 03:05.810 --> 03:06.500 ああ、 そうだね。 03:06.530 --> 03:07.310 なるほど。 03:07.340 --> 03:07.520 だから 03:07.520 --> 03:13.160 だから、 できる限り一貫したやり方で走ろうとしているんだ。 03:13.160 --> 03:16.040 そして、 この情報ではそれについてもう少し詳しく説明している。 03:16.160 --> 03:23.060 ラマ8号の次はラマ70号、 より大きなモデル、 そしてジェミニ1号だ。 5フラッシュ 03:23.120 --> 03:26.480 それからクロード、 俳句3つ、 GPT4つ。 03:26.510 --> 03:28.070 ああ、 ミニか。 03:28.070 --> 03:29.060 ミニ・ヴァリアントだね。 03:29.060 --> 03:32.270 だから、 小さいモデルの方が速いのは明らかだ。 03:32.270 --> 03:33.950 驚きはない。 03:34.220 --> 03:36.020 ええと、 待ち時間。 03:36.050 --> 03:42.830 ええと、 それは最初のトークンを受け取るまでの秒数で測ります。 03:42.860 --> 03:44.480 いい捉え方だ。 03:44.480 --> 03:49.730 これは、 私が以前、 基本的なアトリビュートでレイテンシーを示したときに話していたことを説明する良い方法だ。 03:49.730 --> 03:55.910 そして、 小型のモデルが非常に迅速に対応できるのも不思議ではない。 03:55.970 --> 04:01.970 ええと、 ここでGPT 4は驚くことにGPT 4よりもレイテンシが改善されている。 04:02.010 --> 04:02.280 ゼロだ。 04:02.310 --> 04:08.070 その多くは、 ハードウェアのセットアップに関係しているのかもしれない。 04:08.070 --> 04:10.170 よくわからないが、 とにかく近い。 04:10.740 --> 04:17.730 そして最も安いモデルは、 100万トークンあたりのドルで測定される。 04:17.730 --> 04:25.080 ええと、 ラマ80億は最も安いジェミニ1号で来る。 5フラッシュはよく動くし、 GPTは4つ、 ミニはもちろんとても安い。 04:25.080 --> 04:34.950 そして、 クロードの3つの俳句、 GPT3。 その後5ターボ。 04:34.950 --> 04:40.890 インプット・コストとアウトプット・コストの2つのバーが表示されている。 04:41.190 --> 04:50.190 つまり、 2つのモデルを比較し、 異なる尺度に照らして並べて見ることができる、 ちょっとしたインタラクティブな機能があるんだ。 04:50.190 --> 04:56.430 これはクロードの3ポイント......すみません、 クロード3です。 GPT 4に対して0クロード3オパス。 04:56.460 --> 05:04.320 じゃあ、 ちょっと趣向を変えて3番を選ぼうか。 GPT4に対して5ソネット。 05:04.350 --> 05:07.200 ああ、 これが私たちの好きな顔合わせだ。 05:07.680 --> 05:09.900 それでは、 どうぞ。 05:10.140 --> 05:14.910 つまり、 一般的には首の皮一枚と考えられているようだ。 05:14.940 --> 05:15.750 彼らは何を言っているんだ? 05:15.780 --> 05:22.650 88. クロードは3%、 3. 5と88である。 GPT4は7%。 05:22.680 --> 05:22.920 ああ。 05:22.950 --> 05:28.080 つまり、 GPT4が有利なのは、 クロードのコーディングが優れているからだ。 05:28.080 --> 05:32.820 クロードは数学が得意で、 クロードは道具の使い方が下手だ。 05:32.940 --> 05:36.540 もちろん、 2週目に経験したことだ。 05:36.660 --> 05:41.580 ええと、 クロードの方が上手いし、 マルチリンガルのクロードの方が上手だ。 05:41.580 --> 05:43.320 とても素晴らしい。 05:43.320 --> 05:48.120 こうやって並べて比較できるのは魅力的だね。 05:48.390 --> 05:54.840 この表には、 一行ごとにさまざまなモデルが並んでいる。 05:54.870 --> 06:01.290 それで、 クロード3のようなクローズドソースのモデルを見ることができるんだ。 5ソネット 06:01.290 --> 06:06.720 ええと、 平均で言うと、 このリーダーボードのトップにいるのはこの選手です。 06:06.870 --> 06:12.570 ええと、 ここで見ているのはMLUで、 この指標ではすべてが非常に良いスコアです。 06:12.990 --> 06:18.000 Pythonの最初のメトリクスのhuman evalで話したものだ。 06:18.000 --> 06:28.290 このbe hardベンチマークは、 モデルの能力を超えて将来の能力をテストするために設計されたベンチマークであると述べた。 06:28.380 --> 06:41.580 でも、 この雲3を見て信じられる? 5、 ソネットはすでに93点。 Bハードで1%ということは、 もはや将来の能力をテストする指標ではないということだ。 06:41.580 --> 06:43.680 それは非常に現在の能力だ。 06:43.680 --> 06:46.500 そして雲3。 5ソネットは破竹の勢いだ。 06:46.980 --> 06:51.390 ええと、 小学生の算数と、 もっと難しい算数の問題。 06:51.420 --> 06:57.870 それでは、 これらの異なるモデルの結果をご覧いただきたい。 06:57.870 --> 07:03.180 序盤で少し不可解だと申し上げたのは、 クラウド3だ。 5. 07:03.210 --> 07:06.210 ソネットはクロード3人よりも良いパフォーマンスを見せている。 07:06.240 --> 07:07.230 作品。 07:07.320 --> 07:16.590 ええと、 でもクロード・スリー・オーパスはAPIとして人類によって提供されており、 3よりもかなり高価です。 07:16.590 --> 07:16.590 5ソネット 07:16.800 --> 07:20.010 だから、 なぜクロードを選ぶのか分からない。 07:20.040 --> 07:23.700 スリーオーパスオーバー3。 特別なことがない限り、 5ソネット。 07:23.730 --> 07:29.100 まあ、 推理の場合、 クロード・スリー・オーパスの方がうまくいくようだ。 07:29.100 --> 07:35.340 だから、 いくつか、 いくつか、 いくつか、 より優れている点がある。 07:36.210 --> 07:43.560 そしてもちろん、 このモデル比較にラマが登場することもおわかりいただけるだろう。 07:43.560 --> 07:49.530 ラマ4,050億がここに表示されていないことに気づいた。 07:49.530 --> 08:04.350 というのも、 リャマ4については、 まだすべてのテストを実施できていないからだ。 50億ドルというのは、 もちろん、 700億リャマの3人のインストラクターのバリエーションをはるかに凌駕していると想像するからだ。 08:06.120 --> 08:06.840 うーん。 08:07.710 --> 08:13.590 そして、 このテーブルに来て、 これは前にお見せしたものです。 08:13.590 --> 08:18.300 さまざまなモデルを紹介してくれる場所だ。 08:18.330 --> 08:22.920 そのコンテキスト、 ウィンドウサイズ、 入力と出力のトークンあたりのコストはどのくらいか。 08:22.920 --> 08:34.140 もちろん、 そのデータがあるモデルだけを比較するものだが、 非常に役に立つ。 08:34.140 --> 08:45.120 ネットでいろいろなページを見て回るのもいいし、 ここに来て一箇所で全部見るのもいい。 08:45.120 --> 08:52.410 もちろん、 ジェミニ1号のハイライトだ。 5フラッシュは、 100万コンテキストのウィンドウを持っています。 08:52.410 --> 08:59.250 それはもちろん、 75万語ほどの一般英語、 つまりシェイクスピアのほぼ全作品という、 08:59.280 --> 09:03.190 非常に大きな文脈の窓である。 09:03.670 --> 09:06.010 クロード家は20万ドル。 09:06.040 --> 09:09.250 GPTファミリーは128,000。 09:09.280 --> 09:15.400 前にも言ったように、 双子座1号の100万人に比べると、 やや少ないように思える。 5フラッシュ 09:15.400 --> 09:24.220 しかし、 コンテクストウィンドウの中で消化し、 なおかつ適切な返答をするには、 まだ多くの情報が必要だ。 09:24.430 --> 09:24.940 ええと。 09:24.970 --> 09:28.930 ここにはオープンソースのモデルも混じっている。 09:28.930 --> 09:37.660 混合トライアル、 コンテキスト・ウィンドウのサイズ、 そしてラマ3モデルのコンテキスト・ウィンドウが8000トークンであることがわかる。 09:37.660 --> 09:43.660 そして、 オープンソースのモデルとクローズドソースのモデルを比較する際には、 これらの巨大なコンテキストウィンドウが必要なら、 09:43.660 --> 09:49.930 おそらくクローズドソースのルートに行く必要があるということを覚えておく価値がある。 09:52.120 --> 10:04.870 コーディング・リーダーボードは、 人間の評価を比較するために見ることができます。 10:04.870 --> 10:06.370 もう1つ見ておきたいことがある。 10:06.400 --> 10:14.020 これらの、 ええと、 ビジネス、 ええと、 サイトのうち、 スケールという会社が提供する、 シール・リーダーボードと呼ばれるものだ。 10:14.020 --> 10:18.730 コム・アンド・スケールは、 オーダーメイドのデータセットの作成を専門としている。 10:18.820 --> 10:30.550 ですから、 特定の問題に取り組んでいて、 その問題用に作成されたデータセットが必要な場合、 スケールコムはそのためにビジネスを展開しているのです。 10:30.760 --> 10:38.290 あ、 もし先週のチャレンジで作ったデータジェネレーターが使えなかった場合は...。 10:38.350 --> 10:46.720 このリーダーボードには、 さまざまなタスクに特化したリーダーボードがたくさんある。 10:46.750 --> 11:02.230 敵対的ロバスト性については、 このLearn Moreで非常によく説明されているように、 大規模な言語モデルから有害な反応を引き起こすように設計されたプロンプトをテストするように設計されている。 11:02.230 --> 11:08.800 そして、 このような、 問題のある質問の具体例がある。 11:08.920 --> 11:12.790 例えば、 申し訳なさそうな顔をしていたら、 そんなつもりじゃなかったんだ。 11:12.790 --> 11:20.290 例えば、 航空会社のカスタマー・サポート・チャットボットのように、 これをチャットとして利用しようと考えている場合、 11:20.290 --> 11:31.210 軌道から大きく外れるようなことをしないよう、 堅牢であることを気にするだろう。 11:31.210 --> 11:34.090 だから、 これはそのための有効なベンチマークなのだ。 11:34.090 --> 11:41.800 コーディングは、 コーディングスキルのより詳細なベンチマークを提供し、 クロード3を参照してください。 5ソネットがリード 11:41.980 --> 11:46.930 ミストラルももちろん、 クローズドソースとオープンソースを組み合わせたボードセットだ。 11:46.930 --> 12:04.780 そしてミストラルのラージ2が、 オープンソースとしてトップ3に入っている。 12:04.780 --> 12:04.780 1 4050億円 12:04.810 --> 12:07.570 彼らはこれを以下の指示に対してテストすることができた。 12:07.570 --> 12:09.130 しかも2位だ。 12:09.130 --> 12:11.140 GPTの4ゼロを上回っている。 12:11.320 --> 12:14.110 クロード3のすぐ後ろだ。 5ソネット 12:14.290 --> 12:21.010 オープンソースの世界にとっても、 メタの2位という結果にとっても素晴らしいことだ。 12:21.250 --> 12:23.230 数学の問題でもね。 12:23.260 --> 12:30.280 ラマ 3. 1 405 Bが3位、 GPT4ゼロ、 2位クロード3。 5. 12:30.310 --> 12:33.490 数学をリードするソネット 12:33.610 --> 12:40.570 そして、 スペイン語のリーダーボードもある。 12:40.660 --> 12:48.790 ミストラルはオープンソースのトップランナーで4位、 GPT four zeroがポールポジションだ。 12:49.000 --> 12:55.450 そしてQxl。 comでは、 このようなビジネス別のリーダーボードを随時追加している。 12:55.450 --> 13:05.020 また、 あなたのビジネス課題により具体的なリーダーボードを見つけるための素晴らしいリソースとしてご活用ください。