You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

418 lines
16 KiB

WEBVTT
00:01.220 --> 00:07.160
さらにリーダーボードを紹介する「More Leaderboard Fest」にようこそ。
00:07.160 --> 00:15.080
しかし今回は、 オープンソースとクローズドソースのモデルをミックスし、 いくつかの主要なリーダーボードに掲載する。
00:15.080 --> 00:18.650
気分転換に外でのハグ顔。
00:18.650 --> 00:21.440
実は今、 私たちはハグする顔を見るつもりはない。
00:21.440 --> 00:29.780
最初のリーダーボードは、 ブックマークに入れておいて損はないものです。
00:29.780 --> 00:31.760
過去に少し触れたことがある。
00:31.940 --> 00:43.310
ベラムAIの会社は、 LMの実務家にとって不可欠なリソースを公開している。
00:43.310 --> 00:49.910
最近の簡単なベンチマークである、 いくつかの基本的なベンチマークについての比較表があります。
00:49.970 --> 00:59.240
国土交通省......プロではなく、 基本的なことなんですが......。
00:59.420 --> 01:02.480
ええと、 Pythonのコーディングと数学のための人間の評価。
01:02.810 --> 01:14.000
ここにあるのは、 GPT4やソネット3のような、 皆さんが知っているクローズドソースのモデルです。
01:14.000 --> 01:14.000
5、 ソネット、 GPTターボと4。
01:14.030 --> 01:15.140
しかし、 あれを見てほしい。
01:15.140 --> 01:20.540
llama 3というオープンソースモデルもある。 1 4. 050億ドルだ。
01:20.570 --> 01:24.500
これは地球上で最大のオープンソースモデルだ。
01:24.500 --> 01:32.300
そして、 いくつかのフロンティアのクローズド・ソース・モデルと有利に競争していることがわかるだろう。
01:32.540 --> 01:42.410
つまり、 強い順にGPT4、 ゼロ、 MLUと潰していく。
01:42.410 --> 01:47.780
しかし、 ラマ405 Bがわずかに遅れているのがわかるだろう。
01:47.840 --> 01:50.000
ええと、 そして、 みんな首の皮一枚なんだ。
01:50.000 --> 01:50.720
本当に?
01:50.750 --> 01:57.740
ええと、 つまり、 明らかに40億か50億のラマは、 オープンソースモデルが非常に有力な候補です。
01:58.280 --> 02:02.900
そしてコーディングになると、 これが順序だとわかる。
02:02.900 --> 02:14.150
第3項 5ソネットがトップで、 次にGPTフォーゼロ、 そしてラマ405が3番手、 そしてGPTフォーゼロのミニ版となる。
02:14.330 --> 02:17.930
これだけ安くなったのだから、 当たらずとも遠からずだろう。
02:18.170 --> 02:20.420
そしてGPTターボ。
02:20.990 --> 02:35.300
そして、 数学問題GPTのランキングである。
02:35.300 --> 02:41.570
そんなトップモデルのために、 パフォーマンスに関する超便利なチャートを紹介しよう。
02:41.810 --> 02:48.620
もちろん情報量は少ないが、 『ハグする顔』で見た多次元チャートよりは少し解釈しやすい。
02:48.800 --> 02:59.060
スピードという点では、 1秒間にトークンを生成する速度が最も速いのはllamaの80億オープンソース・モデルです。
02:59.060 --> 03:05.780
もちろん、 パラメータが少なければ、 その分やっていることも少なくなるので、 驚くことではないが、 おそらく理解する価値はあるだろう。
03:05.810 --> 03:06.500
ああ、 そうだね。
03:06.530 --> 03:07.310
なるほど。
03:07.340 --> 03:07.520
だから
03:07.520 --> 03:13.160
だから、 できる限り一貫したやり方で走ろうとしているんだ。
03:13.160 --> 03:16.040
そして、 この情報ではそれについてもう少し詳しく説明している。
03:16.160 --> 03:23.060
ラマ8号の次はラマ70号、 より大きなモデル、 そしてジェミニ1号だ。 5フラッシュ
03:23.120 --> 03:26.480
それからクロード、 俳句3つ、 GPT4つ。
03:26.510 --> 03:28.070
ああ、 ミニか。
03:28.070 --> 03:29.060
ミニ・ヴァリアントだね。
03:29.060 --> 03:32.270
だから、 小さいモデルの方が速いのは明らかだ。
03:32.270 --> 03:33.950
驚きはない。
03:34.220 --> 03:36.020
ええと、 待ち時間。
03:36.050 --> 03:42.830
ええと、 それは最初のトークンを受け取るまでの秒数で測ります。
03:42.860 --> 03:44.480
いい捉え方だ。
03:44.480 --> 03:49.730
これは、 私が以前、 基本的なアトリビュートでレイテンシーを示したときに話していたことを説明する良い方法だ。
03:49.730 --> 03:55.910
そして、 小型のモデルが非常に迅速に対応できるのも不思議ではない。
03:55.970 --> 04:01.970
ええと、 ここでGPT 4は驚くことにGPT 4よりもレイテンシが改善されている。
04:02.010 --> 04:02.280
ゼロだ。
04:02.310 --> 04:08.070
その多くは、 ハードウェアのセットアップに関係しているのかもしれない。
04:08.070 --> 04:10.170
よくわからないが、 とにかく近い。
04:10.740 --> 04:17.730
そして最も安いモデルは、 100万トークンあたりのドルで測定される。
04:17.730 --> 04:25.080
ええと、 ラマ80億は最も安いジェミニ1号で来る。 5フラッシュはよく動くし、 GPTは4つ、 ミニはもちろんとても安い。
04:25.080 --> 04:34.950
そして、 クロードの3つの俳句、 GPT3。 その後5ターボ。
04:34.950 --> 04:40.890
インプット・コストとアウトプット・コストの2つのバーが表示されている。
04:41.190 --> 04:50.190
つまり、 2つのモデルを比較し、 異なる尺度に照らして並べて見ることができる、 ちょっとしたインタラクティブな機能があるんだ。
04:50.190 --> 04:56.430
これはクロードの3ポイント......すみません、 クロード3です。 GPT 4に対して0クロード3オパス。
04:56.460 --> 05:04.320
じゃあ、 ちょっと趣向を変えて3番を選ぼうか。 GPT4に対して5ソネット。
05:04.350 --> 05:07.200
ああ、 これが私たちの好きな顔合わせだ。
05:07.680 --> 05:09.900
それでは、 どうぞ。
05:10.140 --> 05:14.910
つまり、 一般的には首の皮一枚と考えられているようだ。
05:14.940 --> 05:15.750
彼らは何を言っているんだ?
05:15.780 --> 05:22.650
88. クロードは3%、 3. 5と88である。 GPT4は7%。
05:22.680 --> 05:22.920
ああ。
05:22.950 --> 05:28.080
つまり、 GPT4が有利なのは、 クロードのコーディングが優れているからだ。
05:28.080 --> 05:32.820
クロードは数学が得意で、 クロードは道具の使い方が下手だ。
05:32.940 --> 05:36.540
もちろん、 2週目に経験したことだ。
05:36.660 --> 05:41.580
ええと、 クロードの方が上手いし、 マルチリンガルのクロードの方が上手だ。
05:41.580 --> 05:43.320
とても素晴らしい。
05:43.320 --> 05:48.120
こうやって並べて比較できるのは魅力的だね。
05:48.390 --> 05:54.840
この表には、 一行ごとにさまざまなモデルが並んでいる。
05:54.870 --> 06:01.290
それで、 クロード3のようなクローズドソースのモデルを見ることができるんだ。 5ソネット
06:01.290 --> 06:06.720
ええと、 平均で言うと、 このリーダーボードのトップにいるのはこの選手です。
06:06.870 --> 06:12.570
ええと、 ここで見ているのはMLUで、 この指標ではすべてが非常に良いスコアです。
06:12.990 --> 06:18.000
Pythonの最初のメトリクスのhuman evalで話したものだ。
06:18.000 --> 06:28.290
このbe hardベンチマークは、 モデルの能力を超えて将来の能力をテストするために設計されたベンチマークであると述べた。
06:28.380 --> 06:41.580
でも、 この雲3を見て信じられる? 5、 ソネットはすでに93点。 Bハードで1%ということは、 もはや将来の能力をテストする指標ではないということだ。
06:41.580 --> 06:43.680
それは非常に現在の能力だ。
06:43.680 --> 06:46.500
そして雲3。 5ソネットは破竹の勢いだ。
06:46.980 --> 06:51.390
ええと、 小学生の算数と、 もっと難しい算数の問題。
06:51.420 --> 06:57.870
それでは、 これらの異なるモデルの結果をご覧いただきたい。
06:57.870 --> 07:03.180
序盤で少し不可解だと申し上げたのは、 クラウド3だ。 5.
07:03.210 --> 07:06.210
ソネットはクロード3人よりも良いパフォーマンスを見せている。
07:06.240 --> 07:07.230
作品。
07:07.320 --> 07:16.590
ええと、 でもクロード・スリー・オーパスはAPIとして人類によって提供されており、 3よりもかなり高価です。
07:16.590 --> 07:16.590
5ソネット
07:16.800 --> 07:20.010
だから、 なぜクロードを選ぶのか分からない。
07:20.040 --> 07:23.700
スリーオーパスオーバー3。 特別なことがない限り、 5ソネット。
07:23.730 --> 07:29.100
まあ、 推理の場合、 クロード・スリー・オーパスの方がうまくいくようだ。
07:29.100 --> 07:35.340
だから、 いくつか、 いくつか、 いくつか、 より優れている点がある。
07:36.210 --> 07:43.560
そしてもちろん、 このモデル比較にラマが登場することもおわかりいただけるだろう。
07:43.560 --> 07:49.530
ラマ4,050億がここに表示されていないことに気づいた。
07:49.530 --> 08:04.350
というのも、 リャマ4については、 まだすべてのテストを実施できていないからだ。 50億ドルというのは、 もちろん、 700億リャマの3人のインストラクターのバリエーションをはるかに凌駕していると想像するからだ。
08:06.120 --> 08:06.840
うーん。
08:07.710 --> 08:13.590
そして、 このテーブルに来て、 これは前にお見せしたものです。
08:13.590 --> 08:18.300
さまざまなモデルを紹介してくれる場所だ。
08:18.330 --> 08:22.920
そのコンテキスト、 ウィンドウサイズ、 入力と出力のトークンあたりのコストはどのくらいか。
08:22.920 --> 08:34.140
もちろん、 そのデータがあるモデルだけを比較するものだが、 非常に役に立つ。
08:34.140 --> 08:45.120
ネットでいろいろなページを見て回るのもいいし、 ここに来て一箇所で全部見るのもいい。
08:45.120 --> 08:52.410
もちろん、 ジェミニ1号のハイライトだ。 5フラッシュは、 100万コンテキストのウィンドウを持っています。
08:52.410 --> 08:59.250
それはもちろん、 75万語ほどの一般英語、 つまりシェイクスピアのほぼ全作品という、
08:59.280 --> 09:03.190
非常に大きな文脈の窓である。
09:03.670 --> 09:06.010
クロード家は20万ドル。
09:06.040 --> 09:09.250
GPTファミリーは128,000。
09:09.280 --> 09:15.400
前にも言ったように、 双子座1号の100万人に比べると、 やや少ないように思える。 5フラッシュ
09:15.400 --> 09:24.220
しかし、 コンテクストウィンドウの中で消化し、 なおかつ適切な返答をするには、 まだ多くの情報が必要だ。
09:24.430 --> 09:24.940
ええと。
09:24.970 --> 09:28.930
ここにはオープンソースのモデルも混じっている。
09:28.930 --> 09:37.660
混合トライアル、 コンテキスト・ウィンドウのサイズ、 そしてラマ3モデルのコンテキスト・ウィンドウが8000トークンであることがわかる。
09:37.660 --> 09:43.660
そして、 オープンソースのモデルとクローズドソースのモデルを比較する際には、 これらの巨大なコンテキストウィンドウが必要なら、
09:43.660 --> 09:49.930
おそらくクローズドソースのルートに行く必要があるということを覚えておく価値がある。
09:52.120 --> 10:04.870
コーディング・リーダーボードは、 人間の評価を比較するために見ることができます。
10:04.870 --> 10:06.370
もう1つ見ておきたいことがある。
10:06.400 --> 10:14.020
これらの、 ええと、 ビジネス、 ええと、 サイトのうち、 スケールという会社が提供する、 シール・リーダーボードと呼ばれるものだ。
10:14.020 --> 10:18.730
コム・アンド・スケールは、 オーダーメイドのデータセットの作成を専門としている。
10:18.820 --> 10:30.550
ですから、 特定の問題に取り組んでいて、 その問題用に作成されたデータセットが必要な場合、 スケールコムはそのためにビジネスを展開しているのです。
10:30.760 --> 10:38.290
あ、 もし先週のチャレンジで作ったデータジェネレーターが使えなかった場合は...。
10:38.350 --> 10:46.720
このリーダーボードには、 さまざまなタスクに特化したリーダーボードがたくさんある。
10:46.750 --> 11:02.230
敵対的ロバスト性については、 このLearn Moreで非常によく説明されているように、 大規模な言語モデルから有害な反応を引き起こすように設計されたプロンプトをテストするように設計されている。
11:02.230 --> 11:08.800
そして、 このような、 問題のある質問の具体例がある。
11:08.920 --> 11:12.790
例えば、 申し訳なさそうな顔をしていたら、 そんなつもりじゃなかったんだ。
11:12.790 --> 11:20.290
例えば、 航空会社のカスタマー・サポート・チャットボットのように、 これをチャットとして利用しようと考えている場合、
11:20.290 --> 11:31.210
軌道から大きく外れるようなことをしないよう、 堅牢であることを気にするだろう。
11:31.210 --> 11:34.090
だから、 これはそのための有効なベンチマークなのだ。
11:34.090 --> 11:41.800
コーディングは、 コーディングスキルのより詳細なベンチマークを提供し、 クロード3を参照してください。 5ソネットがリード
11:41.980 --> 11:46.930
ミストラルももちろん、 クローズドソースとオープンソースを組み合わせたボードセットだ。
11:46.930 --> 12:04.780
そしてミストラルのラージ2が、 オープンソースとしてトップ3に入っている。
12:04.780 --> 12:04.780
1 4050億円
12:04.810 --> 12:07.570
彼らはこれを以下の指示に対してテストすることができた。
12:07.570 --> 12:09.130
しかも2位だ。
12:09.130 --> 12:11.140
GPTの4ゼロを上回っている。
12:11.320 --> 12:14.110
クロード3のすぐ後ろだ。 5ソネット
12:14.290 --> 12:21.010
オープンソースの世界にとっても、 メタの2位という結果にとっても素晴らしいことだ。
12:21.250 --> 12:23.230
数学の問題でもね。
12:23.260 --> 12:30.280
ラマ 3. 1 405 Bが3位、 GPT4ゼロ、 2位クロード3。 5.
12:30.310 --> 12:33.490
数学をリードするソネット
12:33.610 --> 12:40.570
そして、 スペイン語のリーダーボードもある。
12:40.660 --> 12:48.790
ミストラルはオープンソースのトップランナーで4位、 GPT four zeroがポールポジションだ。
12:49.000 --> 12:55.450
そしてQxl。 comでは、 このようなビジネス別のリーダーボードを随時追加している。
12:55.450 --> 13:05.020
また、 あなたのビジネス課題により具体的なリーダーボードを見つけるための素晴らしいリソースとしてご活用ください。