From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
418 lines
16 KiB
418 lines
16 KiB
WEBVTT |
|
|
|
00:01.220 --> 00:07.160 |
|
さらにリーダーボードを紹介する「More Leaderboard Fest」にようこそ。 |
|
|
|
00:07.160 --> 00:15.080 |
|
しかし今回は、 オープンソースとクローズドソースのモデルをミックスし、 いくつかの主要なリーダーボードに掲載する。 |
|
|
|
00:15.080 --> 00:18.650 |
|
気分転換に外でのハグ顔。 |
|
|
|
00:18.650 --> 00:21.440 |
|
実は今、 私たちはハグする顔を見るつもりはない。 |
|
|
|
00:21.440 --> 00:29.780 |
|
最初のリーダーボードは、 ブックマークに入れておいて損はないものです。 |
|
|
|
00:29.780 --> 00:31.760 |
|
過去に少し触れたことがある。 |
|
|
|
00:31.940 --> 00:43.310 |
|
ベラムAIの会社は、 LMの実務家にとって不可欠なリソースを公開している。 |
|
|
|
00:43.310 --> 00:49.910 |
|
最近の簡単なベンチマークである、 いくつかの基本的なベンチマークについての比較表があります。 |
|
|
|
00:49.970 --> 00:59.240 |
|
国土交通省......プロではなく、 基本的なことなんですが......。 |
|
|
|
00:59.420 --> 01:02.480 |
|
ええと、 Pythonのコーディングと数学のための人間の評価。 |
|
|
|
01:02.810 --> 01:14.000 |
|
ここにあるのは、 GPT4やソネット3のような、 皆さんが知っているクローズドソースのモデルです。 |
|
|
|
01:14.000 --> 01:14.000 |
|
5、 ソネット、 GPTターボと4。 |
|
|
|
01:14.030 --> 01:15.140 |
|
しかし、 あれを見てほしい。 |
|
|
|
01:15.140 --> 01:20.540 |
|
llama 3というオープンソースモデルもある。 1 4. 050億ドルだ。 |
|
|
|
01:20.570 --> 01:24.500 |
|
これは地球上で最大のオープンソースモデルだ。 |
|
|
|
01:24.500 --> 01:32.300 |
|
そして、 いくつかのフロンティアのクローズド・ソース・モデルと有利に競争していることがわかるだろう。 |
|
|
|
01:32.540 --> 01:42.410 |
|
つまり、 強い順にGPT4、 ゼロ、 MLUと潰していく。 |
|
|
|
01:42.410 --> 01:47.780 |
|
しかし、 ラマ405 Bがわずかに遅れているのがわかるだろう。 |
|
|
|
01:47.840 --> 01:50.000 |
|
ええと、 そして、 みんな首の皮一枚なんだ。 |
|
|
|
01:50.000 --> 01:50.720 |
|
本当に? |
|
|
|
01:50.750 --> 01:57.740 |
|
ええと、 つまり、 明らかに40億か50億のラマは、 オープンソースモデルが非常に有力な候補です。 |
|
|
|
01:58.280 --> 02:02.900 |
|
そしてコーディングになると、 これが順序だとわかる。 |
|
|
|
02:02.900 --> 02:14.150 |
|
第3項 5ソネットがトップで、 次にGPTフォーゼロ、 そしてラマ405が3番手、 そしてGPTフォーゼロのミニ版となる。 |
|
|
|
02:14.330 --> 02:17.930 |
|
これだけ安くなったのだから、 当たらずとも遠からずだろう。 |
|
|
|
02:18.170 --> 02:20.420 |
|
そしてGPTターボ。 |
|
|
|
02:20.990 --> 02:35.300 |
|
そして、 数学問題GPTのランキングである。 |
|
|
|
02:35.300 --> 02:41.570 |
|
そんなトップモデルのために、 パフォーマンスに関する超便利なチャートを紹介しよう。 |
|
|
|
02:41.810 --> 02:48.620 |
|
もちろん情報量は少ないが、 『ハグする顔』で見た多次元チャートよりは少し解釈しやすい。 |
|
|
|
02:48.800 --> 02:59.060 |
|
スピードという点では、 1秒間にトークンを生成する速度が最も速いのはllamaの80億オープンソース・モデルです。 |
|
|
|
02:59.060 --> 03:05.780 |
|
もちろん、 パラメータが少なければ、 その分やっていることも少なくなるので、 驚くことではないが、 おそらく理解する価値はあるだろう。 |
|
|
|
03:05.810 --> 03:06.500 |
|
ああ、 そうだね。 |
|
|
|
03:06.530 --> 03:07.310 |
|
なるほど。 |
|
|
|
03:07.340 --> 03:07.520 |
|
だから |
|
|
|
03:07.520 --> 03:13.160 |
|
だから、 できる限り一貫したやり方で走ろうとしているんだ。 |
|
|
|
03:13.160 --> 03:16.040 |
|
そして、 この情報ではそれについてもう少し詳しく説明している。 |
|
|
|
03:16.160 --> 03:23.060 |
|
ラマ8号の次はラマ70号、 より大きなモデル、 そしてジェミニ1号だ。 5フラッシュ |
|
|
|
03:23.120 --> 03:26.480 |
|
それからクロード、 俳句3つ、 GPT4つ。 |
|
|
|
03:26.510 --> 03:28.070 |
|
ああ、 ミニか。 |
|
|
|
03:28.070 --> 03:29.060 |
|
ミニ・ヴァリアントだね。 |
|
|
|
03:29.060 --> 03:32.270 |
|
だから、 小さいモデルの方が速いのは明らかだ。 |
|
|
|
03:32.270 --> 03:33.950 |
|
驚きはない。 |
|
|
|
03:34.220 --> 03:36.020 |
|
ええと、 待ち時間。 |
|
|
|
03:36.050 --> 03:42.830 |
|
ええと、 それは最初のトークンを受け取るまでの秒数で測ります。 |
|
|
|
03:42.860 --> 03:44.480 |
|
いい捉え方だ。 |
|
|
|
03:44.480 --> 03:49.730 |
|
これは、 私が以前、 基本的なアトリビュートでレイテンシーを示したときに話していたことを説明する良い方法だ。 |
|
|
|
03:49.730 --> 03:55.910 |
|
そして、 小型のモデルが非常に迅速に対応できるのも不思議ではない。 |
|
|
|
03:55.970 --> 04:01.970 |
|
ええと、 ここでGPT 4は驚くことにGPT 4よりもレイテンシが改善されている。 |
|
|
|
04:02.010 --> 04:02.280 |
|
ゼロだ。 |
|
|
|
04:02.310 --> 04:08.070 |
|
その多くは、 ハードウェアのセットアップに関係しているのかもしれない。 |
|
|
|
04:08.070 --> 04:10.170 |
|
よくわからないが、 とにかく近い。 |
|
|
|
04:10.740 --> 04:17.730 |
|
そして最も安いモデルは、 100万トークンあたりのドルで測定される。 |
|
|
|
04:17.730 --> 04:25.080 |
|
ええと、 ラマ80億は最も安いジェミニ1号で来る。 5フラッシュはよく動くし、 GPTは4つ、 ミニはもちろんとても安い。 |
|
|
|
04:25.080 --> 04:34.950 |
|
そして、 クロードの3つの俳句、 GPT3。 その後5ターボ。 |
|
|
|
04:34.950 --> 04:40.890 |
|
インプット・コストとアウトプット・コストの2つのバーが表示されている。 |
|
|
|
04:41.190 --> 04:50.190 |
|
つまり、 2つのモデルを比較し、 異なる尺度に照らして並べて見ることができる、 ちょっとしたインタラクティブな機能があるんだ。 |
|
|
|
04:50.190 --> 04:56.430 |
|
これはクロードの3ポイント......すみません、 クロード3です。 GPT 4に対して0クロード3オパス。 |
|
|
|
04:56.460 --> 05:04.320 |
|
じゃあ、 ちょっと趣向を変えて3番を選ぼうか。 GPT4に対して5ソネット。 |
|
|
|
05:04.350 --> 05:07.200 |
|
ああ、 これが私たちの好きな顔合わせだ。 |
|
|
|
05:07.680 --> 05:09.900 |
|
それでは、 どうぞ。 |
|
|
|
05:10.140 --> 05:14.910 |
|
つまり、 一般的には首の皮一枚と考えられているようだ。 |
|
|
|
05:14.940 --> 05:15.750 |
|
彼らは何を言っているんだ? |
|
|
|
05:15.780 --> 05:22.650 |
|
88. クロードは3%、 3. 5と88である。 GPT4は7%。 |
|
|
|
05:22.680 --> 05:22.920 |
|
ああ。 |
|
|
|
05:22.950 --> 05:28.080 |
|
つまり、 GPT4が有利なのは、 クロードのコーディングが優れているからだ。 |
|
|
|
05:28.080 --> 05:32.820 |
|
クロードは数学が得意で、 クロードは道具の使い方が下手だ。 |
|
|
|
05:32.940 --> 05:36.540 |
|
もちろん、 2週目に経験したことだ。 |
|
|
|
05:36.660 --> 05:41.580 |
|
ええと、 クロードの方が上手いし、 マルチリンガルのクロードの方が上手だ。 |
|
|
|
05:41.580 --> 05:43.320 |
|
とても素晴らしい。 |
|
|
|
05:43.320 --> 05:48.120 |
|
こうやって並べて比較できるのは魅力的だね。 |
|
|
|
05:48.390 --> 05:54.840 |
|
この表には、 一行ごとにさまざまなモデルが並んでいる。 |
|
|
|
05:54.870 --> 06:01.290 |
|
それで、 クロード3のようなクローズドソースのモデルを見ることができるんだ。 5ソネット |
|
|
|
06:01.290 --> 06:06.720 |
|
ええと、 平均で言うと、 このリーダーボードのトップにいるのはこの選手です。 |
|
|
|
06:06.870 --> 06:12.570 |
|
ええと、 ここで見ているのはMLUで、 この指標ではすべてが非常に良いスコアです。 |
|
|
|
06:12.990 --> 06:18.000 |
|
Pythonの最初のメトリクスのhuman evalで話したものだ。 |
|
|
|
06:18.000 --> 06:28.290 |
|
このbe hardベンチマークは、 モデルの能力を超えて将来の能力をテストするために設計されたベンチマークであると述べた。 |
|
|
|
06:28.380 --> 06:41.580 |
|
でも、 この雲3を見て信じられる? 5、 ソネットはすでに93点。 Bハードで1%ということは、 もはや将来の能力をテストする指標ではないということだ。 |
|
|
|
06:41.580 --> 06:43.680 |
|
それは非常に現在の能力だ。 |
|
|
|
06:43.680 --> 06:46.500 |
|
そして雲3。 5ソネットは破竹の勢いだ。 |
|
|
|
06:46.980 --> 06:51.390 |
|
ええと、 小学生の算数と、 もっと難しい算数の問題。 |
|
|
|
06:51.420 --> 06:57.870 |
|
それでは、 これらの異なるモデルの結果をご覧いただきたい。 |
|
|
|
06:57.870 --> 07:03.180 |
|
序盤で少し不可解だと申し上げたのは、 クラウド3だ。 5. |
|
|
|
07:03.210 --> 07:06.210 |
|
ソネットはクロード3人よりも良いパフォーマンスを見せている。 |
|
|
|
07:06.240 --> 07:07.230 |
|
作品。 |
|
|
|
07:07.320 --> 07:16.590 |
|
ええと、 でもクロード・スリー・オーパスはAPIとして人類によって提供されており、 3よりもかなり高価です。 |
|
|
|
07:16.590 --> 07:16.590 |
|
5ソネット |
|
|
|
07:16.800 --> 07:20.010 |
|
だから、 なぜクロードを選ぶのか分からない。 |
|
|
|
07:20.040 --> 07:23.700 |
|
スリーオーパスオーバー3。 特別なことがない限り、 5ソネット。 |
|
|
|
07:23.730 --> 07:29.100 |
|
まあ、 推理の場合、 クロード・スリー・オーパスの方がうまくいくようだ。 |
|
|
|
07:29.100 --> 07:35.340 |
|
だから、 いくつか、 いくつか、 いくつか、 より優れている点がある。 |
|
|
|
07:36.210 --> 07:43.560 |
|
そしてもちろん、 このモデル比較にラマが登場することもおわかりいただけるだろう。 |
|
|
|
07:43.560 --> 07:49.530 |
|
ラマ4,050億がここに表示されていないことに気づいた。 |
|
|
|
07:49.530 --> 08:04.350 |
|
というのも、 リャマ4については、 まだすべてのテストを実施できていないからだ。 50億ドルというのは、 もちろん、 700億リャマの3人のインストラクターのバリエーションをはるかに凌駕していると想像するからだ。 |
|
|
|
08:06.120 --> 08:06.840 |
|
うーん。 |
|
|
|
08:07.710 --> 08:13.590 |
|
そして、 このテーブルに来て、 これは前にお見せしたものです。 |
|
|
|
08:13.590 --> 08:18.300 |
|
さまざまなモデルを紹介してくれる場所だ。 |
|
|
|
08:18.330 --> 08:22.920 |
|
そのコンテキスト、 ウィンドウサイズ、 入力と出力のトークンあたりのコストはどのくらいか。 |
|
|
|
08:22.920 --> 08:34.140 |
|
もちろん、 そのデータがあるモデルだけを比較するものだが、 非常に役に立つ。 |
|
|
|
08:34.140 --> 08:45.120 |
|
ネットでいろいろなページを見て回るのもいいし、 ここに来て一箇所で全部見るのもいい。 |
|
|
|
08:45.120 --> 08:52.410 |
|
もちろん、 ジェミニ1号のハイライトだ。 5フラッシュは、 100万コンテキストのウィンドウを持っています。 |
|
|
|
08:52.410 --> 08:59.250 |
|
それはもちろん、 75万語ほどの一般英語、 つまりシェイクスピアのほぼ全作品という、 |
|
|
|
08:59.280 --> 09:03.190 |
|
非常に大きな文脈の窓である。 |
|
|
|
09:03.670 --> 09:06.010 |
|
クロード家は20万ドル。 |
|
|
|
09:06.040 --> 09:09.250 |
|
GPTファミリーは128,000。 |
|
|
|
09:09.280 --> 09:15.400 |
|
前にも言ったように、 双子座1号の100万人に比べると、 やや少ないように思える。 5フラッシュ |
|
|
|
09:15.400 --> 09:24.220 |
|
しかし、 コンテクストウィンドウの中で消化し、 なおかつ適切な返答をするには、 まだ多くの情報が必要だ。 |
|
|
|
09:24.430 --> 09:24.940 |
|
ええと。 |
|
|
|
09:24.970 --> 09:28.930 |
|
ここにはオープンソースのモデルも混じっている。 |
|
|
|
09:28.930 --> 09:37.660 |
|
混合トライアル、 コンテキスト・ウィンドウのサイズ、 そしてラマ3モデルのコンテキスト・ウィンドウが8000トークンであることがわかる。 |
|
|
|
09:37.660 --> 09:43.660 |
|
そして、 オープンソースのモデルとクローズドソースのモデルを比較する際には、 これらの巨大なコンテキストウィンドウが必要なら、 |
|
|
|
09:43.660 --> 09:49.930 |
|
おそらくクローズドソースのルートに行く必要があるということを覚えておく価値がある。 |
|
|
|
09:52.120 --> 10:04.870 |
|
コーディング・リーダーボードは、 人間の評価を比較するために見ることができます。 |
|
|
|
10:04.870 --> 10:06.370 |
|
もう1つ見ておきたいことがある。 |
|
|
|
10:06.400 --> 10:14.020 |
|
これらの、 ええと、 ビジネス、 ええと、 サイトのうち、 スケールという会社が提供する、 シール・リーダーボードと呼ばれるものだ。 |
|
|
|
10:14.020 --> 10:18.730 |
|
コム・アンド・スケールは、 オーダーメイドのデータセットの作成を専門としている。 |
|
|
|
10:18.820 --> 10:30.550 |
|
ですから、 特定の問題に取り組んでいて、 その問題用に作成されたデータセットが必要な場合、 スケールコムはそのためにビジネスを展開しているのです。 |
|
|
|
10:30.760 --> 10:38.290 |
|
あ、 もし先週のチャレンジで作ったデータジェネレーターが使えなかった場合は...。 |
|
|
|
10:38.350 --> 10:46.720 |
|
このリーダーボードには、 さまざまなタスクに特化したリーダーボードがたくさんある。 |
|
|
|
10:46.750 --> 11:02.230 |
|
敵対的ロバスト性については、 このLearn Moreで非常によく説明されているように、 大規模な言語モデルから有害な反応を引き起こすように設計されたプロンプトをテストするように設計されている。 |
|
|
|
11:02.230 --> 11:08.800 |
|
そして、 このような、 問題のある質問の具体例がある。 |
|
|
|
11:08.920 --> 11:12.790 |
|
例えば、 申し訳なさそうな顔をしていたら、 そんなつもりじゃなかったんだ。 |
|
|
|
11:12.790 --> 11:20.290 |
|
例えば、 航空会社のカスタマー・サポート・チャットボットのように、 これをチャットとして利用しようと考えている場合、 |
|
|
|
11:20.290 --> 11:31.210 |
|
軌道から大きく外れるようなことをしないよう、 堅牢であることを気にするだろう。 |
|
|
|
11:31.210 --> 11:34.090 |
|
だから、 これはそのための有効なベンチマークなのだ。 |
|
|
|
11:34.090 --> 11:41.800 |
|
コーディングは、 コーディングスキルのより詳細なベンチマークを提供し、 クロード3を参照してください。 5ソネットがリード |
|
|
|
11:41.980 --> 11:46.930 |
|
ミストラルももちろん、 クローズドソースとオープンソースを組み合わせたボードセットだ。 |
|
|
|
11:46.930 --> 12:04.780 |
|
そしてミストラルのラージ2が、 オープンソースとしてトップ3に入っている。 |
|
|
|
12:04.780 --> 12:04.780 |
|
1 4050億円 |
|
|
|
12:04.810 --> 12:07.570 |
|
彼らはこれを以下の指示に対してテストすることができた。 |
|
|
|
12:07.570 --> 12:09.130 |
|
しかも2位だ。 |
|
|
|
12:09.130 --> 12:11.140 |
|
GPTの4ゼロを上回っている。 |
|
|
|
12:11.320 --> 12:14.110 |
|
クロード3のすぐ後ろだ。 5ソネット |
|
|
|
12:14.290 --> 12:21.010 |
|
オープンソースの世界にとっても、 メタの2位という結果にとっても素晴らしいことだ。 |
|
|
|
12:21.250 --> 12:23.230 |
|
数学の問題でもね。 |
|
|
|
12:23.260 --> 12:30.280 |
|
ラマ 3. 1 405 Bが3位、 GPT4ゼロ、 2位クロード3。 5. |
|
|
|
12:30.310 --> 12:33.490 |
|
数学をリードするソネット |
|
|
|
12:33.610 --> 12:40.570 |
|
そして、 スペイン語のリーダーボードもある。 |
|
|
|
12:40.660 --> 12:48.790 |
|
ミストラルはオープンソースのトップランナーで4位、 GPT four zeroがポールポジションだ。 |
|
|
|
12:49.000 --> 12:55.450 |
|
そしてQxl。 comでは、 このようなビジネス別のリーダーボードを随時追加している。 |
|
|
|
12:55.450 --> 13:05.020 |
|
また、 あなたのビジネス課題により具体的なリーダーボードを見つけるための素晴らしいリソースとしてご活用ください。
|
|
|