From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
202 lines
8.7 KiB
202 lines
8.7 KiB
WEBVTT |
|
|
|
00:00.890 --> 00:04.820 |
|
そして、 我々はハグ顔オープンLLMリーダーボードに戻る。 |
|
|
|
00:04.820 --> 00:09.650 |
|
トレーニングのベースとなるモデルを選ぶ際、 最初に行く場所。 |
|
|
|
00:09.650 --> 00:18.740 |
|
そこでまず最初にやることは、 パラメーターのサイズが最大でも9のモデルに焦点を絞ることだ。 |
|
|
|
00:18.740 --> 00:26.690 |
|
そして、 私たちは少し下がってもいいし、 まずはベースモデル以外のすべてを除外してみよう。 |
|
|
|
00:26.810 --> 00:30.950 |
|
ええと、 パラメーターの数も表示させましょう。 |
|
|
|
00:30.950 --> 00:34.190 |
|
下の表を見てみよう。 |
|
|
|
00:34.280 --> 00:39.890 |
|
というわけで、 これらのさまざまな指標に従った最強モデルの結果がこれだ。 |
|
|
|
00:39.950 --> 00:48.890 |
|
そして、 この2人を含め、 何度も述べたあの強豪クランを目にすることになるだろう。 52. 5はとても新しい。 |
|
|
|
00:48.890 --> 00:51.710 |
|
ええと、 70億のバリエーション。 |
|
|
|
00:51.710 --> 00:56.600 |
|
ウーはこの中で最も得点力のある選手だ。 |
|
|
|
00:56.840 --> 01:02.760 |
|
ええと、 ジェンマはジェンマの90億パラメータ変種であることがわかるだろう。 |
|
|
|
01:02.790 --> 01:07.650 |
|
ミストラルのすぐ上だ。 |
|
|
|
01:07.950 --> 01:12.780 |
|
それと、 僕らがよく話したいと思っているのが、 この話なんだ。 |
|
|
|
01:12.810 --> 01:17.010 |
|
そういえば、 マイクロソフトのファイ2がありましたね。 |
|
|
|
01:17.010 --> 01:20.700 |
|
ええと、 ラマ3。 1はもう少し先だ。 |
|
|
|
01:20.850 --> 01:28.380 |
|
この数字には若干の差があるが、 上位はほぼ拮抗している。 |
|
|
|
01:28.500 --> 01:36.510 |
|
ラマ3世が気になるかもしれないね。 あなたが知っている1が、 私たちが最終的に選ぶことになるものです。 |
|
|
|
01:36.660 --> 01:39.570 |
|
でも、 それには何か理由があるんだ。 |
|
|
|
01:39.630 --> 01:49.170 |
|
このようなさまざまなスコアを見る場合、 訓練されたバージョンを取り入れる必要がある。 |
|
|
|
01:49.260 --> 01:56.850 |
|
インストラクター・バリアントと呼ばれるものは、 同じモデルだが、 特定のチャット・インストラクター・スタイルに対応できるよう、 |
|
|
|
01:56.920 --> 02:03.880 |
|
さまざまな強化学習テクニックを使ってより訓練されたものだ。 |
|
|
|
02:03.880 --> 02:10.210 |
|
このような枠組みがあれば、 さまざまなテストに対応できる可能性が高くなる。 なぜなら、 |
|
|
|
02:10.210 --> 02:19.870 |
|
異なるタスクに適応するように訓練されることを期待されるよりも、 与えられた指示に反応するようになるからだ。 |
|
|
|
02:20.050 --> 02:26.080 |
|
つまり、 ベースモデルであっても、 ベンチマークやインストラクターのバリエーションを見れば、 |
|
|
|
02:26.080 --> 02:32.170 |
|
より現実的な能力がわかるということだ。 |
|
|
|
02:32.170 --> 02:38.590 |
|
そうすると、 ラマ3世が見えてくる。 180億ドルは本当にトップグループだ。 |
|
|
|
02:38.620 --> 02:42.880 |
|
ええと、 ファイ3もあそこにある。 |
|
|
|
02:42.880 --> 02:43.870 |
|
あの、 ジャマー。 |
|
|
|
02:43.870 --> 02:48.040 |
|
それからメタ・ラマ3。 1. |
|
|
|
02:48.040 --> 02:52.030 |
|
だから、 インストラクターのバリアントを見ると、 とてもうまくいっている。 |
|
|
|
02:52.060 --> 02:58.160 |
|
そして、 さっきも言ったように、 ちょっと変な言い方だが、 インストラクターのバリエーションを実際に使おうとは言っていない。 |
|
|
|
02:58.160 --> 03:03.320 |
|
私たちはそれを望んでいないのだから、 基本バージョンに固執することを提案しているのだ。 |
|
|
|
03:03.350 --> 03:12.620 |
|
システムのプロンプトやユーザーのプロンプトなどについて学習し、 思考プロセスやトレーニングの力を使い果たすことは避けたい。 |
|
|
|
03:12.620 --> 03:17.900 |
|
ただ、 その練習を経験すれば、 これらのスコアすべてで好成績を収めていることがわかると言っているのだ。 |
|
|
|
03:17.900 --> 03:25.160 |
|
そして、 ベースモデルがこれらの異なるベンチマークに対応できるよう適応する能力に優れていることを感じさせてくれる。 |
|
|
|
03:25.160 --> 03:29.570 |
|
つまり、 リーダーボードの結果をよりニュアンス的に解釈する方法だ。 |
|
|
|
03:29.570 --> 03:37.400 |
|
インストラクターのバリアントを見て、 そのパフォーマンスを確認することができる。 |
|
|
|
03:38.030 --> 03:46.010 |
|
さて、 私がラマを選んだのにはもうひとつ微妙な理由がある。 5人組の3人、 ジェマ、 あるいはグウェンのいずれかが、 |
|
|
|
03:46.010 --> 03:54.740 |
|
多くの面でより高いスコアを獲得しているように見えるかもしれないのに、 だ。 |
|
|
|
03:54.740 --> 03:57.350 |
|
リャマにはリャマの便利さがある。 |
|
|
|
03:57.350 --> 03:57.980 |
|
ただそれだけだ。 |
|
|
|
03:58.010 --> 04:03.350 |
|
しかし、 これによってコードが少しシンプルになり、 llamaのタスクも少し楽になります。 |
|
|
|
04:03.350 --> 04:10.040 |
|
llamaのトークナイザを見ると、 llamaでは0から999までのすべての数字、 |
|
|
|
04:10.040 --> 04:19.760 |
|
つまり3桁の数字が1つのトークンにマッピングされることがわかります。 |
|
|
|
04:19.790 --> 04:25.280 |
|
同じことが3や4、 あるいはクアンにも言えるかというと、 実はそうではない。 |
|
|
|
04:25.460 --> 04:31.670 |
|
そのほかの3つのモデルでは、 基本的に1桁につき1トークンというような形になっている。 |
|
|
|
04:31.670 --> 04:36.110 |
|
つまり、 999という数字は3つのトークンとして扱われることになる。 |
|
|
|
04:36.140 --> 04:40.940 |
|
では、 何の違いもないはずのことに、 どんな違いがあるのかと聞かれるかもしれない。 |
|
|
|
04:41.210 --> 04:54.990 |
|
だから、 トレーニングをするときに、 トークンを生成するモデルを使い、 回帰モデルのような考え方をさせようとしているんだ。 |
|
|
|
04:54.990 --> 05:02.610 |
|
私たちは、 次のトークンを予測するのがどんどんうまくなるように、 そしてそれが価格に対応するように解決しようとしてほしいのです。 |
|
|
|
05:02.610 --> 05:04.830 |
|
だから問題が単純化される。 |
|
|
|
05:04.830 --> 05:10.740 |
|
価格が、 モデルが生成しなければならないトークン1個に正確に反映されている場合。 |
|
|
|
05:10.740 --> 05:16.980 |
|
つまり、 この特定の状況、 私たちが解決しようとしている特定の問題では、 |
|
|
|
05:16.980 --> 05:25.950 |
|
ラムダ3のトークン化戦略が必要なのです。 1が非常にうまく機能するのは、 トークンが生成する1つの次のトークンが、 |
|
|
|
05:25.950 --> 05:28.950 |
|
それ自体で価格のすべてを反映するからだ。 |
|
|
|
05:29.130 --> 05:35.460 |
|
つまり、 次のトークンは9ドルであるべきで、 それは9ドルかもしれないし、 99ドルかもしれないし、 |
|
|
|
05:35.460 --> 05:39.660 |
|
999ドルかもしれないと予測することはない。 |
|
|
|
05:39.660 --> 05:42.000 |
|
そして、 それが実現するのは、 トークンを行ったときだけだ。 |
|
|
|
05:42.000 --> 05:42.690 |
|
その後だ。 |
|
|
|
05:42.720 --> 05:53.890 |
|
そうではなく、 次のトークンとして提示される1つのトークンは、 1つのトークンに商品の全価格が反映されることになる。 |
|
|
|
05:54.340 --> 06:02.290 |
|
つまり、 ニュアンスの違いではあるが、 我々がラマ3を選択する方向に傾く理由なのだ。 この場合は1。 |
|
|
|
06:02.650 --> 06:07.690 |
|
しかし、 ぜひとも他のモデルを選び、 そのパフォーマンスを見ることができるようになるだろう。 |
|
|
|
06:07.690 --> 06:13.510 |
|
しかし、 llamaはトークン化する方法でこの利便性から少し優位に立つ。 |
|
|
|
06:13.900 --> 06:19.360 |
|
ですから、 モデルを選択し、 リーダーボードを見て、 リーダーボードをもう少し深く見て、 インストラクターのバリアントとベースモデルのパラメータサイズについて考え、 |
|
|
|
06:19.360 --> 06:31.420 |
|
さらにトークン化の方法などのニュアンスについて考える、 その背後にある思考プロセスについていくらかご理解いただけると思います。 |
|
|
|
06:31.420 --> 06:42.190 |
|
その結果、 ラマ3世を選ぶという決断に至った。 180億ドルを基本モデルとしている。 |
|
|
|
06:42.280 --> 06:48.640 |
|
さて、 それではコラブに行ってベースモデルを試してみよう。
|
|
|