From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
127 lines
4.8 KiB
127 lines
4.8 KiB
WEBVTT |
|
|
|
00:00.590 --> 00:07.130 |
|
Llmsで可能なことのフロンティアで、 世界の知識を必要とする特殊な問題を解決し、 |
|
|
|
00:07.130 --> 00:18.710 |
|
前回のリマインダーのように、 すべてのパフォーマンスから見えたものをお見せする。 |
|
|
|
00:18.830 --> 00:22.490 |
|
まあ、 実際はランダムモデルから始めたんだけど、 それはバカバカしいから忘れよう。 |
|
|
|
00:22.520 --> 00:28.760 |
|
最初の出発点は、 ただ平均的な数字を予測する一定のモデルだった。 |
|
|
|
00:29.150 --> 00:32.300 |
|
もっとうまくやれたのは確かだが、 それ以上ではなかった。 |
|
|
|
00:32.300 --> 00:37.850 |
|
フィーチャーエンジニアリングを使ったモデルでは、 より良い機能でそれを改善したかもしれない。 |
|
|
|
00:38.060 --> 00:45.470 |
|
ええと、 でも私たちのベストは、 単語の袋ではなく、 ランダムフォレストモデルをベースにしたものでした。 |
|
|
|
00:45.500 --> 00:47.990 |
|
vecベクトル化に一言。 |
|
|
|
00:48.050 --> 00:53.690 |
|
400次元ベクトルのプロンプトを見てください。 |
|
|
|
00:53.840 --> 00:55.610 |
|
そして、 それがエラーを招いた。 |
|
|
|
00:55.640 --> 01:09.240 |
|
400,000例のデータで学習させた結果、 商品の説明に基づく予測値と実際の価格の差は平均97ドルまで縮小した。 |
|
|
|
01:09.690 --> 01:14.010 |
|
そして、 今日、 その人間のお披露目をした。 |
|
|
|
01:14.010 --> 01:15.810 |
|
それが最初のモデルだった。 |
|
|
|
01:15.930 --> 01:20.490 |
|
エラーという点では、 人間が127点。 |
|
|
|
01:20.490 --> 01:27.810 |
|
だから、 原始的なフィーチャーエンジニアリングよりは、 少なくともうまくやれたと思う。 |
|
|
|
01:27.810 --> 01:30.270 |
|
そして少なくとも、 コンスタントな成績よりは良かった。 |
|
|
|
01:30.270 --> 01:36.060 |
|
一定数以上の成績が残せなければ、 全試合を収録しなかったかもしれない。 |
|
|
|
01:36.360 --> 01:43.470 |
|
でも、 明らかに、 次のクロードは、 僕よりかなり良かった。 |
|
|
|
01:43.470 --> 01:48.390 |
|
そしてクロードはランダムフォレストと非常によく似ていた。 |
|
|
|
01:48.390 --> 01:53.430 |
|
そしてまた、 クロードはトレーニングデータを見ずにこれをやっていることを念頭に置かなければならない。 |
|
|
|
01:53.430 --> 01:56.490 |
|
純粋に世界の知識に基づいているだけだ。 |
|
|
|
01:56.490 --> 01:58.560 |
|
そしてこの製品を渡された。 |
|
|
|
01:58.600 --> 02:03.550 |
|
個人的な苦い経験から言わせてもらえば、 それは難しい仕事だ。 |
|
|
|
02:04.210 --> 02:17.020 |
|
しかし、 GPT4ミニの方がうまくいき、 80ドルの誤差になった。 GPT4はさらにうまくいき、 その差は76ドルまで縮まった。 |
|
|
|
02:17.020 --> 02:27.280 |
|
つまり、 フロンティア・モデルとAPIを使うことで、 問題に対するソリューションを構築することができるということだ。 |
|
|
|
02:27.280 --> 02:27.670 |
|
そうではない。 |
|
|
|
02:27.670 --> 02:29.410 |
|
数値的な問題だ。 |
|
|
|
02:29.560 --> 02:30.160 |
|
そうではない。 |
|
|
|
02:30.190 --> 02:36.820 |
|
必ずしもテキスト補完だけで解決できるようなものではありません。 |
|
|
|
02:36.820 --> 02:52.360 |
|
しかし、 GPT four miniは、 そのような問題であっても、 従来の機械学習モデルであるランダムフォレスト・モデル(400,000の学習データを持つモデル)を凌駕することができる。 |
|
|
|
02:52.360 --> 03:01.510 |
|
つまり、 これらのモデルがいかに強力で、 いかに多くの種類の商業的問題に適用できるかを示しているのだ。 |
|
|
|
03:02.320 --> 03:09.640 |
|
しかし、 これでようやくトレーニングの世界に移ることができる。 |
|
|
|
03:09.670 --> 03:20.680 |
|
次のテーマは、 フロンティアモデルを微調整することによって、 それをさらに発展させ、 学習例を使ってより良い結果を出す方法についてです。 |
|
|
|
03:20.710 --> 03:22.870 |
|
これまでなかったもの。 |
|
|
|
03:22.870 --> 03:25.780 |
|
だから、 これは大きな、 そしてエキサイティングな話題なんだ。 |
|
|
|
03:25.780 --> 03:29.530 |
|
来週までに今週中に完了する予定だ。 |
|
|
|
03:29.530 --> 03:36.790 |
|
私たちはそれをまったく別の世界に持ち込み、 自分たちのオープンソースモデルを微調整し、 |
|
|
|
03:36.790 --> 03:42.220 |
|
競合できるかどうかを試す。 |
|
|
|
03:42.220 --> 03:44.350 |
|
だから、 まったく違う世界だ。 |
|
|
|
03:44.590 --> 03:51.040 |
|
そして、 従来の機械学習やフロンティアモデルに勝てる見込みがあるかどうかを見極める。 |
|
|
|
03:51.070 --> 03:52.930 |
|
興奮することがたくさんある。 |
|
|
|
03:53.020 --> 03:57.280 |
|
その前に、 微調整のためにまた明日会おう。
|
|
|