From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
226 lines
8.6 KiB
226 lines
8.6 KiB
WEBVTT |
|
|
|
00:00.320 --> 00:07.970 |
|
だから、 このコースのためにモデルを最適化するためのトレーニング・コストは、 実にわずかなものであることを説明するために、 |
|
|
|
00:07.970 --> 00:09.740 |
|
今この時間を割いている。 |
|
|
|
00:09.740 --> 00:17.060 |
|
2、 3セントの問題で済むし、 私のようにA100ボックスを使ったり、 |
|
|
|
00:17.060 --> 00:21.920 |
|
大がかりなトレーニングをする必要もない。 |
|
|
|
00:22.490 --> 00:24.710 |
|
それを明確にするためだ。 |
|
|
|
00:24.710 --> 00:30.260 |
|
だからまず、 前回説明したように、 T4のような非常に安価なボックスで走らせることができる。 |
|
|
|
00:30.440 --> 00:34.190 |
|
その箱に収まる最大のバッチサイズを持つことができる。 |
|
|
|
00:34.190 --> 00:38.060 |
|
おそらく1回か2回、 うーん、 それからランのトレーニングをするんだ。 |
|
|
|
00:38.060 --> 00:46.370 |
|
でも、 それをやると、 これまで使ってきたトレーニング・データセットでは時間がかかる。 |
|
|
|
00:46.370 --> 00:51.200 |
|
そして、 実はこの巨大なデータセットに対してトレーニングする必要はないことを説明したかった。 |
|
|
|
00:51.200 --> 00:58.250 |
|
私は、 いくつかの良い結果、 いくつかの本当に強力な結果をお見せしたいからそうしているのですが、 もっと小さなデータセットでも素晴らしい結果を得ることができます。 |
|
|
|
00:58.370 --> 01:04.350 |
|
ただ、 ひとつ提案したいのは、 400,000点のデータセットから最初の20,000点を選択して、 |
|
|
|
01:04.350 --> 01:11.040 |
|
そのサブデータセットで実行してもまったく問題ないということだ。 |
|
|
|
01:11.130 --> 01:13.830 |
|
そうするつもりなら、 その方がいいだろうね。 |
|
|
|
01:13.830 --> 01:24.120 |
|
その代わりに、 ある特定の種類の製品に絞って値段をつければ、 モデルはその製品についてすべてを知ることができるからだ。 |
|
|
|
01:24.240 --> 01:33.030 |
|
例えば、 Huggingfaceのハブから最初に引き出したデータセットのひとつである家電製品を選ぶことができます。 |
|
|
|
01:33.210 --> 01:39.000 |
|
そして、 これらすべてのデータセットをダウンさせるのではなく、 単にアプライアンスだけをダウンさせることもできる。 |
|
|
|
01:39.000 --> 01:43.260 |
|
そしてJupyterノートブックをセットアップした。 |
|
|
|
01:43.260 --> 01:46.380 |
|
ええと、 Colabではなく、 ただのローカルノートです。 |
|
|
|
01:46.380 --> 01:50.970 |
|
それは6週目で、 他の、 ええと、 6週目のための日があったところだ。 |
|
|
|
01:51.000 --> 01:55.410 |
|
私たちは2日目にこのデータセットの完全版を作成した。 |
|
|
|
01:55.440 --> 02:01.610 |
|
これは2日目のコピーだが、 電化製品だけを見るにはもっとシンプルで狭い。 |
|
|
|
02:01.730 --> 02:04.760 |
|
そして、 このように小さなデータセットなので、 超高速で実行される。 |
|
|
|
02:04.790 --> 02:06.650 |
|
私たちはそれを環境に結びつける。 |
|
|
|
02:06.650 --> 02:10.850 |
|
これは過去への回帰となるだろう。 |
|
|
|
02:10.940 --> 02:14.450 |
|
すでにHuggingfaceにログイン済みで、 2回目のログインを試みたから文句を言っているのだが、 |
|
|
|
02:14.450 --> 02:15.770 |
|
無視してくれ。 |
|
|
|
02:16.130 --> 02:28.340 |
|
データセットの名前ですが、 家電製品以外はコメントアウトしてあります。 |
|
|
|
02:28.580 --> 02:35.300 |
|
ええと、 ハギング・フェイスは僕が何度もそれをやったことにすごく怒っているんだけど、 まあいいや。 |
|
|
|
02:35.330 --> 02:36.200 |
|
走り出す。 |
|
|
|
02:36.200 --> 02:43.520 |
|
このデータセットのロードにかかる時間の合計は、 ええと、 約0です。 私の記憶が正しければ、 1分の2。 |
|
|
|
02:43.880 --> 02:50.900 |
|
ええと、 0。 3分でも、 ええと、 そうすると、 28,000の項目があるんだ。 |
|
|
|
02:50.990 --> 02:54.890 |
|
ええと、 だから、 私たちがこれまで扱ってきた40万件のデータセットよりもずっと小さいんだ。 |
|
|
|
02:54.890 --> 03:01.350 |
|
しかし、 フローラにとっては申し分のない数字であり、 家電製品に特化しているという利点もある。 |
|
|
|
03:01.710 --> 03:04.590 |
|
だから、 より狭いデータセットなんだ。 |
|
|
|
03:04.800 --> 03:10.620 |
|
ええと、 それで、 ええと、 この残りのグラフを追ってみてください。 |
|
|
|
03:10.620 --> 03:12.330 |
|
どうでもいいチャートは取り除いた。 |
|
|
|
03:12.330 --> 03:14.280 |
|
異なるデータタイプの比較とかね。 |
|
|
|
03:14.280 --> 03:15.270 |
|
これが価格だ。 |
|
|
|
03:15.270 --> 03:16.380 |
|
平均はこうだ。 |
|
|
|
03:16.380 --> 03:17.670 |
|
平均すると少ない。 |
|
|
|
03:17.670 --> 03:20.850 |
|
うーん、 それでも999まである。 |
|
|
|
03:20.850 --> 03:22.920 |
|
そして、 それがカーブなんだ。 |
|
|
|
03:23.190 --> 03:27.900 |
|
それから、 これをキュレーションするのは、 本当に何もないんだ。 |
|
|
|
03:27.930 --> 03:30.510 |
|
全データセットを使うつもりだ。 |
|
|
|
03:30.510 --> 03:37.710 |
|
これは、 同じグラフをより小さなデータセットに置き換えたものだが、 相関関係は見られない。 |
|
|
|
03:38.040 --> 03:44.400 |
|
ええと、 トークンについては、 前に確認したのと同じことが適用されることをすぐに確認できます。 |
|
|
|
03:44.580 --> 03:50.850 |
|
そして、 最終的にトレーニング用とテスト用のデータセットに分けるとき、 トレーニング用には25,000アイテム、 |
|
|
|
03:50.880 --> 03:54.840 |
|
テスト用には2,000アイテムを使います。 |
|
|
|
03:55.140 --> 03:58.290 |
|
他のことはすべて、 ここでうまくいくよ。 |
|
|
|
03:58.350 --> 04:00.460 |
|
トレーニングのプロンプトが表示されます。 |
|
|
|
04:00.460 --> 04:02.140 |
|
テストのプロンプト。 |
|
|
|
04:02.320 --> 04:05.590 |
|
テストセットの価格分布をプロットすることができる。 |
|
|
|
04:05.590 --> 04:05.980 |
|
これでよし。 |
|
|
|
04:06.010 --> 04:08.230 |
|
スプレッドは申し分ない。 |
|
|
|
04:08.230 --> 04:21.610 |
|
そして最後に、 前と同じようにここからプロンプトを作成し、 これをHuggingfaceにアップロードします。 |
|
|
|
04:21.880 --> 04:28.690 |
|
そして、 2つのピックルファイルを作り、 それをトレーニングに使うことができる。 |
|
|
|
04:28.690 --> 04:40.030 |
|
より少ないデータ集団に基づいてモデルを構築し、 あらゆる種類の家電製品ではなく、 家電製品だけの価格を予測することに重点を置く。 |
|
|
|
04:40.030 --> 04:41.080 |
|
これならうまくいくだろう。 |
|
|
|
04:41.080 --> 04:45.160 |
|
この小さなデータセットに集中するために、 コードのいろいろな場所に小さな変更を加えることは、 |
|
|
|
04:45.160 --> 04:47.830 |
|
いい練習になると思う。 |
|
|
|
04:47.950 --> 04:54.640 |
|
そして、 私自身もこの実験を行ったが、 40万人での実験からどのような結果が出ようとも、 |
|
|
|
04:54.640 --> 05:04.830 |
|
他のモデルとの比較という点では、 この場合も同じであることを確認することができた。 |
|
|
|
05:05.040 --> 05:18.360 |
|
大きなデータセットの場合ほどではないが、 家電製品に集中していても重要なことは起こる。 |
|
|
|
05:18.360 --> 05:25.620 |
|
25,000ものデータセットを扱っていると、 あっという間に終わってしまう。 |
|
|
|
05:25.680 --> 05:31.530 |
|
でも、 そうしているうちに、 私のように虫がわいてきて、 もっと大舞台に行きたくなったらどうする? |
|
|
|
05:31.530 --> 05:38.010 |
|
もちろん、 さらに種類を増やすこともできるし、 数ドルを費やして全データセットに対応することもできる。 |
|
|
|
05:38.040 --> 05:39.690 |
|
とにかく、 私はそれを経験しようと思った。 |
|
|
|
05:39.690 --> 05:39.930 |
|
これだ。 |
|
|
|
05:39.930 --> 05:45.930 |
|
これは、 私たちがどのようにデータをキュレーションしたのか、 またご希望であれば、 より小さなデータセットについて、 人々にとって良い復習になるかもしれない。 |
|
|
|
05:45.960 --> 05:47.220 |
|
その方法を教えてくれる。 |
|
|
|
05:47.250 --> 05:47.700 |
|
分かった。 |
|
|
|
05:47.700 --> 05:54.750 |
|
次のビデオでは、 ウェイトとバイアスに行き、 40万人のビッグランがどのように進んでいるかを見る。 |
|
|
|
05:54.750 --> 05:59.340 |
|
そして、 ウェイトとバイアスの周辺を突いて、 そこでさらに何ができるかを確認する。 |
|
|
|
05:59.370 --> 06:00.180 |
|
そこで会おう
|
|
|