From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
121 lines
4.3 KiB
121 lines
4.3 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:02.300 |
|
その時が来た。 |
|
|
|
00:02.300 --> 00:03.230 |
|
さあ、 始めよう。 |
|
|
|
00:03.260 --> 00:04.790 |
|
微調整中だ。 |
|
|
|
00:04.790 --> 00:05.810 |
|
微調整を行う。 |
|
|
|
00:06.020 --> 00:06.740 |
|
電車だ。 |
|
|
|
00:06.770 --> 00:10.130 |
|
ここには、 終了後にハブにプッシュするためのラインもある。 |
|
|
|
00:10.160 --> 00:11.750 |
|
では、 それを始めよう。 |
|
|
|
00:13.130 --> 00:16.910 |
|
キックオフの間に、 ちょっと見てみよう。 |
|
|
|
00:16.940 --> 00:22.340 |
|
GPUは6時から始まる。 |
|
|
|
00:22.370 --> 00:27.560 |
|
モデル自体に必要な量と同じくらいだ。 |
|
|
|
00:28.550 --> 00:37.490 |
|
その間にウォーミングアップを行い、 このトレーニングの準備をするんだ。 |
|
|
|
00:37.640 --> 00:46.130 |
|
せっかくなので、 これまで触れなかった他のトレーニングパラメーターについても話しておこうと思う。 |
|
|
|
00:46.610 --> 00:48.230 |
|
あの、 評価戦略。 |
|
|
|
00:48.230 --> 00:55.460 |
|
このようなトレーニングを行う場合、 評価用のデータセット、 つまりトレーニングには使用しない一定のデータセットを繰り返し持ち、 |
|
|
|
00:55.490 --> 01:07.670 |
|
モデルが進歩していることを検証するために使用するのが一般的です。 |
|
|
|
01:07.700 --> 01:09.800 |
|
今、 私はそのようなことはしていない。 |
|
|
|
01:09.890 --> 01:15.790 |
|
ええと、 トレーニングデータがたくさんあるので、 トレーニングするのに十分だと思うからというのもある。 |
|
|
|
01:15.850 --> 01:22.300 |
|
ただ、 1つのエポックに限れば、 そしてパフォーマンスのためでもあるが、 トレーニングのスピードはとても重要だった。 |
|
|
|
01:22.300 --> 01:26.590 |
|
このような繰り返しで検証を行うことを止めてほしくなかった。 |
|
|
|
01:26.590 --> 01:29.710 |
|
しかし、 検証データセットを持つことはベストプラクティスである。 |
|
|
|
01:29.740 --> 01:31.600 |
|
そのためのデータはたくさんある。 |
|
|
|
01:31.630 --> 01:42.490 |
|
テストデータ2000点を用意しましたので、 検証ステップのテストセットとしてお使いください。 |
|
|
|
01:42.490 --> 01:53.620 |
|
そこで、 ベストプラクティスに近い改善策としては、 evalストラテジーを使い、 トレーニングデータだけでなく検証データも渡すことだ。 |
|
|
|
01:53.770 --> 01:58.840 |
|
ええと、 でも、 でも、 今回は超必要なことではなかったので、 やりませんでした。 |
|
|
|
01:59.650 --> 02:01.600 |
|
うーん、 わかった。 |
|
|
|
02:01.600 --> 02:15.280 |
|
GPUメモリが40GBから38GBに増えていることにお気づきだろうか。 |
|
|
|
02:15.280 --> 02:15.280 |
|
2が現在使用されている。 |
|
|
|
02:15.280 --> 02:23.710 |
|
だから、 16のバッチステップ、 16のバッチサイズで、 |
|
|
|
02:23.710 --> 02:32.890 |
|
GPUをほとんど使い切ってしまうくらいに絞ったんだ。 |
|
|
|
02:32.890 --> 02:36.520 |
|
では、 下にスクロールして、 何が見えるか見てみよう。 |
|
|
|
02:36.880 --> 02:42.850 |
|
そう、 だから、 もう始動しているし、 いろいろなことが起こっているのがわかる。 |
|
|
|
02:42.940 --> 02:53.140 |
|
そして今、 3つのエポック全体を実行するには、 この見積もりによれば、 24時間強かかる。 |
|
|
|
02:53.170 --> 02:55.390 |
|
26時間くらいかな。 |
|
|
|
02:55.450 --> 03:04.120 |
|
トレーニング・データが膨大なので、 この高性能なマシンでも1エポックあたり8時間くらいかかりますが、 |
|
|
|
03:04.150 --> 03:13.210 |
|
厳密に40万件すべてのトレーニング・データを調べる必要はありません。 |
|
|
|
03:13.210 --> 03:19.750 |
|
そして、 私が言うように、 これをもっと低価格のマシンで走らせてもいいし、 しばらく走らせてもいい。 |
|
|
|
03:20.080 --> 03:26.710 |
|
ええと、 でも、 ここに表示されているのは、 設定した通り、 50ステップごとにオフになっています。 |
|
|
|
03:26.740 --> 03:31.450 |
|
これまでのトレーニングのロスを示す出力が出た。 |
|
|
|
03:31.660 --> 03:36.940 |
|
ええと、 これでウェイトとバイアスを出力しているところです。 |
|
|
|
03:37.060 --> 03:41.350 |
|
次のビデオでは、 その様子をお見せしよう。
|
|
|