You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

121 lines
4.3 KiB

WEBVTT
00:00.920 --> 00:02.300
その時が来た。
00:02.300 --> 00:03.230
さあ、 始めよう。
00:03.260 --> 00:04.790
微調整中だ。
00:04.790 --> 00:05.810
微調整を行う。
00:06.020 --> 00:06.740
電車だ。
00:06.770 --> 00:10.130
ここには、 終了後にハブにプッシュするためのラインもある。
00:10.160 --> 00:11.750
では、 それを始めよう。
00:13.130 --> 00:16.910
キックオフの間に、 ちょっと見てみよう。
00:16.940 --> 00:22.340
GPUは6時から始まる。
00:22.370 --> 00:27.560
モデル自体に必要な量と同じくらいだ。
00:28.550 --> 00:37.490
その間にウォーミングアップを行い、 このトレーニングの準備をするんだ。
00:37.640 --> 00:46.130
せっかくなので、 これまで触れなかった他のトレーニングパラメーターについても話しておこうと思う。
00:46.610 --> 00:48.230
あの、 評価戦略。
00:48.230 --> 00:55.460
このようなトレーニングを行う場合、 評価用のデータセット、 つまりトレーニングには使用しない一定のデータセットを繰り返し持ち、
00:55.490 --> 01:07.670
モデルが進歩していることを検証するために使用するのが一般的です。
01:07.700 --> 01:09.800
今、 私はそのようなことはしていない。
01:09.890 --> 01:15.790
ええと、 トレーニングデータがたくさんあるので、 トレーニングするのに十分だと思うからというのもある。
01:15.850 --> 01:22.300
ただ、 1つのエポックに限れば、 そしてパフォーマンスのためでもあるが、 トレーニングのスピードはとても重要だった。
01:22.300 --> 01:26.590
このような繰り返しで検証を行うことを止めてほしくなかった。
01:26.590 --> 01:29.710
しかし、 検証データセットを持つことはベストプラクティスである。
01:29.740 --> 01:31.600
そのためのデータはたくさんある。
01:31.630 --> 01:42.490
テストデータ2000点を用意しましたので、 検証ステップのテストセットとしてお使いください。
01:42.490 --> 01:53.620
そこで、 ベストプラクティスに近い改善策としては、 evalストラテジーを使い、 トレーニングデータだけでなく検証データも渡すことだ。
01:53.770 --> 01:58.840
ええと、 でも、 でも、 今回は超必要なことではなかったので、 やりませんでした。
01:59.650 --> 02:01.600
うーん、 わかった。
02:01.600 --> 02:15.280
GPUメモリが40GBから38GBに増えていることにお気づきだろうか。
02:15.280 --> 02:15.280
2が現在使用されている。
02:15.280 --> 02:23.710
だから、 16のバッチステップ、 16のバッチサイズで、
02:23.710 --> 02:32.890
GPUをほとんど使い切ってしまうくらいに絞ったんだ。
02:32.890 --> 02:36.520
では、 下にスクロールして、 何が見えるか見てみよう。
02:36.880 --> 02:42.850
そう、 だから、 もう始動しているし、 いろいろなことが起こっているのがわかる。
02:42.940 --> 02:53.140
そして今、 3つのエポック全体を実行するには、 この見積もりによれば、 24時間強かかる。
02:53.170 --> 02:55.390
26時間くらいかな。
02:55.450 --> 03:04.120
トレーニング・データが膨大なので、 この高性能なマシンでも1エポックあたり8時間くらいかかりますが、
03:04.150 --> 03:13.210
厳密に40万件すべてのトレーニング・データを調べる必要はありません。
03:13.210 --> 03:19.750
そして、 私が言うように、 これをもっと低価格のマシンで走らせてもいいし、 しばらく走らせてもいい。
03:20.080 --> 03:26.710
ええと、 でも、 ここに表示されているのは、 設定した通り、 50ステップごとにオフになっています。
03:26.740 --> 03:31.450
これまでのトレーニングのロスを示す出力が出た。
03:31.660 --> 03:36.940
ええと、 これでウェイトとバイアスを出力しているところです。
03:37.060 --> 03:41.350
次のビデオでは、 その様子をお見せしよう。