WEBVTT 00:00.920 --> 00:02.300 その時が来た。 00:02.300 --> 00:03.230 さあ、 始めよう。 00:03.260 --> 00:04.790 微調整中だ。 00:04.790 --> 00:05.810 微調整を行う。 00:06.020 --> 00:06.740 電車だ。 00:06.770 --> 00:10.130 ここには、 終了後にハブにプッシュするためのラインもある。 00:10.160 --> 00:11.750 では、 それを始めよう。 00:13.130 --> 00:16.910 キックオフの間に、 ちょっと見てみよう。 00:16.940 --> 00:22.340 GPUは6時から始まる。 00:22.370 --> 00:27.560 モデル自体に必要な量と同じくらいだ。 00:28.550 --> 00:37.490 その間にウォーミングアップを行い、 このトレーニングの準備をするんだ。 00:37.640 --> 00:46.130 せっかくなので、 これまで触れなかった他のトレーニングパラメーターについても話しておこうと思う。 00:46.610 --> 00:48.230 あの、 評価戦略。 00:48.230 --> 00:55.460 このようなトレーニングを行う場合、 評価用のデータセット、 つまりトレーニングには使用しない一定のデータセットを繰り返し持ち、 00:55.490 --> 01:07.670 モデルが進歩していることを検証するために使用するのが一般的です。 01:07.700 --> 01:09.800 今、 私はそのようなことはしていない。 01:09.890 --> 01:15.790 ええと、 トレーニングデータがたくさんあるので、 トレーニングするのに十分だと思うからというのもある。 01:15.850 --> 01:22.300 ただ、 1つのエポックに限れば、 そしてパフォーマンスのためでもあるが、 トレーニングのスピードはとても重要だった。 01:22.300 --> 01:26.590 このような繰り返しで検証を行うことを止めてほしくなかった。 01:26.590 --> 01:29.710 しかし、 検証データセットを持つことはベストプラクティスである。 01:29.740 --> 01:31.600 そのためのデータはたくさんある。 01:31.630 --> 01:42.490 テストデータ2000点を用意しましたので、 検証ステップのテストセットとしてお使いください。 01:42.490 --> 01:53.620 そこで、 ベストプラクティスに近い改善策としては、 evalストラテジーを使い、 トレーニングデータだけでなく検証データも渡すことだ。 01:53.770 --> 01:58.840 ええと、 でも、 でも、 今回は超必要なことではなかったので、 やりませんでした。 01:59.650 --> 02:01.600 うーん、 わかった。 02:01.600 --> 02:15.280 GPUメモリが40GBから38GBに増えていることにお気づきだろうか。 02:15.280 --> 02:15.280 2が現在使用されている。 02:15.280 --> 02:23.710 だから、 16のバッチステップ、 16のバッチサイズで、 02:23.710 --> 02:32.890 GPUをほとんど使い切ってしまうくらいに絞ったんだ。 02:32.890 --> 02:36.520 では、 下にスクロールして、 何が見えるか見てみよう。 02:36.880 --> 02:42.850 そう、 だから、 もう始動しているし、 いろいろなことが起こっているのがわかる。 02:42.940 --> 02:53.140 そして今、 3つのエポック全体を実行するには、 この見積もりによれば、 24時間強かかる。 02:53.170 --> 02:55.390 26時間くらいかな。 02:55.450 --> 03:04.120 トレーニング・データが膨大なので、 この高性能なマシンでも1エポックあたり8時間くらいかかりますが、 03:04.150 --> 03:13.210 厳密に40万件すべてのトレーニング・データを調べる必要はありません。 03:13.210 --> 03:19.750 そして、 私が言うように、 これをもっと低価格のマシンで走らせてもいいし、 しばらく走らせてもいい。 03:20.080 --> 03:26.710 ええと、 でも、 ここに表示されているのは、 設定した通り、 50ステップごとにオフになっています。 03:26.740 --> 03:31.450 これまでのトレーニングのロスを示す出力が出た。 03:31.660 --> 03:36.940 ええと、 これでウェイトとバイアスを出力しているところです。 03:37.060 --> 03:41.350 次のビデオでは、 その様子をお見せしよう。