WEBVTT 00:00.080 --> 00:06.050 私にとっても、 おそらくあなたにとっても、 一晩中走り続けてきたColabに戻ってきた。 00:06.050 --> 00:10.160 そして、 どちらかといえば、 私のように、 この映画に釘付けになっているはずだ。 00:10.520 --> 00:19.430 だから、 これはコラブの中で逃げ惑う部分を示していて、 カチカチと音を立てているのがわかるだろう。 00:19.460 --> 00:24.080 4つのエポックを経て、 この時点で半分以上。 00:24.080 --> 00:25.820 そのために4つのエポックは必要ない。 00:25.850 --> 00:28.100 もちろん、 エポックは1回だけでいい。 00:28.130 --> 00:34.310 そしてただ、 私はこの手のものが好きで好きでたまらない。 00:34.310 --> 00:37.430 だから、 刻々と時間が過ぎていく。 00:37.460 --> 00:41.750 それでは、 ファビュラス・ウェイトとバイアスをご覧いただこう。 00:41.750 --> 00:43.340 これが我々の走りだ。 00:43.370 --> 00:45.080 ウェイトとバイアスで覚えている 00:45.080 --> 00:49.280 上部のナビゲーションで、 さまざまなプロジェクトを見ることができます。 00:49.310 --> 00:52.760 そして、 私のプライサープロジェクトを見ている。 00:52.790 --> 00:56.390 GPTを微調整するためのプライサーGPTプロジェクトもあるんだ。 00:56.960 --> 01:03.440 ええと、 それから、 ここでは、 キックオフされた日時にちなんで、 コード内のランに名前をつけている。 01:03.470 --> 01:04.460 そんなことをする必要はない。 01:04.460 --> 01:06.350 呼び方は自由だ。 01:06.530 --> 01:13.050 そうすることで、 いつ、 何をしたのか、 走ったのかなどを思い出すことができるからだ。 01:13.050 --> 01:14.880 だから、 これはとても便利なトリックだと思った。 01:15.030 --> 01:18.420 でも、 どんな走りをするのかを表す名前をつけることもできる。 01:18.900 --> 01:21.630 右クリックして名前を変更することもできます。 01:22.260 --> 01:26.070 ええと、 現在の滑走はこの青い滑走です。 01:26.070 --> 01:27.960 これが私たちが走らせてきたものだ。 01:27.960 --> 01:35.520 トレーニングのロスを拡大してみると、 これが本当に重要な図であることがわかる。 01:35.760 --> 01:41.280 そして、 これが最初のエポックであることがわかるだろう。 01:41.280 --> 01:51.720 これは、 2回目のデータを見たときにオーバーフィッティングが起こり始めた可能性がある。 01:51.720 --> 01:56.220 私がやっていないことで、 ベストプラクティスとしてやるべきことは、 01:56.220 --> 01:59.700 検証データセットを持つことです。 01:59.700 --> 02:09.240 想像するに、 ここで少し減少するだけで、 すぐに増加し始めるのではないだろうか。 02:09.270 --> 02:14.980 それは推論モードでモデルを走らせればわかりますが、 検証結果を見たほうがいいでしょう。 02:14.980 --> 02:17.320 そして願わくば、 それがあなたのやっていることであってほしい。 02:17.770 --> 02:20.230 ところで、 そのグラフをぜひ見せてほしい。 02:21.040 --> 02:29.500 だから、 この上に、 私が完了まで走らせたときに行った前の走行を重ねることもできる。 02:29.860 --> 02:30.940 さあ、 始めよう。 02:30.940 --> 02:34.030 両者の走りをもう一度拡大して見てみよう。 02:34.030 --> 02:38.500 そして、 この2つの走りは実によく似ていることがわかるだろう。 02:38.710 --> 02:45.160 もちろん、 同じハイパーパラメーターを使い、 ランダムなシードを設定した。 02:45.160 --> 02:49.600 だから、 大きな驚きというわけではないが、 複雑でいろいろなことが起こっているにもかかわらず、 02:49.600 --> 02:56.170 同じ数字が得られるということを示している。 02:56.380 --> 02:58.660 だから、 多少は慰めになる。 02:58.840 --> 03:01.930 ええと、 これでお見せできるのは全部だと思います。 03:01.960 --> 03:08.290 学習率という点から見ると、 今は、 いや、 以前は、 青い線だけを見ていると、 えー、 ちょっとだけだが、 03:08.290 --> 03:14.560 以前見ていたのと同じように、 青い線が点滅しているのがわかる。 03:14.590 --> 03:21.200 以前は......これを上に持ってくれば、 前回はここまでの高さだったことがわかるだろう。 03:21.230 --> 03:26.480 そして、 本当に滑らかなカーブを描いているのかどうか、 懐疑的だったのではないだろうか。 03:26.480 --> 03:31.190 そして今、 とてもいい形で降りてきているのがはっきりとわかる。 03:31.190 --> 03:39.290 つまり、 コサイン学習率スケジューラーは、 バッチの過程で学習率を変化させる良い方法なのだ。 03:40.070 --> 03:40.910 オーケー。 03:40.910 --> 03:44.060 そして最後に見せるのは、 ハグする顔への反転だ。 03:44.090 --> 03:52.730 このモデルを見れば、 そのタイムスタンプで11秒後にこの名前が終わっていることがわかるだろう。 03:52.730 --> 03:57.080 ハブのハギング・フェイスに行くと、 いろいろなモデルがあるんだ。 03:57.350 --> 04:03.320 そして、 11秒で終わるこの1本は、 もちろん、 今走っている問題のランだ。 04:03.320 --> 04:05.690 そして実際、 2時間前に更新されたとさえ書かれている。 04:05.690 --> 04:07.130 だから、 私たちはそれが正しいものだと知っている。 04:07.160 --> 04:15.500 私が言ったように、 ある人はただ1つのレポを持ち、 そのレポに書き込むだけだ。 04:15.590 --> 04:19.970 私はこのやり方が好きなので、 異なるランを完全に分けている。 04:20.060 --> 04:27.360 このレポに入り、 ファイルとバージョンをクリックすると、 このレポに関連するファイルが表示される。 04:27.360 --> 04:29.670 安全なテンソルをもう一度実行する。 04:29.670 --> 04:30.840 それがビジネスだ。 04:30.840 --> 04:32.070 そこですべてが起こる。 04:32.070 --> 04:39.030 これは109MB分のパラメーターで、 我々のLoraアダプターのパラメーターだ。 04:39.270 --> 04:43.620 そして、 こちらには9つのコミット履歴があります。 04:43.650 --> 04:51.450 これをクリックすると、 私がセットアップのパラメータで要求したように、 ハギング・フェイスがこれをハブに保存し、 04:51.480 --> 05:00.840 アップロードし、 5000ステップごとに異なるリビジョンのモデルウェイトを作成していることが表示される。 05:01.260 --> 05:11.130 それで、 そのコミットのどれかに戻って推論を行いたければ、 そのコミットにアクセスすることができる。 05:11.130 --> 05:14.400 そして、 私がなぜそれを別のレポとして残しておきたいのか、 お分かりいただけると幸いだ。 05:14.400 --> 05:21.480 だから、 トレーニングのバージョンが違っても、 走行中のセーブを混同しないようにしている。 05:22.500 --> 05:25.680 さて、 僕らが今いる場所のツアーはこれで十分だと思う。 05:25.950 --> 05:30.750 ええと、 推論に入る前にもう1度スライドに戻ってください。