You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

208 lines
7.8 KiB

WEBVTT
00:00.080 --> 00:06.050
私にとっても、 おそらくあなたにとっても、 一晩中走り続けてきたColabに戻ってきた。
00:06.050 --> 00:10.160
そして、 どちらかといえば、 私のように、 この映画に釘付けになっているはずだ。
00:10.520 --> 00:19.430
だから、 これはコラブの中で逃げ惑う部分を示していて、 カチカチと音を立てているのがわかるだろう。
00:19.460 --> 00:24.080
4つのエポックを経て、 この時点で半分以上。
00:24.080 --> 00:25.820
そのために4つのエポックは必要ない。
00:25.850 --> 00:28.100
もちろん、 エポックは1回だけでいい。
00:28.130 --> 00:34.310
そしてただ、 私はこの手のものが好きで好きでたまらない。
00:34.310 --> 00:37.430
だから、 刻々と時間が過ぎていく。
00:37.460 --> 00:41.750
それでは、 ファビュラス・ウェイトとバイアスをご覧いただこう。
00:41.750 --> 00:43.340
これが我々の走りだ。
00:43.370 --> 00:45.080
ウェイトとバイアスで覚えている
00:45.080 --> 00:49.280
上部のナビゲーションで、 さまざまなプロジェクトを見ることができます。
00:49.310 --> 00:52.760
そして、 私のプライサープロジェクトを見ている。
00:52.790 --> 00:56.390
GPTを微調整するためのプライサーGPTプロジェクトもあるんだ。
00:56.960 --> 01:03.440
ええと、 それから、 ここでは、 キックオフされた日時にちなんで、 コード内のランに名前をつけている。
01:03.470 --> 01:04.460
そんなことをする必要はない。
01:04.460 --> 01:06.350
呼び方は自由だ。
01:06.530 --> 01:13.050
そうすることで、 いつ、 何をしたのか、 走ったのかなどを思い出すことができるからだ。
01:13.050 --> 01:14.880
だから、 これはとても便利なトリックだと思った。
01:15.030 --> 01:18.420
でも、 どんな走りをするのかを表す名前をつけることもできる。
01:18.900 --> 01:21.630
右クリックして名前を変更することもできます。
01:22.260 --> 01:26.070
ええと、 現在の滑走はこの青い滑走です。
01:26.070 --> 01:27.960
これが私たちが走らせてきたものだ。
01:27.960 --> 01:35.520
トレーニングのロスを拡大してみると、 これが本当に重要な図であることがわかる。
01:35.760 --> 01:41.280
そして、 これが最初のエポックであることがわかるだろう。
01:41.280 --> 01:51.720
これは、 2回目のデータを見たときにオーバーフィッティングが起こり始めた可能性がある。
01:51.720 --> 01:56.220
私がやっていないことで、 ベストプラクティスとしてやるべきことは、
01:56.220 --> 01:59.700
検証データセットを持つことです。
01:59.700 --> 02:09.240
想像するに、 ここで少し減少するだけで、 すぐに増加し始めるのではないだろうか。
02:09.270 --> 02:14.980
それは推論モードでモデルを走らせればわかりますが、 検証結果を見たほうがいいでしょう。
02:14.980 --> 02:17.320
そして願わくば、 それがあなたのやっていることであってほしい。
02:17.770 --> 02:20.230
ところで、 そのグラフをぜひ見せてほしい。
02:21.040 --> 02:29.500
だから、 この上に、 私が完了まで走らせたときに行った前の走行を重ねることもできる。
02:29.860 --> 02:30.940
さあ、 始めよう。
02:30.940 --> 02:34.030
両者の走りをもう一度拡大して見てみよう。
02:34.030 --> 02:38.500
そして、 この2つの走りは実によく似ていることがわかるだろう。
02:38.710 --> 02:45.160
もちろん、 同じハイパーパラメーターを使い、 ランダムなシードを設定した。
02:45.160 --> 02:49.600
だから、 大きな驚きというわけではないが、 複雑でいろいろなことが起こっているにもかかわらず、
02:49.600 --> 02:56.170
同じ数字が得られるということを示している。
02:56.380 --> 02:58.660
だから、 多少は慰めになる。
02:58.840 --> 03:01.930
ええと、 これでお見せできるのは全部だと思います。
03:01.960 --> 03:08.290
学習率という点から見ると、 今は、 いや、 以前は、 青い線だけを見ていると、 えー、 ちょっとだけだが、
03:08.290 --> 03:14.560
以前見ていたのと同じように、 青い線が点滅しているのがわかる。
03:14.590 --> 03:21.200
以前は......これを上に持ってくれば、 前回はここまでの高さだったことがわかるだろう。
03:21.230 --> 03:26.480
そして、 本当に滑らかなカーブを描いているのかどうか、 懐疑的だったのではないだろうか。
03:26.480 --> 03:31.190
そして今、 とてもいい形で降りてきているのがはっきりとわかる。
03:31.190 --> 03:39.290
つまり、 コサイン学習率スケジューラーは、 バッチの過程で学習率を変化させる良い方法なのだ。
03:40.070 --> 03:40.910
オーケー。
03:40.910 --> 03:44.060
そして最後に見せるのは、 ハグする顔への反転だ。
03:44.090 --> 03:52.730
このモデルを見れば、 そのタイムスタンプで11秒後にこの名前が終わっていることがわかるだろう。
03:52.730 --> 03:57.080
ハブのハギング・フェイスに行くと、 いろいろなモデルがあるんだ。
03:57.350 --> 04:03.320
そして、 11秒で終わるこの1本は、 もちろん、 今走っている問題のランだ。
04:03.320 --> 04:05.690
そして実際、 2時間前に更新されたとさえ書かれている。
04:05.690 --> 04:07.130
だから、 私たちはそれが正しいものだと知っている。
04:07.160 --> 04:15.500
私が言ったように、 ある人はただ1つのレポを持ち、 そのレポに書き込むだけだ。
04:15.590 --> 04:19.970
私はこのやり方が好きなので、 異なるランを完全に分けている。
04:20.060 --> 04:27.360
このレポに入り、 ファイルとバージョンをクリックすると、 このレポに関連するファイルが表示される。
04:27.360 --> 04:29.670
安全なテンソルをもう一度実行する。
04:29.670 --> 04:30.840
それがビジネスだ。
04:30.840 --> 04:32.070
そこですべてが起こる。
04:32.070 --> 04:39.030
これは109MB分のパラメーターで、 我々のLoraアダプターのパラメーターだ。
04:39.270 --> 04:43.620
そして、 こちらには9つのコミット履歴があります。
04:43.650 --> 04:51.450
これをクリックすると、 私がセットアップのパラメータで要求したように、 ハギング・フェイスがこれをハブに保存し、
04:51.480 --> 05:00.840
アップロードし、 5000ステップごとに異なるリビジョンのモデルウェイトを作成していることが表示される。
05:01.260 --> 05:11.130
それで、 そのコミットのどれかに戻って推論を行いたければ、 そのコミットにアクセスすることができる。
05:11.130 --> 05:14.400
そして、 私がなぜそれを別のレポとして残しておきたいのか、 お分かりいただけると幸いだ。
05:14.400 --> 05:21.480
だから、 トレーニングのバージョンが違っても、 走行中のセーブを混同しないようにしている。
05:22.500 --> 05:25.680
さて、 僕らが今いる場所のツアーはこれで十分だと思う。
05:25.950 --> 05:30.750
ええと、 推論に入る前にもう1度スライドに戻ってください。