From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
208 lines
7.8 KiB
208 lines
7.8 KiB
WEBVTT |
|
|
|
00:00.080 --> 00:06.050 |
|
私にとっても、 おそらくあなたにとっても、 一晩中走り続けてきたColabに戻ってきた。 |
|
|
|
00:06.050 --> 00:10.160 |
|
そして、 どちらかといえば、 私のように、 この映画に釘付けになっているはずだ。 |
|
|
|
00:10.520 --> 00:19.430 |
|
だから、 これはコラブの中で逃げ惑う部分を示していて、 カチカチと音を立てているのがわかるだろう。 |
|
|
|
00:19.460 --> 00:24.080 |
|
4つのエポックを経て、 この時点で半分以上。 |
|
|
|
00:24.080 --> 00:25.820 |
|
そのために4つのエポックは必要ない。 |
|
|
|
00:25.850 --> 00:28.100 |
|
もちろん、 エポックは1回だけでいい。 |
|
|
|
00:28.130 --> 00:34.310 |
|
そしてただ、 私はこの手のものが好きで好きでたまらない。 |
|
|
|
00:34.310 --> 00:37.430 |
|
だから、 刻々と時間が過ぎていく。 |
|
|
|
00:37.460 --> 00:41.750 |
|
それでは、 ファビュラス・ウェイトとバイアスをご覧いただこう。 |
|
|
|
00:41.750 --> 00:43.340 |
|
これが我々の走りだ。 |
|
|
|
00:43.370 --> 00:45.080 |
|
ウェイトとバイアスで覚えている |
|
|
|
00:45.080 --> 00:49.280 |
|
上部のナビゲーションで、 さまざまなプロジェクトを見ることができます。 |
|
|
|
00:49.310 --> 00:52.760 |
|
そして、 私のプライサープロジェクトを見ている。 |
|
|
|
00:52.790 --> 00:56.390 |
|
GPTを微調整するためのプライサーGPTプロジェクトもあるんだ。 |
|
|
|
00:56.960 --> 01:03.440 |
|
ええと、 それから、 ここでは、 キックオフされた日時にちなんで、 コード内のランに名前をつけている。 |
|
|
|
01:03.470 --> 01:04.460 |
|
そんなことをする必要はない。 |
|
|
|
01:04.460 --> 01:06.350 |
|
呼び方は自由だ。 |
|
|
|
01:06.530 --> 01:13.050 |
|
そうすることで、 いつ、 何をしたのか、 走ったのかなどを思い出すことができるからだ。 |
|
|
|
01:13.050 --> 01:14.880 |
|
だから、 これはとても便利なトリックだと思った。 |
|
|
|
01:15.030 --> 01:18.420 |
|
でも、 どんな走りをするのかを表す名前をつけることもできる。 |
|
|
|
01:18.900 --> 01:21.630 |
|
右クリックして名前を変更することもできます。 |
|
|
|
01:22.260 --> 01:26.070 |
|
ええと、 現在の滑走はこの青い滑走です。 |
|
|
|
01:26.070 --> 01:27.960 |
|
これが私たちが走らせてきたものだ。 |
|
|
|
01:27.960 --> 01:35.520 |
|
トレーニングのロスを拡大してみると、 これが本当に重要な図であることがわかる。 |
|
|
|
01:35.760 --> 01:41.280 |
|
そして、 これが最初のエポックであることがわかるだろう。 |
|
|
|
01:41.280 --> 01:51.720 |
|
これは、 2回目のデータを見たときにオーバーフィッティングが起こり始めた可能性がある。 |
|
|
|
01:51.720 --> 01:56.220 |
|
私がやっていないことで、 ベストプラクティスとしてやるべきことは、 |
|
|
|
01:56.220 --> 01:59.700 |
|
検証データセットを持つことです。 |
|
|
|
01:59.700 --> 02:09.240 |
|
想像するに、 ここで少し減少するだけで、 すぐに増加し始めるのではないだろうか。 |
|
|
|
02:09.270 --> 02:14.980 |
|
それは推論モードでモデルを走らせればわかりますが、 検証結果を見たほうがいいでしょう。 |
|
|
|
02:14.980 --> 02:17.320 |
|
そして願わくば、 それがあなたのやっていることであってほしい。 |
|
|
|
02:17.770 --> 02:20.230 |
|
ところで、 そのグラフをぜひ見せてほしい。 |
|
|
|
02:21.040 --> 02:29.500 |
|
だから、 この上に、 私が完了まで走らせたときに行った前の走行を重ねることもできる。 |
|
|
|
02:29.860 --> 02:30.940 |
|
さあ、 始めよう。 |
|
|
|
02:30.940 --> 02:34.030 |
|
両者の走りをもう一度拡大して見てみよう。 |
|
|
|
02:34.030 --> 02:38.500 |
|
そして、 この2つの走りは実によく似ていることがわかるだろう。 |
|
|
|
02:38.710 --> 02:45.160 |
|
もちろん、 同じハイパーパラメーターを使い、 ランダムなシードを設定した。 |
|
|
|
02:45.160 --> 02:49.600 |
|
だから、 大きな驚きというわけではないが、 複雑でいろいろなことが起こっているにもかかわらず、 |
|
|
|
02:49.600 --> 02:56.170 |
|
同じ数字が得られるということを示している。 |
|
|
|
02:56.380 --> 02:58.660 |
|
だから、 多少は慰めになる。 |
|
|
|
02:58.840 --> 03:01.930 |
|
ええと、 これでお見せできるのは全部だと思います。 |
|
|
|
03:01.960 --> 03:08.290 |
|
学習率という点から見ると、 今は、 いや、 以前は、 青い線だけを見ていると、 えー、 ちょっとだけだが、 |
|
|
|
03:08.290 --> 03:14.560 |
|
以前見ていたのと同じように、 青い線が点滅しているのがわかる。 |
|
|
|
03:14.590 --> 03:21.200 |
|
以前は......これを上に持ってくれば、 前回はここまでの高さだったことがわかるだろう。 |
|
|
|
03:21.230 --> 03:26.480 |
|
そして、 本当に滑らかなカーブを描いているのかどうか、 懐疑的だったのではないだろうか。 |
|
|
|
03:26.480 --> 03:31.190 |
|
そして今、 とてもいい形で降りてきているのがはっきりとわかる。 |
|
|
|
03:31.190 --> 03:39.290 |
|
つまり、 コサイン学習率スケジューラーは、 バッチの過程で学習率を変化させる良い方法なのだ。 |
|
|
|
03:40.070 --> 03:40.910 |
|
オーケー。 |
|
|
|
03:40.910 --> 03:44.060 |
|
そして最後に見せるのは、 ハグする顔への反転だ。 |
|
|
|
03:44.090 --> 03:52.730 |
|
このモデルを見れば、 そのタイムスタンプで11秒後にこの名前が終わっていることがわかるだろう。 |
|
|
|
03:52.730 --> 03:57.080 |
|
ハブのハギング・フェイスに行くと、 いろいろなモデルがあるんだ。 |
|
|
|
03:57.350 --> 04:03.320 |
|
そして、 11秒で終わるこの1本は、 もちろん、 今走っている問題のランだ。 |
|
|
|
04:03.320 --> 04:05.690 |
|
そして実際、 2時間前に更新されたとさえ書かれている。 |
|
|
|
04:05.690 --> 04:07.130 |
|
だから、 私たちはそれが正しいものだと知っている。 |
|
|
|
04:07.160 --> 04:15.500 |
|
私が言ったように、 ある人はただ1つのレポを持ち、 そのレポに書き込むだけだ。 |
|
|
|
04:15.590 --> 04:19.970 |
|
私はこのやり方が好きなので、 異なるランを完全に分けている。 |
|
|
|
04:20.060 --> 04:27.360 |
|
このレポに入り、 ファイルとバージョンをクリックすると、 このレポに関連するファイルが表示される。 |
|
|
|
04:27.360 --> 04:29.670 |
|
安全なテンソルをもう一度実行する。 |
|
|
|
04:29.670 --> 04:30.840 |
|
それがビジネスだ。 |
|
|
|
04:30.840 --> 04:32.070 |
|
そこですべてが起こる。 |
|
|
|
04:32.070 --> 04:39.030 |
|
これは109MB分のパラメーターで、 我々のLoraアダプターのパラメーターだ。 |
|
|
|
04:39.270 --> 04:43.620 |
|
そして、 こちらには9つのコミット履歴があります。 |
|
|
|
04:43.650 --> 04:51.450 |
|
これをクリックすると、 私がセットアップのパラメータで要求したように、 ハギング・フェイスがこれをハブに保存し、 |
|
|
|
04:51.480 --> 05:00.840 |
|
アップロードし、 5000ステップごとに異なるリビジョンのモデルウェイトを作成していることが表示される。 |
|
|
|
05:01.260 --> 05:11.130 |
|
それで、 そのコミットのどれかに戻って推論を行いたければ、 そのコミットにアクセスすることができる。 |
|
|
|
05:11.130 --> 05:14.400 |
|
そして、 私がなぜそれを別のレポとして残しておきたいのか、 お分かりいただけると幸いだ。 |
|
|
|
05:14.400 --> 05:21.480 |
|
だから、 トレーニングのバージョンが違っても、 走行中のセーブを混同しないようにしている。 |
|
|
|
05:22.500 --> 05:25.680 |
|
さて、 僕らが今いる場所のツアーはこれで十分だと思う。 |
|
|
|
05:25.950 --> 05:30.750 |
|
ええと、 推論に入る前にもう1度スライドに戻ってください。
|
|
|