From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
118 lines
5.0 KiB
118 lines
5.0 KiB
WEBVTT |
|
|
|
00:00.680 --> 00:05.210 |
|
アクション満載のトレーニングの時間へ、 おかえりなさい。 |
|
|
|
00:05.210 --> 00:16.100 |
|
それで、 同じようにイベントをリストアップする機能を実行すると、 5分ほど待たされた後、 いろいろなものが表示されるようになった。 |
|
|
|
00:16.100 --> 00:19.520 |
|
この10大会を見てわかるのは、 トレーニングが行われているということだ。 |
|
|
|
00:19.520 --> 00:26.240 |
|
このメッセージには、 500のうちステップ0、 ステップ1、 ステップ2、 |
|
|
|
00:26.240 --> 00:30.380 |
|
ステップ3が表示されている。 |
|
|
|
00:30.380 --> 00:32.750 |
|
そして、 ここでもトレーニングロスが見られる。 |
|
|
|
00:32.780 --> 00:41.660 |
|
トレーニング・ロスというのは、 私たちが減らしたいものであり、 それは私たちに良い結果を示してくれるものだ。 |
|
|
|
00:41.660 --> 00:51.440 |
|
そして、 これを再実行するたびに、 すでにステップ118に進んでいることがわかるだろう。 |
|
|
|
00:51.440 --> 00:55.970 |
|
だから、 これで我慢しなければならないとしたら、 これはちょっと難しいことだ。 |
|
|
|
00:55.970 --> 01:06.440 |
|
しかし、 私たちはウェイトとバイアスを使うので、 そうしない。 ここにあるのは、 トレーニングに沿ったフォローができるゴージャスなウェイトとバイアスの画面だ。 |
|
|
|
01:06.770 --> 01:12.290 |
|
そして私たちが見ることができるのは、 トレーニングの成果であり、 何が起こっているかを見ることだ。 |
|
|
|
01:12.290 --> 01:14.900 |
|
ページが更新されたから更新されただけだ。 |
|
|
|
01:15.110 --> 01:18.980 |
|
そして、 何が起こっているのかを見たり、 洞察したりすることができるだろう。 |
|
|
|
01:18.980 --> 01:28.430 |
|
さて、 この種のトレーニングを実施しているときに必ず目にするのが、 最初の数バッチステップで劇的な低下が見られるということだ。 |
|
|
|
01:28.670 --> 01:33.590 |
|
うーん、 それは必ずしも興奮することではないんだ。 |
|
|
|
01:33.620 --> 01:39.770 |
|
通常、 そこで起こっていることは、 モデルが、 |
|
|
|
01:39.770 --> 01:44.780 |
|
ドル記号があるという事実や、 小数点以下をどこに置くかといった、 |
|
|
|
01:44.780 --> 02:03.590 |
|
ほとんど言うまでもないような構造の部分を、 非常に素早く学習しているということです。 |
|
|
|
02:03.590 --> 02:09.590 |
|
これは全くの憶測だが、 そのようなこと、 つまり構成に関する明白な事柄があるからこそ、 |
|
|
|
02:09.590 --> 02:21.390 |
|
トレーニングは最初の数ステップを非常に素早く下り、 明白な事柄を片付けて、 まともなパターンに従うようになるのだ。 |
|
|
|
02:21.420 --> 02:28.290 |
|
あなたが本当に求めているのは、 その時点からの継続的な進歩であり、 一般的には、 トレーニングがうまくセットアップされていれば、 |
|
|
|
02:28.290 --> 02:32.430 |
|
正解も不正解もない。 |
|
|
|
02:32.430 --> 02:35.250 |
|
だから、 私が今言っていることすべてに例外がある。 |
|
|
|
02:35.250 --> 02:38.460 |
|
しかし、 一般的に言えば、 ある程度のバリエーションは欲しいところだ。 |
|
|
|
02:38.460 --> 02:49.230 |
|
最適化を図り、 さまざまな可能性を模索しているのだから。 |
|
|
|
02:49.440 --> 02:57.000 |
|
そして、 あなたが求めているのは、 時間の経過とともに、 |
|
|
|
02:57.000 --> 03:04.980 |
|
個々のバッチステップが上がったり下がったりする一方で、 |
|
|
|
03:05.250 --> 03:18.310 |
|
損失が徐々に減少していくような傾向です。 |
|
|
|
03:18.310 --> 03:28.840 |
|
これは、 推測という点で、 あるデータポイントが他のデータポイントよりうまくいっているという事実を表している。 |
|
|
|
03:28.840 --> 03:35.770 |
|
しかし、 まだ改善傾向やトレンドがあるようには思えない。 |
|
|
|
03:36.070 --> 03:39.310 |
|
少なくとも、 そう見える。 |
|
|
|
03:39.490 --> 03:45.970 |
|
だから、 願わくば君たちもこれを実行して、 何が起こるか注意深く見守っていてほしい。 |
|
|
|
03:45.970 --> 03:53.290 |
|
ええと、 全部通すと10分か15分くらいかかると思うけど、 このリストの中で今どの位置にあるか見てみよう。 |
|
|
|
03:54.910 --> 03:57.130 |
|
もう半分が終わったところだ。 |
|
|
|
03:57.160 --> 04:02.890 |
|
最後に到達すると、 結果を検証するステップを経て、 OpenAI側でいくつかの確認チェックが行われ、 |
|
|
|
04:02.890 --> 04:10.840 |
|
ステータスに表示されます。 |
|
|
|
04:10.930 --> 04:17.260 |
|
ええと、 そして実際に、 この実行が完了すると同時に、 完了したことを伝えるメールが届く。 |
|
|
|
04:17.260 --> 04:20.560 |
|
そして、 次のビデオでピックアップするときには、 もう走っている。 |
|
|
|
04:20.560 --> 04:21.760 |
|
そこで会おう。
|
|
|