From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
127 lines
4.5 KiB
127 lines
4.5 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:06.260 |
|
そしてまたこの時期、 我々のモデルが全体的にどのようなパフォーマンスを見せているかを表彰台で見ることになる。 |
|
|
|
00:06.260 --> 00:12.050 |
|
答えはもうわかっているだろうが、 とにかく見て、 笑ってみよう。 |
|
|
|
00:12.320 --> 00:18.590 |
|
まず、 トレーニングデータセットから平均値を推測する定数モデルを見てみよう。 |
|
|
|
00:18.950 --> 00:22.880 |
|
その数字を見てみると、 146だった。 |
|
|
|
00:23.000 --> 00:26.150 |
|
今は明らかに気温が下がっている。 |
|
|
|
00:26.150 --> 00:28.070 |
|
その理由は、 おそらくあなたも知っていると思う。 |
|
|
|
00:28.370 --> 00:36.260 |
|
従来の機械学習モデルは、 平均を上回ることができた。 |
|
|
|
00:36.470 --> 00:44.510 |
|
ランダムフォレスト・アプローチを検討したところ、 従来の機械学習アプローチでは97点と最も優れていた。 |
|
|
|
00:44.510 --> 00:53.870 |
|
人間と比較したところ、 人間は基本的で単純な特徴には勝てたが、 ランダムフォレストモデルには負けた。 |
|
|
|
00:54.140 --> 01:00.290 |
|
GPTフォーゼロは、 私たちが調べた様々なフロンティアモデルの中で最も優れていて、 |
|
|
|
01:00.290 --> 01:04.610 |
|
76がこの人間を大きく上回っていた。 |
|
|
|
01:04.820 --> 01:15.310 |
|
そして今日は、 3.ファインチューン・バス・ラマを見てきた。 180億ものパラメーターが4ビットにまで量子化されている。 |
|
|
|
01:15.430 --> 01:21.190 |
|
ええと、 396で、 壊滅的に悪かった。 |
|
|
|
01:21.280 --> 01:29.950 |
|
そして、 8ビットに量子化するとわずかに良くなり、 代わりに301ドルの誤差が生じた。 |
|
|
|
01:30.160 --> 01:37.780 |
|
ええと、 明らかにラマ3は出だしが悪いね。 1だが、 ある意味、 挑戦が始まっているのでエキサイティングだ。 |
|
|
|
01:37.870 --> 01:45.640 |
|
ええと、 ここにモデルを用意してあるので、 どうすればもっと良くなるかを試行錯誤することができる。 |
|
|
|
01:45.640 --> 01:54.460 |
|
私たちの目標は、 GPT4のような何兆ものパラメーターを持つモデルに負けないようにすることです。 |
|
|
|
01:54.460 --> 01:59.530 |
|
もし私たちがこの特別なタスクで競争力を持ち、 それを無償のオープンソースモデルで実現できるのであれば、 |
|
|
|
01:59.530 --> 02:04.240 |
|
私たちは偉大なことを成し遂げたことになる。 |
|
|
|
02:04.240 --> 02:05.080 |
|
オーケー。 |
|
|
|
02:05.110 --> 02:14.120 |
|
まとめると、 この時点で、 この分岐点で、 あなたはこの旅の道のりの80%に到達している。 |
|
|
|
02:14.120 --> 02:15.260 |
|
とても嬉しいよ。 |
|
|
|
02:15.290 --> 02:16.190 |
|
粘り強くやっている。 |
|
|
|
02:16.190 --> 02:17.660 |
|
あなたがここにいてくれて本当にうれしい。 |
|
|
|
02:17.660 --> 02:20.690 |
|
言っておくが、 まだ20%は残っている。 |
|
|
|
02:20.690 --> 02:21.740 |
|
最高だよ。 |
|
|
|
02:21.740 --> 02:23.060 |
|
最高だよ。 |
|
|
|
02:23.090 --> 02:25.820 |
|
最も魅力的なコンテンツはこれからだ。 |
|
|
|
02:25.820 --> 02:27.860 |
|
このモデルをトレーニングしていく。 |
|
|
|
02:27.860 --> 02:32.540 |
|
そして来週のフィナーレでは、 本当にすべてをまとめる。 |
|
|
|
02:32.540 --> 02:35.210 |
|
つまり、 クレッシェンドになるんだ。 |
|
|
|
02:35.210 --> 02:37.160 |
|
これからどんどん良くなっていくよ。 |
|
|
|
02:37.160 --> 02:38.300 |
|
頑張るんだ。 |
|
|
|
02:38.330 --> 02:40.250 |
|
いいものはすべてこれからだ。 |
|
|
|
02:40.250 --> 02:44.870 |
|
そこで次回は、 さらにいくつかのハイパーパラメーターを用意する。 |
|
|
|
02:44.870 --> 02:50.390 |
|
これらのハイパーパラメーターは少々過酷なものであることは承知しているが、 本当に重要なことはここで学ぶことができる。 |
|
|
|
02:50.390 --> 02:54.530 |
|
トレーニングをコントロールするハイパーパラメーターがいくつかあるので、 それを説明しよう。 |
|
|
|
02:54.560 --> 03:00.830 |
|
その後、 SFTトレーナーというものをセットアップする。 |
|
|
|
03:00.830 --> 03:03.650 |
|
そしてトレーニングを開始する。 |
|
|
|
03:03.650 --> 03:11.720 |
|
あなたは、 llama 3に基づいて、 独自の大規模言語モデルをトレーニングすることになる。 1ベースのモデル。 |
|
|
|
03:11.720 --> 03:15.320 |
|
そして、 次のセッションでそれをやるつもりだ。 |
|
|
|
03:15.320 --> 03:17.210 |
|
だから、 そこで会おう。
|
|
|