From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
142 lines
5.0 KiB
142 lines
5.0 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:02.120 |
|
お帰りなさい。 |
|
|
|
00:02.150 --> 00:06.920 |
|
私と同じように、 再びロードを再開する間、 コーヒーを飲みに行ったかもしれない。 |
|
|
|
00:07.220 --> 00:09.140 |
|
そしてここに戻ってきた。 |
|
|
|
00:09.350 --> 00:14.960 |
|
ええと、 セッションを再開した後、 もう一度セッションを再開する必要がありました。 |
|
|
|
00:14.990 --> 00:17.660 |
|
インストールを再実行する必要はないが、 インポートを再実行する必要がある。 |
|
|
|
00:17.660 --> 00:20.270 |
|
定数は再び抱き合う顔にログインする。 |
|
|
|
00:20.300 --> 00:21.740 |
|
これを実行してはならない。 |
|
|
|
00:21.740 --> 00:24.800 |
|
そうでなければ、 記憶の中のビッグモデルで元の状態に戻ってしまうだろう。 |
|
|
|
00:24.830 --> 00:27.470 |
|
ええと、 スキップしてセッションを再開してください。 |
|
|
|
00:27.470 --> 00:31.520 |
|
そしてここでは、 8ビットを使ってベースモデルをロードしている。 |
|
|
|
00:31.520 --> 00:33.770 |
|
だから、 前にも見たことがあるだろう。 |
|
|
|
00:33.770 --> 00:35.060 |
|
短い間だった。 |
|
|
|
00:35.060 --> 00:39.080 |
|
ええと、 もし私がそれについてあまり触れなかったとしても、 少なくともコードにはこのことが書かれているはずだ。 |
|
|
|
00:39.350 --> 00:47.090 |
|
そして、 Bits and Bytesという素晴らしい名前のパッケージを使っている。 |
|
|
|
00:47.210 --> 00:52.850 |
|
そして、 Bits and Bytes configというクラスを作り、 そこで、 どのような量子化コンフィギュレーションにするか、 |
|
|
|
00:52.880 --> 00:58.310 |
|
モデルの精度をどの程度下げたいかを指定する。 |
|
|
|
00:58.310 --> 01:01.940 |
|
そして、 私たちは8ビットでのロードを真実だと言っている。 |
|
|
|
01:02.060 --> 01:07.520 |
|
そして、 ベースモデルをロードするときに、 それをパラメータとして渡すんだ。 |
|
|
|
01:07.520 --> 01:11.000 |
|
さっきも言ったように、 私たちは過去にこのようなことをやっていたと思うが、 それについてはあまり話さなかった。 |
|
|
|
01:11.420 --> 01:21.980 |
|
ええと、 こうしてラマ3をロードするんだ。 1ベースモデルで、 精度を32ビットから8ビットに下げた。 |
|
|
|
01:22.250 --> 01:26.300 |
|
ええと、 2、 3分で終わるから、 それを実行したんだ。 |
|
|
|
01:26.330 --> 01:30.230 |
|
次に、 そのメモリフットプリントを見てみよう。 |
|
|
|
01:30.260 --> 01:34.730 |
|
9ギガバイト強を使っている。 |
|
|
|
01:34.790 --> 01:44.090 |
|
リソースを見てもらえばわかると思うが、 9ギガを使い切り、 システム・メモリに注ぎ込む必要がなくなった。 |
|
|
|
01:44.300 --> 01:48.320 |
|
ベースモデルのアーキテクチャーを見てみよう。 |
|
|
|
01:49.130 --> 01:54.350 |
|
これが量子化後のモデル・アーキテクチャだ。 |
|
|
|
01:54.740 --> 01:59.030 |
|
ええと、 ここでちょっと間を置かせてください。 |
|
|
|
01:59.060 --> 02:01.910 |
|
アーキテクチャーで何が変わったか見てみよう。 |
|
|
|
02:01.940 --> 02:09.620 |
|
ええと、 量子化したところで、 ちょっとだけ時間をあげよう。 |
|
|
|
02:09.740 --> 02:11.330 |
|
時間切れだ。 |
|
|
|
02:11.330 --> 02:14.690 |
|
そしてもちろん、 建築に違いがないこともご存じだろう。 |
|
|
|
02:14.720 --> 02:15.770 |
|
トリック・クエスチョン。 |
|
|
|
02:16.040 --> 02:17.120 |
|
私を嫌いにならないで。 |
|
|
|
02:17.300 --> 02:19.640 |
|
ええと、 そうだね、 建築に違いはないよ。 |
|
|
|
02:19.640 --> 02:24.520 |
|
というのも、 量子化の全体的な考え方は、 モデルの各数値、 各重みの精度を下げる一方で、 |
|
|
|
02:24.550 --> 02:30.160 |
|
実際にはモデルのアーキテクチャはまったく変えていないからだ。 |
|
|
|
02:30.340 --> 02:35.470 |
|
そして少々意外なことに、 それはモデルの性能に大きな影響を与えることはない。 |
|
|
|
02:35.470 --> 02:42.010 |
|
だから、 私が何かひどい失言をしない限り、 この建築は上のものと同じであることを願う。 |
|
|
|
02:42.040 --> 02:44.290 |
|
確認とダブルチェックをすればいい。 |
|
|
|
02:44.320 --> 02:51.850 |
|
ひどいミスはしていないけど、 それが量子化の考え方なんだ。 |
|
|
|
02:51.850 --> 03:09.370 |
|
32ギガバイトから9ギガバイトまで、 何も、 うーん、 うーん、 まあ、 まだ見ていないけれども、 大きな影響もなく手に入れたようだ。 |
|
|
|
03:09.370 --> 03:10.810 |
|
何らかの影響はあるだろう。 |
|
|
|
03:10.810 --> 03:13.930 |
|
ただ、 期待するほど大きくはない。 |
|
|
|
03:14.620 --> 03:17.830 |
|
だから、 もう一度セッションをやり直さなければならない。 |
|
|
|
03:17.830 --> 03:26.410 |
|
ええと、 では最後に、 セッションを以前と同じように再スタートさせてください。 |
|
|
|
03:26.440 --> 03:33.010 |
|
この後、 インポート、 定数を実行し、 huggingfaceに再ログインしたら、 |
|
|
|
03:33.010 --> 03:35.080 |
|
1秒後に会おう。
|
|
|