お帰りなさい｡
私と同じように､ 再びロードを再開する間､ コーヒーを飲みに行ったかもしれない｡
そしてここに戻ってきた｡
ええと､ セッションを再開した後､ もう一度セッションを再開する必要がありました｡
インストールを再実行する必要はないが､ インポートを再実行する必要がある｡
定数は再び抱き合う顔にログインする｡
これを実行してはならない｡
そうでなければ､ 記憶の中のビッグモデルで元の状態に戻ってしまうだろう｡
ええと､ スキップしてセッションを再開してください｡
そしてここでは､ 8ビットを使ってベースモデルをロードしている｡
だから､ 前にも見たことがあるだろう｡
短い間だった｡
ええと､ もし私がそれについてあまり触れなかったとしても､ 少なくともコードにはこのことが書かれているはずだ｡
そして､ Bits and Bytesという素晴らしい名前のパッケージを使っている｡
そして､ Bits and Bytes configというクラスを作り､ そこで､ どのような量子化コンフィギュレーションにするか､
モデルの精度をどの程度下げたいかを指定する｡
そして､ 私たちは8ビットでのロードを真実だと言っている｡
そして､ ベースモデルをロードするときに､ それをパラメータとして渡すんだ｡
さっきも言ったように､ 私たちは過去にこのようなことをやっていたと思うが､ それについてはあまり話さなかった｡
ええと､ こうしてラマ3をロードするんだ｡ 1ベースモデルで､ 精度を32ビットから8ビットに下げた｡
ええと､ 2､ 3分で終わるから､ それを実行したんだ｡
次に､ そのメモリフットプリントを見てみよう｡
9ギガバイト強を使っている｡
リソースを見てもらえばわかると思うが､ 9ギガを使い切り､ システム・メモリに注ぎ込む必要がなくなった｡
ベースモデルのアーキテクチャーを見てみよう｡
これが量子化後のモデル・アーキテクチャだ｡
ええと､ ここでちょっと間を置かせてください｡
アーキテクチャーで何が変わったか見てみよう｡
ええと､ 量子化したところで､ ちょっとだけ時間をあげよう｡
時間切れだ｡
そしてもちろん､ 建築に違いがないこともご存じだろう｡
トリック・クエスチョン｡
私を嫌いにならないで｡
ええと､ そうだね､ 建築に違いはないよ｡
というのも､ 量子化の全体的な考え方は､ モデルの各数値､ 各重みの精度を下げる一方で､
実際にはモデルのアーキテクチャはまったく変えていないからだ｡
そして少々意外なことに､ それはモデルの性能に大きな影響を与えることはない｡
だから､ 私が何かひどい失言をしない限り､ この建築は上のものと同じであることを願う｡
確認とダブルチェックをすればいい｡
ひどいミスはしていないけど､ それが量子化の考え方なんだ｡
32ギガバイトから9ギガバイトまで､ 何も､ うーん､ うーん､ まあ､ まだ見ていないけれども､ 大きな影響もなく手に入れたようだ｡
何らかの影響はあるだろう｡
ただ､ 期待するほど大きくはない｡
だから､ もう一度セッションをやり直さなければならない｡
ええと､ では最後に､ セッションを以前と同じように再スタートさせてください｡
この後､ インポート､ 定数を実行し､ huggingfaceに再ログインしたら､
1秒後に会おう｡