そこで今回は､ 4ビットの量子化について見ていくことにする｡
つまり､ ビットとバイトを使ってクオンツのコンフィグを作成する前とよく似ている｡
しかし､ 今回は4ビット・イコールでロードするように頼んだ｡
その通りだ｡
他にもいくつかの設定がある｡
今回は "use double Quant "という､ これまたちょっと不思議なものがある｡
ここでの考え方は､ すべてのウエイトを量子化するパススルーを行い､ その後､ もう一度パススルーを行うというものだ｡
そうすることで､ さらに10～20％ほどメモリを減らすことができるんだ｡
ここからもう少し絞り出す｡
そしてこれは､ ニューラルネットワークのパワーにごくわずかな違いをもたらすことが実験的に示されている｡
だから､ ほとんどタダ同然だ｡
またケーキを食べているような状況だ｡
そのため､ ダブルクアントをトゥルーとして使用することを推奨する｡
このcompute dtypeは､ 計算中に使用されるデータ型に関するものである｡
そして一般的に､ ここでは32ビットの浮動小数点数を使うことができる｡
しかし､ Bfloat16データ型バイナリフロート16を使用することは､ トレーニングの質をほんの少し犠牲にするだけで､
トレーニングのスピードを向上させ､ より速くするものだと考えられている｡
確かに､ 私がこれを試したとき､ より速く走るのを見たが､ 最適化の速度に実際の変化を検出することはできなかった｡
だから､ これは絶対にお勧めだ｡
しかし､ 繰り返すが､ これはハイパーパラメーターであり､ 試してみることができる｡
そしてこれが4ビットのクオンツタイプ｡
これは､ 精度を4ビットに落としたとき､ その4ビットをどう解釈すべきかということだ｡
4ビットが0000から1111までなら､ 0から15までの整数を表していることになる｡
それも一つの方法かもしれない｡
それを解釈して､ 浮動小数点数のようなものにマッピングするのが一般的だ｡
そして､ このnf4のアプローチは､ それを正規分布に対応させるものなんだ｡
そしてまた､ これは非常に一般的な設定でもある｡
僕が使ってきたものだよ｡
他のものを試したが､ それほど良くなかった｡
だから､ 一般的にはこれが推奨されている｡
しかし､ これはハイパーパラメーターであり､ 試行錯誤が可能であることを意味する｡
これを念頭に置いて､ 4ビット量子化用のごく標準的なクオンツ・コンフィグを作成する｡
これでベースモデルを作り､ メモリのフットプリントを印刷する｡
そして驚くべきことに､ 我々は5人になってしまった｡ 6GB｡
しかし､ ベースモデルの実物が32GBだったことを思い出すと､
本当にずいぶん小さくなったものだ｡
これで､ この安いT4ボックスのGPUのメモリに余裕で収まるようになった｡
ベースモデルを見れば､ そのアーキテクチャがわかるだろう｡
もうあんな馬鹿げた冗談は言わないよ｡
もちろん､ 80億リラマのオリジナルモデルのアーキテクチャと同一である｡
ただ､ この奥の奥では､ ウエイトの精度が低くなっている｡
4ビットだ｡
オーケー｡
次のビデオでは､ この時点でセッションを再開してはいけない｡
このセッションはこのままにしておいて､ 次のビデオでは､ 微調整されたモデルの例をロードして､
ローラの適応がこのアーキテクチャにどのように適用されるかを見てみよう｡
そこで会おう