まあ､ 理論的な話ばかりになってしまったが､ これからやろうとしていることの基礎となる直感をつかんでもらえたと思う｡
また､ 問題に遭遇したときや､ ハイパーパラメーターや最適化を模索しているときにも､ なぜそのようなことをしているのか､
そしてそれが何を表しているのか､ ということを理解するのに非常に役立つ｡
しかし､ 要約すると､ 私たちがラムダ3の最小変形について話し始めたとき､ 私たちは話していた｡ 1､ これは80億パラメータモデルで､
32GBのラムを使用する｡
ウエイトが8ビットになるように量子化すれば､ 9ギガバイトしか使わないことに気づいた｡
それでも､ ラムの量は非常に多い｡
4ビットまで量子化して､ ダブルクアントのトリックを使って5ビットにすることができるんだ｡
6GB｡
それから､ 大きなモデルをトレーニングする代わりに､ 大きなモデルに適用されるローラ行列を微調整することができることもわかった｡
そうすると､ パラメータは100MBほど､ 109MBとなり､ 巨大なベースモデルに比べればはるかに少ない､
小さな点となる｡
これでまた､ すべてがどのように組み合わされているのか､ よくお分かりいただけたと思う｡
そうすることで､ あなたは必要不可欠な専門知識を身につけることができる｡
ええと､ この1週間は知識を深めるための本当に重要な1週間だった｡
これからすべてを実践する｡
微調整に使うオープンソースのモデルを選ぶつもりだ｡
そのさまざまなバリエーションを見て､ そして箱から出してすぐにベースモデルを評価し､ そのパフォーマンスを確認する｡
来週は実践的な1週間になりそうで､ 楽しみにしている｡