You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

58 lines
2.5 KiB

WEBVTT
00:00.500 --> 00:08.030
まあ、 理論的な話ばかりになってしまったが、 これからやろうとしていることの基礎となる直感をつかんでもらえたと思う。
00:08.120 --> 00:14.660
また、 問題に遭遇したときや、 ハイパーパラメーターや最適化を模索しているときにも、 なぜそのようなことをしているのか、
00:14.660 --> 00:20.420
そしてそれが何を表しているのか、 ということを理解するのに非常に役立つ。
00:20.420 --> 00:26.690
しかし、 要約すると、 私たちがラムダ3の最小変形について話し始めたとき、 私たちは話していた。 1、 これは80億パラメータモデルで、
00:26.690 --> 00:33.770
32GBのラムを使用する。
00:33.770 --> 00:41.720
ウエイトが8ビットになるように量子化すれば、 9ギガバイトしか使わないことに気づいた。
00:41.780 --> 00:44.480
それでも、 ラムの量は非常に多い。
00:44.630 --> 00:52.880
4ビットまで量子化して、 ダブルクアントのトリックを使って5ビットにすることができるんだ。
00:52.880 --> 00:52.880
6GB。
00:52.940 --> 01:08.150
それから、 大きなモデルをトレーニングする代わりに、 大きなモデルに適用されるローラ行列を微調整することができることもわかった。
01:08.150 --> 01:17.450
そうすると、 パラメータは100MBほど、 109MBとなり、 巨大なベースモデルに比べればはるかに少ない、
01:17.450 --> 01:21.680
小さな点となる。
01:21.680 --> 01:26.090
これでまた、 すべてがどのように組み合わされているのか、 よくお分かりいただけたと思う。
01:26.090 --> 01:30.620
そうすることで、 あなたは必要不可欠な専門知識を身につけることができる。
01:30.680 --> 01:34.550
ええと、 この1週間は知識を深めるための本当に重要な1週間だった。
01:34.610 --> 01:37.100
これからすべてを実践する。
01:37.100 --> 01:41.330
微調整に使うオープンソースのモデルを選ぶつもりだ。
01:41.330 --> 01:48.560
そのさまざまなバリエーションを見て、 そして箱から出してすぐにベースモデルを評価し、 そのパフォーマンスを確認する。
01:48.560 --> 01:52.520
来週は実践的な1週間になりそうで、 楽しみにしている。