You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

151 lines
5.9 KiB

WEBVTT
00:00.740 --> 00:13.190
LLMにとって非常に基本的なことですが、 LLMのパラメーターの中にあるパラメーターの数(ウェイトとも呼ばれる)について少しお話ししたいと思います。
00:13.310 --> 00:16.100
一般的に、 パラメータとウェイトは同義である。
00:16.250 --> 00:19.850
状況によっては、 両者がまったく同じではないというディテールもある。
00:19.850 --> 00:23.060
しかし、 基本的にはウェイトとパラメーターは同じものだと考えてほしい。
00:23.090 --> 00:23.900
モデルの重さ。
00:23.900 --> 00:33.140
これらのレバーはモデルの中にあり、 ある入力が与えられたときにどのような出力を生み出すかをコントロールする。
00:33.140 --> 00:37.040
次に続く単語をどのように予測するのか。
00:37.040 --> 00:41.840
そしてこの重みは、 LLMを訓練するときに設定される重みだ。
00:41.840 --> 00:47.330
たくさんの例を見て、 それらの例を使って重みを変えながら、
00:47.330 --> 00:52.820
次のトークンを予測するのがどんどんうまくなる。
00:52.820 --> 00:56.000
トークンについては後ほど説明するが、 どんどん良くなっていく。
00:56.000 --> 00:59.420
そして、 より良くなる方法は、 すべてのウエイトを調整することだ。
00:59.420 --> 01:04.970
データ・サイエンスに携わっている人の中には、 初めてデータ・サイエンスを知る人にとって、 これはとてもよくわかることばかりだろう。
01:04.970 --> 01:09.440
コースの間、 このことをさまざまな方法で見ていくので、 出力をコントロールするパラメーターや重みを持つということがどういうことなのか、
01:09.440 --> 01:15.710
だんだん直感的に理解できるようになるだろう。
01:15.710 --> 01:22.370
伝統的なデータサイエンス、 伝統的な機械学習の単純な時代には、
01:22.370 --> 01:28.940
線形回帰モデルのようなモデルを構築し、
01:28.940 --> 01:47.630
それは加重平均のようなもので、 通常20から200のパラメータを持ちます。
01:47.750 --> 01:56.570
そして、 これらのLMSについて、 少々奇妙で注目すべきことのひとつは、 私たちがこれほど異なる数のウェイトについて話しているということだ。
01:56.600 --> 02:05.280
2018年に出たGPTでは1億1700万回待たされた。
02:05.310 --> 02:10.230
というのも、 当時私たちはディープ・ニューラル・ネットワークを持っていて、
02:10.230 --> 02:16.740
そのうちのLMSは私のスタートアップにもあったのですが、 私はよく、
02:16.740 --> 02:31.230
私たちのディープ・ニューラル・ネットワークには20万ものパラメータがあると自慢して回っていました。
02:31.230 --> 02:35.880
だから、 GPT1が1億1700万ものパラメーターを持つようになったとき、 私はとまどった。
02:36.120 --> 02:41.610
GPT1の巨大さを実感したよ。
02:41.970 --> 02:51.000
しかし、 お分かりのように、 この目盛りは対数目盛りで、 刻み目が1つ増えるごとに1ノッチ増えるわけではありません。
02:51.030 --> 02:56.940
これは、 その前のティックの10倍のパラメータ数を意味する。
02:57.000 --> 02:59.550
そして、 この図に重ねてみよう。
02:59.610 --> 03:06.720
GPTのその後のバージョン、 GPT two with 1. 50億のパラメータ。
03:06.750 --> 03:10.680
GPTは1750億のパラメーターを持つ。
03:10.710 --> 03:12.600
言いようのないことだ。
03:12.600 --> 03:14.160
パラメータの数。
03:14.190 --> 03:20.670
GPT 41. 7 6兆のパラメータ。
03:20.970 --> 03:24.000
そして最新のフロンティアモデル。
03:24.000 --> 03:27.210
実際にいくつのパラメータを持っているかは発表されていない。
03:27.240 --> 03:32.520
約10兆個のパラメーターがあると言われている。
03:32.520 --> 03:37.710
ほとんど考えられない数のウェイトが走っているのだ。
03:37.920 --> 03:43.350
さて、 この上にオープンソースのモデルをいくつか重ねてみよう。
03:43.500 --> 03:46.110
ジェマは20億か。
03:46.140 --> 03:47.580
軽量モデルだ。
03:47.580 --> 03:56.670
ラマ3世も覚えているだろう。 llamaを使っていたときに取り組んでいた2も、 20億のパラメータを持っていた。
03:56.820 --> 04:04.450
じゃあ、 ラマ3だ。 1には、 80億バージョン、 700億バージョン、
04:04.480 --> 04:14.470
そしてラマ3の3種類がある。 1 405Bは、 現時点ではオープンソースの中で最大のモデルで、
04:14.470 --> 04:21.040
フロンティアのクローズドソースモデルと同様の能力を持つ。
04:21.040 --> 04:24.970
そして、 ミックスド・レール(専門家混合モデル)についても触れた。
04:25.420 --> 04:33.040
だからこれは、 これらのモデルがどれほど巨大なものかを知ってもらうためのものだ。
04:33.040 --> 04:40.870
そして、 10兆もの異なる重さ、 異なる種類のレバー、 異なる数字があることの意味を理解することさえ難しい。
04:40.870 --> 04:49.060
この巨大なモデルの中にある小さなノブのようなもので、 入力された出力をコントロールするものだと考えればいい。
04:49.060 --> 04:57.280
そしてまた、 あなたの頭の中で、 20から200のパラメーターがあるような昔ながらの線形回帰モデルと比較してみてください。
04:57.280 --> 05:00.970
これらの大規模な言語モデルの巨大さを感じてほしい。