WEBVTT 00:00.740 --> 00:13.190 LLMにとって非常に基本的なことですが、 LLMのパラメーターの中にあるパラメーターの数(ウェイトとも呼ばれる)について少しお話ししたいと思います。 00:13.310 --> 00:16.100 一般的に、 パラメータとウェイトは同義である。 00:16.250 --> 00:19.850 状況によっては、 両者がまったく同じではないというディテールもある。 00:19.850 --> 00:23.060 しかし、 基本的にはウェイトとパラメーターは同じものだと考えてほしい。 00:23.090 --> 00:23.900 モデルの重さ。 00:23.900 --> 00:33.140 これらのレバーはモデルの中にあり、 ある入力が与えられたときにどのような出力を生み出すかをコントロールする。 00:33.140 --> 00:37.040 次に続く単語をどのように予測するのか。 00:37.040 --> 00:41.840 そしてこの重みは、 LLMを訓練するときに設定される重みだ。 00:41.840 --> 00:47.330 たくさんの例を見て、 それらの例を使って重みを変えながら、 00:47.330 --> 00:52.820 次のトークンを予測するのがどんどんうまくなる。 00:52.820 --> 00:56.000 トークンについては後ほど説明するが、 どんどん良くなっていく。 00:56.000 --> 00:59.420 そして、 より良くなる方法は、 すべてのウエイトを調整することだ。 00:59.420 --> 01:04.970 データ・サイエンスに携わっている人の中には、 初めてデータ・サイエンスを知る人にとって、 これはとてもよくわかることばかりだろう。 01:04.970 --> 01:09.440 コースの間、 このことをさまざまな方法で見ていくので、 出力をコントロールするパラメーターや重みを持つということがどういうことなのか、 01:09.440 --> 01:15.710 だんだん直感的に理解できるようになるだろう。 01:15.710 --> 01:22.370 伝統的なデータサイエンス、 伝統的な機械学習の単純な時代には、 01:22.370 --> 01:28.940 線形回帰モデルのようなモデルを構築し、 01:28.940 --> 01:47.630 それは加重平均のようなもので、 通常20から200のパラメータを持ちます。 01:47.750 --> 01:56.570 そして、 これらのLMSについて、 少々奇妙で注目すべきことのひとつは、 私たちがこれほど異なる数のウェイトについて話しているということだ。 01:56.600 --> 02:05.280 2018年に出たGPTでは1億1700万回待たされた。 02:05.310 --> 02:10.230 というのも、 当時私たちはディープ・ニューラル・ネットワークを持っていて、 02:10.230 --> 02:16.740 そのうちのLMSは私のスタートアップにもあったのですが、 私はよく、 02:16.740 --> 02:31.230 私たちのディープ・ニューラル・ネットワークには20万ものパラメータがあると自慢して回っていました。 02:31.230 --> 02:35.880 だから、 GPT1が1億1700万ものパラメーターを持つようになったとき、 私はとまどった。 02:36.120 --> 02:41.610 GPT1の巨大さを実感したよ。 02:41.970 --> 02:51.000 しかし、 お分かりのように、 この目盛りは対数目盛りで、 刻み目が1つ増えるごとに1ノッチ増えるわけではありません。 02:51.030 --> 02:56.940 これは、 その前のティックの10倍のパラメータ数を意味する。 02:57.000 --> 02:59.550 そして、 この図に重ねてみよう。 02:59.610 --> 03:06.720 GPTのその後のバージョン、 GPT two with 1. 50億のパラメータ。 03:06.750 --> 03:10.680 GPTは1750億のパラメーターを持つ。 03:10.710 --> 03:12.600 言いようのないことだ。 03:12.600 --> 03:14.160 パラメータの数。 03:14.190 --> 03:20.670 GPT 41. 7 6兆のパラメータ。 03:20.970 --> 03:24.000 そして最新のフロンティアモデル。 03:24.000 --> 03:27.210 実際にいくつのパラメータを持っているかは発表されていない。 03:27.240 --> 03:32.520 約10兆個のパラメーターがあると言われている。 03:32.520 --> 03:37.710 ほとんど考えられない数のウェイトが走っているのだ。 03:37.920 --> 03:43.350 さて、 この上にオープンソースのモデルをいくつか重ねてみよう。 03:43.500 --> 03:46.110 ジェマは20億か。 03:46.140 --> 03:47.580 軽量モデルだ。 03:47.580 --> 03:56.670 ラマ3世も覚えているだろう。 llamaを使っていたときに取り組んでいた2も、 20億のパラメータを持っていた。 03:56.820 --> 04:04.450 じゃあ、 ラマ3だ。 1には、 80億バージョン、 700億バージョン、 04:04.480 --> 04:14.470 そしてラマ3の3種類がある。 1 405Bは、 現時点ではオープンソースの中で最大のモデルで、 04:14.470 --> 04:21.040 フロンティアのクローズドソースモデルと同様の能力を持つ。 04:21.040 --> 04:24.970 そして、 ミックスド・レール(専門家混合モデル)についても触れた。 04:25.420 --> 04:33.040 だからこれは、 これらのモデルがどれほど巨大なものかを知ってもらうためのものだ。 04:33.040 --> 04:40.870 そして、 10兆もの異なる重さ、 異なる種類のレバー、 異なる数字があることの意味を理解することさえ難しい。 04:40.870 --> 04:49.060 この巨大なモデルの中にある小さなノブのようなもので、 入力された出力をコントロールするものだと考えればいい。 04:49.060 --> 04:57.280 そしてまた、 あなたの頭の中で、 20から200のパラメーターがあるような昔ながらの線形回帰モデルと比較してみてください。 04:57.280 --> 05:00.970 これらの大規模な言語モデルの巨大さを感じてほしい。