From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
151 lines
5.9 KiB
151 lines
5.9 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:13.190 |
|
LLMにとって非常に基本的なことですが、 LLMのパラメーターの中にあるパラメーターの数(ウェイトとも呼ばれる)について少しお話ししたいと思います。 |
|
|
|
00:13.310 --> 00:16.100 |
|
一般的に、 パラメータとウェイトは同義である。 |
|
|
|
00:16.250 --> 00:19.850 |
|
状況によっては、 両者がまったく同じではないというディテールもある。 |
|
|
|
00:19.850 --> 00:23.060 |
|
しかし、 基本的にはウェイトとパラメーターは同じものだと考えてほしい。 |
|
|
|
00:23.090 --> 00:23.900 |
|
モデルの重さ。 |
|
|
|
00:23.900 --> 00:33.140 |
|
これらのレバーはモデルの中にあり、 ある入力が与えられたときにどのような出力を生み出すかをコントロールする。 |
|
|
|
00:33.140 --> 00:37.040 |
|
次に続く単語をどのように予測するのか。 |
|
|
|
00:37.040 --> 00:41.840 |
|
そしてこの重みは、 LLMを訓練するときに設定される重みだ。 |
|
|
|
00:41.840 --> 00:47.330 |
|
たくさんの例を見て、 それらの例を使って重みを変えながら、 |
|
|
|
00:47.330 --> 00:52.820 |
|
次のトークンを予測するのがどんどんうまくなる。 |
|
|
|
00:52.820 --> 00:56.000 |
|
トークンについては後ほど説明するが、 どんどん良くなっていく。 |
|
|
|
00:56.000 --> 00:59.420 |
|
そして、 より良くなる方法は、 すべてのウエイトを調整することだ。 |
|
|
|
00:59.420 --> 01:04.970 |
|
データ・サイエンスに携わっている人の中には、 初めてデータ・サイエンスを知る人にとって、 これはとてもよくわかることばかりだろう。 |
|
|
|
01:04.970 --> 01:09.440 |
|
コースの間、 このことをさまざまな方法で見ていくので、 出力をコントロールするパラメーターや重みを持つということがどういうことなのか、 |
|
|
|
01:09.440 --> 01:15.710 |
|
だんだん直感的に理解できるようになるだろう。 |
|
|
|
01:15.710 --> 01:22.370 |
|
伝統的なデータサイエンス、 伝統的な機械学習の単純な時代には、 |
|
|
|
01:22.370 --> 01:28.940 |
|
線形回帰モデルのようなモデルを構築し、 |
|
|
|
01:28.940 --> 01:47.630 |
|
それは加重平均のようなもので、 通常20から200のパラメータを持ちます。 |
|
|
|
01:47.750 --> 01:56.570 |
|
そして、 これらのLMSについて、 少々奇妙で注目すべきことのひとつは、 私たちがこれほど異なる数のウェイトについて話しているということだ。 |
|
|
|
01:56.600 --> 02:05.280 |
|
2018年に出たGPTでは1億1700万回待たされた。 |
|
|
|
02:05.310 --> 02:10.230 |
|
というのも、 当時私たちはディープ・ニューラル・ネットワークを持っていて、 |
|
|
|
02:10.230 --> 02:16.740 |
|
そのうちのLMSは私のスタートアップにもあったのですが、 私はよく、 |
|
|
|
02:16.740 --> 02:31.230 |
|
私たちのディープ・ニューラル・ネットワークには20万ものパラメータがあると自慢して回っていました。 |
|
|
|
02:31.230 --> 02:35.880 |
|
だから、 GPT1が1億1700万ものパラメーターを持つようになったとき、 私はとまどった。 |
|
|
|
02:36.120 --> 02:41.610 |
|
GPT1の巨大さを実感したよ。 |
|
|
|
02:41.970 --> 02:51.000 |
|
しかし、 お分かりのように、 この目盛りは対数目盛りで、 刻み目が1つ増えるごとに1ノッチ増えるわけではありません。 |
|
|
|
02:51.030 --> 02:56.940 |
|
これは、 その前のティックの10倍のパラメータ数を意味する。 |
|
|
|
02:57.000 --> 02:59.550 |
|
そして、 この図に重ねてみよう。 |
|
|
|
02:59.610 --> 03:06.720 |
|
GPTのその後のバージョン、 GPT two with 1. 50億のパラメータ。 |
|
|
|
03:06.750 --> 03:10.680 |
|
GPTは1750億のパラメーターを持つ。 |
|
|
|
03:10.710 --> 03:12.600 |
|
言いようのないことだ。 |
|
|
|
03:12.600 --> 03:14.160 |
|
パラメータの数。 |
|
|
|
03:14.190 --> 03:20.670 |
|
GPT 41. 7 6兆のパラメータ。 |
|
|
|
03:20.970 --> 03:24.000 |
|
そして最新のフロンティアモデル。 |
|
|
|
03:24.000 --> 03:27.210 |
|
実際にいくつのパラメータを持っているかは発表されていない。 |
|
|
|
03:27.240 --> 03:32.520 |
|
約10兆個のパラメーターがあると言われている。 |
|
|
|
03:32.520 --> 03:37.710 |
|
ほとんど考えられない数のウェイトが走っているのだ。 |
|
|
|
03:37.920 --> 03:43.350 |
|
さて、 この上にオープンソースのモデルをいくつか重ねてみよう。 |
|
|
|
03:43.500 --> 03:46.110 |
|
ジェマは20億か。 |
|
|
|
03:46.140 --> 03:47.580 |
|
軽量モデルだ。 |
|
|
|
03:47.580 --> 03:56.670 |
|
ラマ3世も覚えているだろう。 llamaを使っていたときに取り組んでいた2も、 20億のパラメータを持っていた。 |
|
|
|
03:56.820 --> 04:04.450 |
|
じゃあ、 ラマ3だ。 1には、 80億バージョン、 700億バージョン、 |
|
|
|
04:04.480 --> 04:14.470 |
|
そしてラマ3の3種類がある。 1 405Bは、 現時点ではオープンソースの中で最大のモデルで、 |
|
|
|
04:14.470 --> 04:21.040 |
|
フロンティアのクローズドソースモデルと同様の能力を持つ。 |
|
|
|
04:21.040 --> 04:24.970 |
|
そして、 ミックスド・レール(専門家混合モデル)についても触れた。 |
|
|
|
04:25.420 --> 04:33.040 |
|
だからこれは、 これらのモデルがどれほど巨大なものかを知ってもらうためのものだ。 |
|
|
|
04:33.040 --> 04:40.870 |
|
そして、 10兆もの異なる重さ、 異なる種類のレバー、 異なる数字があることの意味を理解することさえ難しい。 |
|
|
|
04:40.870 --> 04:49.060 |
|
この巨大なモデルの中にある小さなノブのようなもので、 入力された出力をコントロールするものだと考えればいい。 |
|
|
|
04:49.060 --> 04:57.280 |
|
そしてまた、 あなたの頭の中で、 20から200のパラメーターがあるような昔ながらの線形回帰モデルと比較してみてください。 |
|
|
|
04:57.280 --> 05:00.970 |
|
これらの大規模な言語モデルの巨大さを感じてほしい。
|
|
|