WEBVTT

00:01.220 --> 00:04.460
一緒に過ごす4日目を迎える。 

00:04.460 --> 00:06.650
今日はとても重要な日だ。 

00:06.650 --> 00:14.240
今日は、 このコースで扱うLMSのほとんどを支えるアーキテクチャであるトランスフォーマーの台頭について見ていこう。

00:14.240 --> 00:18.830
コピロットやエージェントのようなもの、 そして最も重要なこととして、

00:18.860 --> 00:28.040
トークン、 コンタクト、 ウィンドウ、 パラメータ、 APIコストなど、 LMSの背後にある基本的な要素について話すつもりだ。

00:28.070 --> 00:32.240
皆さんの中には、 すでによくご存知の方もいらっしゃると思いますが、

00:32.240 --> 00:37.310
もう少し深く掘り下げて、 より深い洞察をお見せしたいと思います。

00:37.310 --> 00:42.830
だから、 頑張って。 もし、 あなたが初めてこの世界に足を踏み入れるのであれば、 私はあなたにこの世界に対する本当に良い基礎を与えたいと思っている。 

00:43.340 --> 00:49.100
しかし、 その前にリーダー争いの勝者を明らかにしなければならない。 

00:49.130 --> 00:54.590
前回のセッションの最後に、 アレックス対ブレイク対チャーリー、 GPT4人ゼロ、

00:54.590 --> 01:04.990
クロード3人、 オーパスとジェミニを残し、 彼らがリーダーを決める投票を一緒に戦っていたことを覚えていてほしい。

01:05.110 --> 01:06.400
彼らのことを覚えているかい?

01:06.430 --> 01:08.830
お互いに、 このような言葉を投げかけている。 

01:08.830 --> 01:11.020
そして今、 結果を明らかにする。 

01:11.020 --> 01:15.160
最初の投票はGPTのアレックスからだった。 

01:15.310 --> 01:19.870
GPTはブレイクをリーダーに選出した。 

01:19.900 --> 01:23.620
次はブレイクの投票だ。 

01:23.620 --> 01:27.250
そしてブレイクはジェミニのチャーリーに投票した。 

01:27.280 --> 01:29.290
だからクロードは双子座に投票した。 

01:29.320 --> 01:31.030
ブレイクはチャーリーに投票した。 

01:31.030 --> 01:34.180
そして、 すべてはチャーリーの一票にかかっている。 

01:34.210 --> 01:35.200
大きなドラムロール。 

01:35.200 --> 01:35.920
賭けよう。 

01:35.920 --> 01:37.810
誰が優勝すると思うかを決める。 

01:37.840 --> 01:39.490
これが勝者だ。 

01:39.520 --> 01:43.330
チャーリーはブレイク、 つまりクロードに投票した。 

01:43.360 --> 01:54.970
スリー・オーパス・ブレイクは、 非科学的ではあるが、 非常に楽しいチャレンジの勝者である。

01:55.180 --> 01:57.100
そして、 これを自分で試してみるべきだ。 

01:57.100 --> 02:02.220
これは私が言うように、 2、 3カ月前に実施したもので、 今は結果が変わっていると確信している。

02:02.850 --> 02:04.920
少なくとも、 違った写真が撮れることは確かだ。 

02:04.920 --> 02:07.320
だから、 ぜひ自分で試してみてほしい。 

02:07.320 --> 02:12.060
私のプロンプトを真似てもいいし、 ちょっと違うことを試してみて、 何を思いつくか見てみるのもいい。 

02:12.060 --> 02:15.600
そして実際、 私はこれを基にゲームを書いた。 

02:15.600 --> 02:22.020
私の個人ページ@edward. このゲームでは、 様々なモデルを対戦させ、

02:22.080 --> 02:28.860
お互いにコインを盗む方法を決めるという、

02:28.860 --> 02:40.290
もう少し定量的なことを試しています。

02:40.290 --> 02:42.300
それについては、 もう少し後で見てみよう。 

02:42.300 --> 02:42.990
そうだね。 

02:43.620 --> 02:44.430
分かった。 

02:44.430 --> 02:49.440
さて、 それを踏まえて今日のメインネタに移ろう。 

02:49.440 --> 02:54.660
ここ数年の信じられないような歴史について話すつもりだ。 

02:54.660 --> 02:59.690
そして、 私たちが経験してきたすべてのことを思い出すために、 ときどき自分をつねらなければならない。 

02:59.690 --> 03:10.700
2017年、 グーグルの科学者たちが「Attention is All You Need」という論文を発表した。

03:10.850 --> 03:16.790
そしてこれが、 トランス・アーキテクチャが発明された論文である。 

03:16.820 --> 03:21.050
セルフ・アテンション・レイヤーと呼ばれる層を含むこの新しいアーキテクチャ。 

03:21.290 --> 03:33.200
そして、 この論文を読んで最も注目すべき点は、 発明者自身が自分たちがとんでもないブレークスルーを成し遂げていることに気づいていなかったことが非常にはっきりしていることだろう。

03:33.230 --> 03:46.160
しかし、 彼らは明らかに、 自分たちが開いているドアや、 自分たちの発見の結果としてどれほどの進歩がもたらされるかを理解していない。

03:46.190 --> 03:51.170
実は、 その翌年にGPT1もリリースされた。 

03:51.290 --> 03:56.020
しかし、 その当時、 グーグルのバートを使っていた人たちにとっては、 そうだろう。 

03:56.020 --> 03:59.350
そして2019年にGPT2が開催された。 

03:59.620 --> 04:02.140
2020年のGPT3。 

04:02.170 --> 04:09.340
しかし、 私たちの多くは2022年後半にパワーを目の当たりにして衝撃を受けた。 

04:09.370 --> 04:13.360
ChatGPTが発表されたのは11月か12月だったかな?

04:13.510 --> 04:21.940
ChatGPTは基本的にGPT 3だったが、 GPT 3.5、 3.5も使っていた。  5、 また、 人間のフィードバックからRL強化学習というテクニックを使うことで、

04:21.970 --> 04:28.060
非常に強力になった。

04:28.630 --> 04:35.590
そして2023年にGPT4が発表され、 もちろん今年もGPT4が行われた。 

04:35.620 --> 04:42.580
ああ、 そして私たちは今、 見てきたように、 ゼロワンのプレビューを行ったし、 他のものも進行中だ。 

04:43.960 --> 04:48.940
この変化に世界がどう反応したかは興味深かった。 

04:48.970 --> 04:54.840
当初、 ChatGPTは私たち全員にとって、 その道の実践者にとっても驚きでした。 

04:55.080 --> 05:02.160
どれだけ正確に、 どれだけニュアンス豊かに質問に答えることができるのか、 本当に驚かされた。 

05:02.160 --> 05:04.620
その後、 反発が起きた。 

05:04.620 --> 05:11.700
これは本当に呪術的なトリックに似ている。 

05:11.820 --> 05:16.560
ここにあるのは、 基本的に本当に優れた予測テキストだ。 

05:16.560 --> 05:21.930
テキストメッセージを表示させ、 次の単語を予測するボタンを押すと、

05:21.930 --> 05:28.380
統計的にパターンが一致するため、 ほとんど偶然に、 本当にうまくいくことがある。

05:28.380 --> 05:30.240
ここにあるのはそれだけだ。 

05:30.240 --> 05:35.940
そして、 確率論的オウム論文として知られる有名な論文があり、 この論文では、

05:35.940 --> 05:42.540
私たちがここで目にしているのは単なる統計学に過ぎないという事実が語られ、 私たちはこれをモデルとして誤って解釈し、

05:42.540 --> 05:50.160
実際には存在しない何らかの理解をしているという指摘がなされている。

05:50.160 --> 05:57.380
そして、 私たちがそれについて間違った結論を出すことに伴う課題や危険性さえも浮き彫りにしている。

05:57.500 --> 06:03.800
しかし、 その後の経過を見ると、 今は振り子が少し戻っている。 

06:03.800 --> 06:10.670
そして、 現時点で私たちが実践者としているのは、 これを創発的知性という観点から説明することだ。

06:10.670 --> 06:16.070
これは私たちが好んで使う表現で、 ここで起きているのは、 私たちが見ているのは本質的には単なる統計的予測であることは事実だが、

06:16.070 --> 06:32.570
LMを実行するときに私たちがやっていることは、 いくつかの単語や実際のトークンをLMに与えて、 すべてのトレーニングデータと学習したすべてのものの中で見たすべてのパターンを考慮して、 次に来る可能性が最も高いトークンは何か、 次に来る可能性が最も高いトークンは何か、

06:32.570 --> 06:36.770
と言っているのだ。

06:36.770 --> 06:40.640
そして、 その次のトークンは何だろう?

06:40.640 --> 06:44.000
そしてやっていることは、 この次のトークンを予測することだ。 

06:44.000 --> 06:45.230
その通りだ。 

06:45.230 --> 06:53.500
しかし、 それにもかかわらず、 何兆通りもの異なる重みがモデル内部で設定され、 どのように予測を行うかを制御するような大規模なスケールの副産物として、

06:53.500 --> 06:58.030
このようなことが行われているのだ。

06:58.060 --> 07:07.570
このレベルのスケールの副産物として、 私たちが創発的知性と呼ぶ、 見かけ上の知性という効果が見られる。

07:07.570 --> 07:12.250
まるでモデルが私たちの言うことを本当に理解しているかのようだ。 

07:12.280 --> 07:17.590
もちろん、 これが本当に理解を模倣したものであることは事実だ。 

07:17.590 --> 07:20.230
パターンを見て、 それを再現するだけだ。 

07:20.230 --> 07:30.820
しかし、 フロンティア・モデルには、 私たちが日常的に使っているフロンティア・モデルに見られるような、 知性のレベルを示すことができるという創発的な性質がある。

07:31.540 --> 07:31.870
分かった。 

07:31.870 --> 07:33.700
これで考える材料ができただろうか。 

07:33.730 --> 07:36.640
この議論について、 あなたの立場を聞いてみたい。 

07:36.670 --> 07:40.690
ぜひそれを投稿するか、 私に知らせてほしい。 

07:40.750 --> 07:45.280
次回の講義では、 その背景にある理論についてもう少し詳しく話そう。 

07:45.280 --> 07:49.930
そして、 その過程で得たいくつかの発見も見てほしい。