WEBVTT 00:01.220 --> 00:04.460 一緒に過ごす4日目を迎える。 00:04.460 --> 00:06.650 今日はとても重要な日だ。 00:06.650 --> 00:14.240 今日は、 このコースで扱うLMSのほとんどを支えるアーキテクチャであるトランスフォーマーの台頭について見ていこう。 00:14.240 --> 00:18.830 コピロットやエージェントのようなもの、 そして最も重要なこととして、 00:18.860 --> 00:28.040 トークン、 コンタクト、 ウィンドウ、 パラメータ、 APIコストなど、 LMSの背後にある基本的な要素について話すつもりだ。 00:28.070 --> 00:32.240 皆さんの中には、 すでによくご存知の方もいらっしゃると思いますが、 00:32.240 --> 00:37.310 もう少し深く掘り下げて、 より深い洞察をお見せしたいと思います。 00:37.310 --> 00:42.830 だから、 頑張って。 もし、 あなたが初めてこの世界に足を踏み入れるのであれば、 私はあなたにこの世界に対する本当に良い基礎を与えたいと思っている。 00:43.340 --> 00:49.100 しかし、 その前にリーダー争いの勝者を明らかにしなければならない。 00:49.130 --> 00:54.590 前回のセッションの最後に、 アレックス対ブレイク対チャーリー、 GPT4人ゼロ、 00:54.590 --> 01:04.990 クロード3人、 オーパスとジェミニを残し、 彼らがリーダーを決める投票を一緒に戦っていたことを覚えていてほしい。 01:05.110 --> 01:06.400 彼らのことを覚えているかい? 01:06.430 --> 01:08.830 お互いに、 このような言葉を投げかけている。 01:08.830 --> 01:11.020 そして今、 結果を明らかにする。 01:11.020 --> 01:15.160 最初の投票はGPTのアレックスからだった。 01:15.310 --> 01:19.870 GPTはブレイクをリーダーに選出した。 01:19.900 --> 01:23.620 次はブレイクの投票だ。 01:23.620 --> 01:27.250 そしてブレイクはジェミニのチャーリーに投票した。 01:27.280 --> 01:29.290 だからクロードは双子座に投票した。 01:29.320 --> 01:31.030 ブレイクはチャーリーに投票した。 01:31.030 --> 01:34.180 そして、 すべてはチャーリーの一票にかかっている。 01:34.210 --> 01:35.200 大きなドラムロール。 01:35.200 --> 01:35.920 賭けよう。 01:35.920 --> 01:37.810 誰が優勝すると思うかを決める。 01:37.840 --> 01:39.490 これが勝者だ。 01:39.520 --> 01:43.330 チャーリーはブレイク、 つまりクロードに投票した。 01:43.360 --> 01:54.970 スリー・オーパス・ブレイクは、 非科学的ではあるが、 非常に楽しいチャレンジの勝者である。 01:55.180 --> 01:57.100 そして、 これを自分で試してみるべきだ。 01:57.100 --> 02:02.220 これは私が言うように、 2、 3カ月前に実施したもので、 今は結果が変わっていると確信している。 02:02.850 --> 02:04.920 少なくとも、 違った写真が撮れることは確かだ。 02:04.920 --> 02:07.320 だから、 ぜひ自分で試してみてほしい。 02:07.320 --> 02:12.060 私のプロンプトを真似てもいいし、 ちょっと違うことを試してみて、 何を思いつくか見てみるのもいい。 02:12.060 --> 02:15.600 そして実際、 私はこれを基にゲームを書いた。 02:15.600 --> 02:22.020 私の個人ページ@edward. このゲームでは、 様々なモデルを対戦させ、 02:22.080 --> 02:28.860 お互いにコインを盗む方法を決めるという、 02:28.860 --> 02:40.290 もう少し定量的なことを試しています。 02:40.290 --> 02:42.300 それについては、 もう少し後で見てみよう。 02:42.300 --> 02:42.990 そうだね。 02:43.620 --> 02:44.430 分かった。 02:44.430 --> 02:49.440 さて、 それを踏まえて今日のメインネタに移ろう。 02:49.440 --> 02:54.660 ここ数年の信じられないような歴史について話すつもりだ。 02:54.660 --> 02:59.690 そして、 私たちが経験してきたすべてのことを思い出すために、 ときどき自分をつねらなければならない。 02:59.690 --> 03:10.700 2017年、 グーグルの科学者たちが「Attention is All You Need」という論文を発表した。 03:10.850 --> 03:16.790 そしてこれが、 トランス・アーキテクチャが発明された論文である。 03:16.820 --> 03:21.050 セルフ・アテンション・レイヤーと呼ばれる層を含むこの新しいアーキテクチャ。 03:21.290 --> 03:33.200 そして、 この論文を読んで最も注目すべき点は、 発明者自身が自分たちがとんでもないブレークスルーを成し遂げていることに気づいていなかったことが非常にはっきりしていることだろう。 03:33.230 --> 03:46.160 しかし、 彼らは明らかに、 自分たちが開いているドアや、 自分たちの発見の結果としてどれほどの進歩がもたらされるかを理解していない。 03:46.190 --> 03:51.170 実は、 その翌年にGPT1もリリースされた。 03:51.290 --> 03:56.020 しかし、 その当時、 グーグルのバートを使っていた人たちにとっては、 そうだろう。 03:56.020 --> 03:59.350 そして2019年にGPT2が開催された。 03:59.620 --> 04:02.140 2020年のGPT3。 04:02.170 --> 04:09.340 しかし、 私たちの多くは2022年後半にパワーを目の当たりにして衝撃を受けた。 04:09.370 --> 04:13.360 ChatGPTが発表されたのは11月か12月だったかな? 04:13.510 --> 04:21.940 ChatGPTは基本的にGPT 3だったが、 GPT 3.5、 3.5も使っていた。 5、 また、 人間のフィードバックからRL強化学習というテクニックを使うことで、 04:21.970 --> 04:28.060 非常に強力になった。 04:28.630 --> 04:35.590 そして2023年にGPT4が発表され、 もちろん今年もGPT4が行われた。 04:35.620 --> 04:42.580 ああ、 そして私たちは今、 見てきたように、 ゼロワンのプレビューを行ったし、 他のものも進行中だ。 04:43.960 --> 04:48.940 この変化に世界がどう反応したかは興味深かった。 04:48.970 --> 04:54.840 当初、 ChatGPTは私たち全員にとって、 その道の実践者にとっても驚きでした。 04:55.080 --> 05:02.160 どれだけ正確に、 どれだけニュアンス豊かに質問に答えることができるのか、 本当に驚かされた。 05:02.160 --> 05:04.620 その後、 反発が起きた。 05:04.620 --> 05:11.700 これは本当に呪術的なトリックに似ている。 05:11.820 --> 05:16.560 ここにあるのは、 基本的に本当に優れた予測テキストだ。 05:16.560 --> 05:21.930 テキストメッセージを表示させ、 次の単語を予測するボタンを押すと、 05:21.930 --> 05:28.380 統計的にパターンが一致するため、 ほとんど偶然に、 本当にうまくいくことがある。 05:28.380 --> 05:30.240 ここにあるのはそれだけだ。 05:30.240 --> 05:35.940 そして、 確率論的オウム論文として知られる有名な論文があり、 この論文では、 05:35.940 --> 05:42.540 私たちがここで目にしているのは単なる統計学に過ぎないという事実が語られ、 私たちはこれをモデルとして誤って解釈し、 05:42.540 --> 05:50.160 実際には存在しない何らかの理解をしているという指摘がなされている。 05:50.160 --> 05:57.380 そして、 私たちがそれについて間違った結論を出すことに伴う課題や危険性さえも浮き彫りにしている。 05:57.500 --> 06:03.800 しかし、 その後の経過を見ると、 今は振り子が少し戻っている。 06:03.800 --> 06:10.670 そして、 現時点で私たちが実践者としているのは、 これを創発的知性という観点から説明することだ。 06:10.670 --> 06:16.070 これは私たちが好んで使う表現で、 ここで起きているのは、 私たちが見ているのは本質的には単なる統計的予測であることは事実だが、 06:16.070 --> 06:32.570 LMを実行するときに私たちがやっていることは、 いくつかの単語や実際のトークンをLMに与えて、 すべてのトレーニングデータと学習したすべてのものの中で見たすべてのパターンを考慮して、 次に来る可能性が最も高いトークンは何か、 次に来る可能性が最も高いトークンは何か、 06:32.570 --> 06:36.770 と言っているのだ。 06:36.770 --> 06:40.640 そして、 その次のトークンは何だろう? 06:40.640 --> 06:44.000 そしてやっていることは、 この次のトークンを予測することだ。 06:44.000 --> 06:45.230 その通りだ。 06:45.230 --> 06:53.500 しかし、 それにもかかわらず、 何兆通りもの異なる重みがモデル内部で設定され、 どのように予測を行うかを制御するような大規模なスケールの副産物として、 06:53.500 --> 06:58.030 このようなことが行われているのだ。 06:58.060 --> 07:07.570 このレベルのスケールの副産物として、 私たちが創発的知性と呼ぶ、 見かけ上の知性という効果が見られる。 07:07.570 --> 07:12.250 まるでモデルが私たちの言うことを本当に理解しているかのようだ。 07:12.280 --> 07:17.590 もちろん、 これが本当に理解を模倣したものであることは事実だ。 07:17.590 --> 07:20.230 パターンを見て、 それを再現するだけだ。 07:20.230 --> 07:30.820 しかし、 フロンティア・モデルには、 私たちが日常的に使っているフロンティア・モデルに見られるような、 知性のレベルを示すことができるという創発的な性質がある。 07:31.540 --> 07:31.870 分かった。 07:31.870 --> 07:33.700 これで考える材料ができただろうか。 07:33.730 --> 07:36.640 この議論について、 あなたの立場を聞いてみたい。 07:36.670 --> 07:40.690 ぜひそれを投稿するか、 私に知らせてほしい。 07:40.750 --> 07:45.280 次回の講義では、 その背景にある理論についてもう少し詳しく話そう。 07:45.280 --> 07:49.930 そして、 その過程で得たいくつかの発見も見てほしい。