一緒に過ごす4日目を迎える｡
今日はとても重要な日だ｡
今日は､ このコースで扱うLMSのほとんどを支えるアーキテクチャであるトランスフォーマーの台頭について見ていこう｡
コピロットやエージェントのようなもの､ そして最も重要なこととして､
トークン､ コンタクト､ ウィンドウ､ パラメータ､ APIコストなど､ LMSの背後にある基本的な要素について話すつもりだ｡
皆さんの中には､ すでによくご存知の方もいらっしゃると思いますが､
もう少し深く掘り下げて､ より深い洞察をお見せしたいと思います｡
だから､ 頑張って｡ もし､ あなたが初めてこの世界に足を踏み入れるのであれば､ 私はあなたにこの世界に対する本当に良い基礎を与えたいと思っている｡
しかし､ その前にリーダー争いの勝者を明らかにしなければならない｡
前回のセッションの最後に､ アレックス対ブレイク対チャーリー､ GPT4人ゼロ､
クロード3人､ オーパスとジェミニを残し､ 彼らがリーダーを決める投票を一緒に戦っていたことを覚えていてほしい｡
彼らのことを覚えているかい？
お互いに､ このような言葉を投げかけている｡
そして今､ 結果を明らかにする｡
最初の投票はGPTのアレックスからだった｡
GPTはブレイクをリーダーに選出した｡
次はブレイクの投票だ｡
そしてブレイクはジェミニのチャーリーに投票した｡
だからクロードは双子座に投票した｡
ブレイクはチャーリーに投票した｡
そして､ すべてはチャーリーの一票にかかっている｡
大きなドラムロール｡
賭けよう｡
誰が優勝すると思うかを決める｡
これが勝者だ｡
チャーリーはブレイク､ つまりクロードに投票した｡
スリー・オーパス・ブレイクは､ 非科学的ではあるが､ 非常に楽しいチャレンジの勝者である｡
そして､ これを自分で試してみるべきだ｡
これは私が言うように､ 2､ 3カ月前に実施したもので､ 今は結果が変わっていると確信している｡
少なくとも､ 違った写真が撮れることは確かだ｡
だから､ ぜひ自分で試してみてほしい｡
私のプロンプトを真似てもいいし､ ちょっと違うことを試してみて､ 何を思いつくか見てみるのもいい｡
そして実際､ 私はこれを基にゲームを書いた｡
私の個人ページ@edward. このゲームでは､ 様々なモデルを対戦させ､
お互いにコインを盗む方法を決めるという､
もう少し定量的なことを試しています｡
それについては､ もう少し後で見てみよう｡
そうだね｡
分かった｡
さて､ それを踏まえて今日のメインネタに移ろう｡
ここ数年の信じられないような歴史について話すつもりだ｡
そして､ 私たちが経験してきたすべてのことを思い出すために､ ときどき自分をつねらなければならない｡
2017年､ グーグルの科学者たちが「Attention is All You Need」という論文を発表した｡
そしてこれが､ トランス・アーキテクチャが発明された論文である｡
セルフ・アテンション・レイヤーと呼ばれる層を含むこの新しいアーキテクチャ｡
そして､ この論文を読んで最も注目すべき点は､ 発明者自身が自分たちがとんでもないブレークスルーを成し遂げていることに気づいていなかったことが非常にはっきりしていることだろう｡
しかし､ 彼らは明らかに､ 自分たちが開いているドアや､ 自分たちの発見の結果としてどれほどの進歩がもたらされるかを理解していない｡
実は､ その翌年にGPT1もリリースされた｡
しかし､ その当時､ グーグルのバートを使っていた人たちにとっては､ そうだろう｡
そして2019年にGPT2が開催された｡
2020年のGPT3｡
しかし､ 私たちの多くは2022年後半にパワーを目の当たりにして衝撃を受けた｡
ChatGPTが発表されたのは11月か12月だったかな？
ChatGPTは基本的にGPT 3だったが､ GPT 3.5､ 3.5も使っていた｡ 5､ また､ 人間のフィードバックからRL強化学習というテクニックを使うことで､
非常に強力になった｡
そして2023年にGPT4が発表され､ もちろん今年もGPT4が行われた｡
ああ､ そして私たちは今､ 見てきたように､ ゼロワンのプレビューを行ったし､ 他のものも進行中だ｡
この変化に世界がどう反応したかは興味深かった｡
当初､ ChatGPTは私たち全員にとって､ その道の実践者にとっても驚きでした｡
どれだけ正確に､ どれだけニュアンス豊かに質問に答えることができるのか､ 本当に驚かされた｡
その後､ 反発が起きた｡
これは本当に呪術的なトリックに似ている｡
ここにあるのは､ 基本的に本当に優れた予測テキストだ｡
テキストメッセージを表示させ､ 次の単語を予測するボタンを押すと､
統計的にパターンが一致するため､ ほとんど偶然に､ 本当にうまくいくことがある｡
ここにあるのはそれだけだ｡
そして､ 確率論的オウム論文として知られる有名な論文があり､ この論文では､
私たちがここで目にしているのは単なる統計学に過ぎないという事実が語られ､ 私たちはこれをモデルとして誤って解釈し､
実際には存在しない何らかの理解をしているという指摘がなされている｡
そして､ 私たちがそれについて間違った結論を出すことに伴う課題や危険性さえも浮き彫りにしている｡
しかし､ その後の経過を見ると､ 今は振り子が少し戻っている｡
そして､ 現時点で私たちが実践者としているのは､ これを創発的知性という観点から説明することだ｡
これは私たちが好んで使う表現で､ ここで起きているのは､ 私たちが見ているのは本質的には単なる統計的予測であることは事実だが､
LMを実行するときに私たちがやっていることは､ いくつかの単語や実際のトークンをLMに与えて､ すべてのトレーニングデータと学習したすべてのものの中で見たすべてのパターンを考慮して､ 次に来る可能性が最も高いトークンは何か､ 次に来る可能性が最も高いトークンは何か､
と言っているのだ｡
そして､ その次のトークンは何だろう？
そしてやっていることは､ この次のトークンを予測することだ｡
その通りだ｡
しかし､ それにもかかわらず､ 何兆通りもの異なる重みがモデル内部で設定され､ どのように予測を行うかを制御するような大規模なスケールの副産物として､
このようなことが行われているのだ｡
このレベルのスケールの副産物として､ 私たちが創発的知性と呼ぶ､ 見かけ上の知性という効果が見られる｡
まるでモデルが私たちの言うことを本当に理解しているかのようだ｡
もちろん､ これが本当に理解を模倣したものであることは事実だ｡
パターンを見て､ それを再現するだけだ｡
しかし､ フロンティア・モデルには､ 私たちが日常的に使っているフロンティア・モデルに見られるような､ 知性のレベルを示すことができるという創発的な性質がある｡
分かった｡
これで考える材料ができただろうか｡
この議論について､ あなたの立場を聞いてみたい｡
ぜひそれを投稿するか､ 私に知らせてほしい｡
次回の講義では､ その背景にある理論についてもう少し詳しく話そう｡
そして､ その過程で得たいくつかの発見も見てほしい｡