ようこそ皆さん｡
だから､ 過去に何度も言ってきたけど､ 今週やこのトピックを始めるのが楽しみなんだ｡
というのも､ 私が抱いていた興奮は､ 今日の私の興奮のレベルに比べれば､
ほんのわずかなものだったからだ｡
第6週を迎え､ トレーニングの世界に乗り出すにあたり､ これがすべてだ｡
いよいよ現実味を帯びてきた｡
心の準備をする｡
だから､ ここまでは常に推論と呼ばれるものについて話してきた｡
推論とは､ 大量のデータに対して学習させたモデルを､ 入力が与えられたときに次のトークンを予測するために実行時に使用することだ｡
そして､ その推論をより良いものにするために､ さまざまな方法を検討してきた｡
これからはモデルそのものを見て､ 実行時や推論時にさらに優れたモデルになるように､ どのようにモデルをトレーニングすればよいかを理解していく｡
そして､ ここからが高度になる｡
私たちは､ 華やかではない部分､ つまりデータについてから始める｡
また､ データセットを作成することは､ 華やかに聞こえないかもしれないが､ 決して華やかではない｡
これは絶対に必要なことであり､ おそらく最も重要な部分のひとつだろう｡
そして今日と明日は､ データに深く入り込み､ それを隅々まで理解し､ 視覚化し､ 整理し､
キュレーションし､ 私たちがとても気に入る形にすることに費やすつもりだ｡
それは､ あなたがやらなければならないことなんだ｡
また､ このプロジェクトの成功をどのように評価するつもりなのか？
何を達成しようとしているのか､ それができたかどうかをどうやって知るのか｡
その前に､ あなたが過ごした8週間､ あなたがどこから来て､ どこへ行こうとしているのかについて少し話しましょう｡
今から6週間前に始めたんだけど､ 君たちが向かっている左側にLMエンジニアリングのマスターがいるんだ｡
右側だ｡
週目にはフロンティア・モデルについて話し､ いくつか試してみた｡
2週目は複数のAPIを使っていた｡
私たちはGradioとMulti-modalityを使ってUIを構築していた｡
第3週は､ パイプライン・トークナイザー､ そしてモデルのハグについて研究した｡
第4週はモデルの選考だった｡
コード生成を使っていたが､ 6万倍速いものを作ったんだ｡
コードを6万回も最適化できたのは驚くべきことだ｡
第5週
先週はもちろん､ 非常にホットな話題で持ちきりだった｡
そして今､ 6週目のフロンティア・モデルを微調整し､ 7週目のトレーニングにたどり着いた｡
またやろう｡
だが､ 今は違う｡
これからはオープンソースのモデルを扱い､ 基本的には自分たちでモデルを作っていくことになる｡
そして､ 第8週がすべての集大成となる｡
ということで､ 私たちが現在進めている移行について少しお話ししましょう｡
私たちは推論からトレーニングへと移行しつつある｡
では､ 私たちが推論に取り組んできたとき､ 何をしてきたかについてお話ししましょう｡
我々は､ これらのモデルを実行する際に､ より良いパフォーマンスを発揮できるよう､ さまざまなテクニックを開発してきた｡
私たちはマルチショット・プロンプトを試してみた｡
プロンプト・チェイニングは､ 複数の異なるメッセージを送信し､ 互いを重ね合わせ､ その結果を組み合わせることで試した｡
私たちは､ そこまで魔法のようなものではないが､ モデルをコードにコールバックできるようなツールを使ったことがある｡
航空券の値段や違う都市への旅行代金を計算するためだ｡
そして最近では､ より関連性の高いコンテンツのコンテクストをプロンプトに注入するラグに取り組んだ｡
つまり､ これらすべてに共通しているのは､ 既存の学習済みモデルを利用し､ それを複数回呼び出したり､
コンテキストを追加したりすることで､ そのモデルが知っていることを最大限に活用する方法を見つけ出すということだ｡
これからはトレーニングに移る｡
トレーニングで私たちがやろうとしているのは､ 潜在的には何十億ものパラメータを持つディープ・ニューラル・ネットワークを利用することです｡
どのようにパラメータを微調整し､ 重みを変更し､ データに基づいてわずかに最適化することで､
将来のトークンを予測する能力がますます向上するようにすることができます｡
解決しようとしている問題について､ より深く､ より細かい粒度の理解を徐々に積み上げていくことができる､ よりニュアンスのあるテクニックなのだ｡
今､ 数十億のパラメーターを持つLLMを訓練しようとすると､ かなり高価な提案となる｡
フロンティア・ラボはおそらく､ 最高のモデルのトレーニングに1億ドル以上を費やすだろう｡
それに予算外だろう｡
だから､ 残念ながらそれは不可能なんだ｡
しかし幸運なことに､ 我々は転移学習というものを利用することができた｡
そして転移学習は､ すでに訓練されたLM､ つまりすでに大量のデータで事前訓練されたモデルを用いて､
特定のデータセットで訓練を続けることは完全に可能だと言う｡
おそらく､ それは非常に専門的な問題を解決するもので､ すでに蓄積された知識をすべて移し､
その上にさらに知識を加えることができるだろう｡
そうすれば､ 事前に訓練されたモデル空間を利用して､ タスクに合わせてより正確に訓練することができる｡
そしてそのプロセスは微調整として知られている｡
うーん､ そのまんま､ そのまんま｡
ええと､ もちろん､ その方法として､ Qローラのように過去に私が取り上げたテクニックを使うつもりだ｡
メモリなどの面でも管理しやすいだろう｡
それでは､ これから数週間の大半を費やすことになる商業的な問題を紹介しよう｡
例えば､ 電化製品､ コンピューター､ 冷蔵庫､ 洗濯機､
その他家庭用や車用のものなど､ 様々な製品の説明文を受け取り､
説明文だけからその製品の価格を推定できるモデルを構築したいとします｡
ええと､ 今のは......わかりやすくていい問題だね｡
結果を測るのはとても簡単だ｡
データサイエンティストが手を挙げて､ それはテキストを生成するジェネレーティブAIソリューションのために設計された問題には聞こえない､
と言うかもしれない｡
数字を生み出すモデルが必要なようだ｡
一般的に回帰モデルと呼ばれるものの領域だ｡
このようなモデルには､ その数字にフィットするようなものがある｡
そして､ それは正しい｡
それは正しい指摘だ｡
一般的には､ どちらかというと退行のような問題だ｡
うーん､ でも結局のところ､ 僕らにとってはまだ大きな問題になりそうなんだ｡
それにはいくつかの理由がある｡
そのうちのひとつは､ フロンティアモデルがこの種の問題を解決するのに優れていることがわかったことだ｡ そもそもフロンティアモデルは､
テキストを生成することだけを目的としていて､ 要約などのタスクやその他のテキスト生成アクティビティを含むことができるようにすることだけを目的としている｡
しかし､ 私たちが発見したように､ モデルにJSONで応答するよう求め､ 情報とともに応答すると､
定量的な結果を返すのに非常に効果的である｡
そして実際､ フロンティアモデルは､ おそらくずっと前に話した創発的知性のおかげで､
従来は回帰モデルの領域だったこの種の問題でさえも､ 非常に効果的になりました｡
だから､ このためにJNIを使うことは絶対に可能だ｡
そして実際､ フロンティア・モデルは､ 我々が構築する単純な回帰モデルよりも､ この点で目を見張るほど優れていることがわかるだろう｡
だから､ この空間ではうまくいくことがわかった｡
自分たちで模型を作れば､ もっと楽しくなるだろう｡
その理由はこうだ｡
この問題の素晴らしいところは､ うまくいっているかどうかを測るのがとても簡単だということだ｡
もし､ ある製品を予測し､ その製品の価格がわかれば､ それを投入して製品の出来を見ることができる｡
私たちのモデルが､ その製品の価格を推測する際にどの程度の結果を出すか見てみましょう｡
他のテキスト生成の問題は､ 人間にとって理解しやすい方法で測定するのが難しい｡
つまり､ 2つの言語間の翻訳をする場合､ 確かに英語からスペイン語がうまく生成されているかどうかはわかる｡
もちろん採点方法もある｡
しかし､ そうなると､ その仕組みや､ 実際にうまくいっているのかどうかなど､ 複雑なことがたくさん出てくる｡
だから､ もっとテキスト生成に関連した問題は他にもたくさんあるんだ｡
例えば､ 商品の説明を実際に書くようなものを作るとかね｡
この値段は､ 測定するのが驚くほど簡単だ｡
もし私たちがそれをうまくやっていて､ とても人間的に理解しやすい方法で測定していればね｡
複雑なデータサイエンスの指標ではなく､ 誰もが理解できるようなものだ｡
今話した冷蔵庫の値段はどれくらい正確ですか？
私たちはそれを見分けることができるし､ 改善を見ていくことができる｡
だから､ そのような理由も含めて､ この挑戦は私たちにとって本当に素晴らしく､
明確に定義された挑戦だと思う｡
分かった｡
次回のビデオでは､ データについてお話しします｡