Jupyter Labへようこそ､ そしてフロンティアでの実験へようこそ｡
そこで私たちは､ GPT4とクロードを組み合わせて商品の価格を予測するというこの課題に挑戦し､
フロンティアモデルを試してみようと思う｡
この件に関して､ いくつか指摘しておきたいことがある｡
まず言っておきたいのは､ ここではトレーニングはしていないということだ｡
フロンティアモデルにはトレーニングデータの恩恵を与えない｡
単にテストデータを与え､ 結果を予測するよう求めるだけだ｡
従来の機械学習では､ 40万件の学習データを与え､ それに基づいてモデルを学習させていた｡
この場合､ 私たちは単にテストデータを与え､ あなたが世界について知っているすべての驚異的な知識､
あなたの何兆ものパラメータに保存されている世界のすべての情報を与えて､
この製品の価格を予測してください､ と言っているのです｡
だから､ 我々はその世界的な知識を活用している｡
そう､ 一方では､ この任務のために訓練されたわけではない｡
その一方で､ もうお気づきの方もいらっしゃるかもしれませんが､ 言及する価値のあることがあります｡
それは､ トレーニングの一環としてこれらのモデルに投入された膨大な､ とんでもなく大きなトレーニング・データ・セットを考えると､
彼らが実際に､ 以前にこれらの製品を見たことがある可能性は十分にあるということです｡
アマゾンの切れ端を提供されたのかもしれない｡
ハグする顔のデータセットが提供されたのかもしれない｡
ええと､ だから､ 今は可能なんだ｡
今は違う｡
結果が怪しいほど的中しているわけでもなんでもないことがわかるだろう｡
そのため､ 正確な価格という利点があるように感じられるが､ それでも不公平な利点があるかもしれないことを念頭に置く必要がある｡
その証拠を見たことはないが､ 心配したいことであることは確かだ｡
いわゆるテスタタ汚染だ｡
テスト・データセットが､ トレーニング中に見たことがある､ あるいは見たことがある可能性がある場合｡
だから､ そのことは肝に銘じておく｡
でも､ それは余談に過ぎない｡
私たちはそのことにこれ以上こだわるつもりはない｡
私は､ それが関係しているという重要な証拠を見たことがない｡
だから､ 輸入をするんだ｡
そうだ｡
今はOpenAIとanthropicのインポートに戻り､ それらを活用していく｡
私が書いた素敵なテスター・クラスは気に入っているし､ あなたにとってとても役に立つと思う｡
そして､ あなた自身のプロジェクトでも､ 同じような種類のテスト・ハーネス・フレームワークを書いて､
できるだけ多くのビジネス・メトリクスを使って､ その結果を検証することをお勧めする｡
このモジュールは､ 独立したPythonモジュールに移しました｡
これは､ そのようなモジュールにあるコードと同じもので､ 今後､ Jupyterノートブックのすべてにこのコードを入れる必要はないということだ｡
そうやってインポートすればいいんだ｡
そして､ サインもわずかに変わった｡
テスラ・ドット・テストと言い､ 関数名を入れ､
テスト・データ・セットを渡す｡
分かった｡
これで環境変数をロードすることになる｡
これからハグフェイスにログインします｡
もう一度言うけど､ 実際に使うことはないと思う｡
でも......とにかく､ その練習を始めた方がいい｡
ええと､ ハグしている顔にログインするのは､ いつだって素敵なことだよね？
つのモデルを初期化する｡
matplotlibにグラフを作成することを伝え､ 出力したトレーニングデータとテストデータセットのpickleファイルをロードする｡
ええと､ そして､ それらは積み込まれている｡
フロンティアに行く前に､ もうひとつお見せしたいモデルがあるんです｡
フロンティアの時代だと言ったじゃないか｡
そして､ これは私の犠牲の上に成り立っている｡
だからこそ､ 今日のビデオの冒頭で､ 私は疲れきっていると言ったのだ｡
しかし､ もうひとつ､ おそらくもうひとつ､ 私たちのモデルを比較すべきは､ 商品の価格を予測しようとする人類の努力だろうと思いついた｡
モデルのパフォーマンスを人間のパフォーマンスと比較できるようにするために､ ベースラインも持っておくべきだと思う｡
そして､ 250の商品説明を読んで､ その値段がいくらなのかを把握しようとする恐怖を味わうような人を説得できる人を見つけることができなかった｡
そうして､ 私はこの拷問に自分をさらした｡
思っていたよりずっと難しいよ｡
前にも言ったけど､ かなり大変だと思っていたんだ｡ でも､ 僕が思っていた以上に大変で､
僕が知らなかったことがたくさんあった｡
ホイールを買うのにいくらかかるか知らなかった｡
コンピュータのことは隅から隅まで知っているはずなのに､ ディスク容量が400GBもある整備済みコンピュータの値段に頭を悩ませていた｡
そして､ 本当に､ 本当に大変だった｡
そしてシャンデリア｡
シャンデリアの値段は知らない｡
とにかく､ 話がそれた｡
250のテストプロンプトをCSVファイルに出力するコードを書いたんだ｡
これで､ 人間の入力ドットcsvファイルが作成される｡
そして､ これが人間入力のドットCSVである｡
そして､ この欄の上位250のプロンプトとゼロのプロンプトのひとつひとつを､ 当該人間が記入するようになっている｡
それでね､ この人間のアウトプットをgitにチェックインするかどうかもわからないんだ｡
しばらくすると疲労が蓄積してくるから､ あえてそうしているんだ｡
私はおそらく､ そこで本当に不手際を犯した｡
これを見たら､ 何を考えているんだと言うだろうね｡
LMエンジニアリングの指導に専念すべきだ｡
確かにそうだ｡
あなたは世界の誰かではない｡
でも､ ベストは尽くしたよ｡
とにかく､ 私が設定した価格を読み返そう｡
ええと､ それから､ これがどう見えるか､ すぐに感覚を掴みましょう｡
そこで､ 人間の､ うーん､ 予測者､ 人間のプロセッサーとなる関数を書くことにする｡
だから入力が必要なんだ｡
そして､ その入力は項目のひとつであるべきだ｡
そして､ その商品の代金を返すのが仕事だ｡
この時点で私がすることは､ トレーニングデータセットとテストデータセットを見ることです｡
その項目のインデックスは？
ということは､ テストでは0番目の項目なのだろうか｡
1番目なのか､ 2番目なのか､ 3番目なのか｡
それをインデックスと呼ぶことにする｡
というわけで､ ここで見ているテスト項目の数はこれだ｡
そして､ 私は絶望的な予想をすべて人間の予測に読み込んだ｡
だから､ 私たちは人間の予測を返すだけだ｡
ええと......インデックスで
分かった｡
そしてそれを実行する｡
そして今､ 我々はテスター・ドット・テスト・ヒューマン・プライサーを見ることになる｡
そしてテストデータセットでパスする｡
さあ､ 始めよう｡
これがその結果だ｡
ええと､ かなり多くの赤が入っているのがわかるだろう｡
グリーンもあるけどね｡
私は立派にやった｡
あー､ でも､ それでも僕はかなり遠くにいたよ｡
でも､ これを見て｡
これは何だ？
リッチモンドの自動車椅子張り､ 260かな｡
そして225だった｡
そしてこちらはギブソン・パフォーマンスのエキゾースト｡
ギブソン・パフォーマンスのエキゾーストがいくらかは知らないけれど｡
私は499だと思った｡
僕は､ その､ 頑張ろうと思ったんだ｡
そして答えは535だ｡
でも､ ここには他にも何人かいる｡
私はここで何を間違えたのだろう？
ストリート・シリーズのステンレスの性能は､ 確か260ドルだったと思うけど､
814ドルだった｡
下にスクロールすると､ こうなる｡
これがそのチャートで､ 僕は特に､ ひどい成績ではなかったことがわかるだろう｡
つまり､ やったんだ｡
よし､ 見ろ､ たくさんの緑の点のヒット率が32％だ｡
私も､ 3分の2が終わったところで気づいたんですが､ 私の値段はすべて､ 4ドルか500ドル以上だと思ったことがなかったんです｡
だから､ 明らかにそうだとすぐにわかった｡
私は高価なものに目をつけていなかった｡
それは明らかに失敗だった｡
つまり､ 私のミスは合計で127ドルだった｡
そしてそれは､ 私が平均よりも良い成績を収めていることを意味する｡
終始､ 平均的な数字を当てるだけで､ もっといい成績を残せたような気がしてならない｡
ええと､ その......比較を思い出すためにメモしたんだ｡
平均は146だった｡
ええと､ 平均価格の間違いでした｡
だから､ それよりはうまくやったよ｡
特徴工学を用いたストレートな線形回帰｡
基本的なものは139だった｡
だから､ それを打ち破ったんだ｡
私は非常に基本的な特徴工学的線形回帰を打ち負かした｡
しかし､ どうせあなたはすでにそれ以上の機能を搭載し､ それ以上の結果を出しているのだろう｡
うーん､ でも､ 他のモデルはみんな､ バッグ・オブ・ワード・スタイルのモデルやワード・ツー・ベックのモデルで私を押し潰したんだ｡
そして､ ランダムフォレストが97点で､ 人類を大きく上回ったことを思い出すだろう｡
しかし､ この練習をすれば､ 私よりも良い情報が得られるかもしれない｡
そうすれば､ もっとうまくいくことに気づくかもしれない｡
とにかく､ 真面目な話､ 私はあなたの時間を無駄にしたわけではない｡
このような練習をするのはいいことだと思う｡ なぜなら､
数少ないデータポイントかもしれないが､ 自分が解いている問題のタイプをよく理解することができるからだ｡
結局のところ､ その時よりも､ 人間のパフォーマンスよりもうまくやれないのであれば､ もっと努力する必要がある｡
だから､ それが感覚になる｡
また次のビデオでは､ フロンティア・モデルの話をしよう｡
それは起きている｡
ではまた