お帰りなさい｡
というわけで､ GPT4ミニの結果にまだ感動してくれているといいのだが｡
フロンティア・モデルは80ドル手前で好調で､ 52％のヒットがあり､ 緑色のドットの数では50％を超えている｡
しかし､ 今こそGPT4と対戦するときだ｡
ああ､ 今やったよ｡
ただ､ 現時点では､ この種のエラー数について話しているとき､ エラーはすでに､
あー､ それなりに低いということは知っておいてほしい｡
あなたは商品の実際の価格を考える｡
様々だ｡
価格にはボラティリティがある｡
セールもある｡
ホイールの価格やノートパソコンの価格など､ 大きな変動がある｡
サイトや店によってかなり違うのは間違いない｡
だから我々は､ この数字が小さくなるとは思っていない｡
その観点から､ 現時点での1ドルの改善は､ それ自体が勝利であると認識してほしい｡
できる限りジュースを絞るつもりだが､ 今は大きな変化を期待しないでほしい｡
私たちは今､ すでに超素晴らしい､ 従来の機械学習技術をはるかに凌駕する段階にいる｡
それで､ その次にすべきことは､ もちろん､ より大きないとこであるGPT4のお披露目だ｡
ああ､ ここにも同じタイプの関数がある｡ テスト・プログラムに渡す関数だ｡
もちろんOpenAI ChatGPT completions dot createと呼んでいる｡
GPT4モデルを使用しているのは8月6日現在で､ ごく最近のことだ｡
ええと､ メッセージを渡し､ シードを渡し､ 同じ方法で結果を返す｡
これには少しコストがかかる｡
費用は0ドル｡ 10ドルと0ドル｡ 250ポイントに20ドル｡
そう､ そう､ 銀行を破綻させるようなものではないが､ これを100回実行する前によく考えた方がいいかもしれない｡
だから､ 少なくとも一度は試してみてほしい｡
とても楽しいよ｡
うーん､ でも､ そうだね､ 必ずしも何度も走る必要はない｡
また､ なぜ私がこの試合を "Oh one "と戦おうとしないのか､ 不思議に思うかもしれないことにも触れておきたい｡
ええと､ それで､ どんな問題があるかというと､ ああいう問題なんだ｡
ああ､ もっと深い思考が必要で､ 多段階の思考プロセスが必要で､ チャレンジングな問題だ｡
そして､ それは私たちがここで取り組んでいる問題には適していない｡
しかし､ それだとスピードも遅くなるし､ 料金も高くなる｡
僕らは数学のパズルを解こうとしているんじゃない｡
私たちはただ､ 世間的な知識に基づいて､ 次に最も可能性の高い価格を推測しようとしているだけなのだ｡
だからGPTの4フロンティアがベストショットになるはずだ｡
うーん｡
そしてもちろん､ 私はすでにそれを実行した｡
GPT4ミニより少し遅いですね｡
ちょっとだけね｡
でも､ 自分で走れば楽しめると思うよ｡
その結果がこれだ｡
緑が多いけど､ 赤も多いね｡
だから､ ここはバラエティに富んでいる｡
うーん､ 間違いなく賭けているね｡
その結果がこれだ｡
要するに､ その方がいいということだ｡
確かに改善された｡
約80から約76になった｡
そして52から58までのヒット｡
ええと､ 緑の点｡
大規模な変化ではない｡
ミニからGPT4への移籍はもっと期待していたかもしれないが､ GPT4ミニは本当にいいものだということを覚えておいてほしい｡
そして､ ずっと安いモデルであるにもかかわらず､ GPT four zeroとほとんど同じような賢さを持っている｡
まず第一に､ 6ドルも4ドルも安くなったことは喜ばしいことだ｡
申し訳ない｡
ええと､ でも､ GPT4ミニは本当によくやっていると思う｡
ええと､ それで､ ええと｡
そう､ これがその結果だ｡
見た目はとても印象的だ｡
つまり､ 人類との比較だ｡
この講義の最後には､ 恥ずかしながらもう一度チャートを見て､ フロンティア・モデルが達成できることと比較することで終わりにしようと思う｡
ええと､ でも､ これでよくわかるよ｡
オーケー｡
そしてもちろん､ もう1つフロンティア・モデルがあり､ それはクロード3だ｡
5ソネット
人間工学的なモデルから､ 最強のモデルはどれですか？
ええと､ クロードがまたメッセージを作ってくれたんだ｡
クロードの場合､ シードでパスを出すことはできない｡
それは必要ない｡
だから結果は毎回違ってくる｡
しかし､ 私がここで行った最初の試運転を､ 私たちの目的のための､ その､
その､ その､ 結果として持っているものにした｡
そして､ おそらく､ このノートを複製して保存すると思う｡
だから､ 後世のために持っているんだ｡
ええと､ クロードの時間は2､ 3の赤から始まり､ 次に緑の海だ｡
そして､ いくつかの結果につなげたい｡
クロードの結果はこうだ｡
興味深いことに､ クロードは実際にはもう少し悪い｡
このタスクでは､ GPTの4つのミニより悪く､ ランダムフォレストよりも悪い｡
もちろん､ 今回もランダムフォレストには40万件の学習データがある｡
だから､ まったく違う種類のテストなんだ｡
その理由のひとつは､ この軸を見れば､ ある程度の予測を立てていることがわかるからだ｡
それは小さな小さな赤い点になるだろうから､ 私たちにはよく見えないが､ それはもちろんすべてのものに広がっていくだろうが､
何か大きな予測をしたのだ｡
だから､ 大きな違いはなかっただろう｡
しかし､ それでもなお､ 1つの推測は､ あまりにも､ あまりにも高すぎただろう｡
ここをスキャンしてスパイできるか見てみよう｡
どこで間違ったのか？
これだ｡
Gテクノロジー GスピードESプロ ハイパフォーマンス
つまり､ 495ドルもするものなのだ｡ 95.
客は4,999ドルと99ドルだった｡
つまり､ 4500のミスを招いたのは､ 非常に大きなゲストだったのだ｡
もちろん､ この誤差は250のデータポイントで平均化されるため､ それ自体が物事を大きく歪めることはない｡
しかし､ 最悪の陣営に押し上げた一例だ｡
これがクロードの結果だ｡
GPT4､ あるいはフロンティアのGPT4がこのチャレンジの勝者だった｡
クロードがコーディング・パフォーマンス・チャレンジで勝ったことを覚えているだろう｡
ええと､ でもこの場合､ この特別なチャレンジの勝者はクロードだ｡
ええと､ すみません､ GPT4はフロンティアですね｡
そしてお約束したように､ もうひとつだけお見せしよう｡
この人間の弱々しい試みに｡
GPT4がホームランに近いと推測される緑色の点がいくつもある､ エレガントで素敵な図を見てみよう｡
そして今度は､ その部屋に常駐している人間のパフォーマンスと比較してみよう｡
ええと､ これが私のカルテ｡
もう二度と見たくないと｡
ああ､ わかったよ｡
とにかく､ これがあなたにとって､ えー､ 勉強になったことを願っている｡
そして､ 自分自身のビジネス上の問題に対して､ このような実験をどのように行うかを見るんだ｡
どうぞよろしく｡
さあ､ これを再現しよう｡
これを試してみると､ 特にクロードの場合は､ 種がないために同じ結果が得られないことがわかるだろう｡
うーん､ でも､ 何か違うものを手に入れて､ その性能を見てみるんだ｡
もしかしたら､ 私よりいい結果が出るかもしれない｡
ええと､ でも最後にもう少しスライドをお見せしましょう｡