ベンチマークの調査を続けているが､ これは実際に動きを見ることでより現実味を帯びてくるだろう｡
しかし､ これは非常に重要で有益な背景情報である｡
今回は､ より専門的なスキルをテストするために使われる3つのベンチマークを紹介する｡
そして､ その最初のものは､ モデル間のチャットを評価するために使用される｡
そしてベンチマークはEloレーティングである｡
もしあなたがチェスのプレイヤーなら､ あるいはチェスのEloレーティングに詳しいなら､
Eloとはスポーツや､ 勝者1人に対して敗者が1人というゼロサムゲームのようなゲームにおいて､ 競争相手に与えることができるレーティングのことだ｡
だから､ 後でアリーナからその例を見ることになるし､ それが命を吹き込むことになる｡
でも､ 特にこれからお見せするようなものは､ これらのモデルのチャット能力やインストラクターの能力を評価するために使われるんだ｡
そして次の2つはコーディングについてだ｡
Human evalはPythonのコーディングテストとして非常によく知られている｡
164の問題だ｡
ええと､ Pythonのdoc文字列に基づいて実際にコードを書くことです｡
そして､ モデルがますます効果的になってきている｡
ええと､ "マルチプル "というのは､ 同じものを18のプログラミング言語に翻訳したものだと思います｡
つまり､ さまざまな分野にまたがる､ より幅広いプログラミング・スキルということだ｡
これは非常に重要なポイントであり､ いくら強調してもしすぎることはない｡
ベンチマークは､ もちろん､ 異なるモデルが輝きを放つ場所とそうでない場所を比較するのに役立つ｡
しかし､ ベンチマークには問題がある｡
そのひとつは､ 一貫して適用されていないことだ｡
だから､ ベンチマークをどこで見るかによって､ 特に企業のプレスリリースのようなものであれば､
どのようにベンチマークを測定したか､ どのようなハードウェアを使ったか､ そういったことはその企業次第なんだ｡
このような測定値をレールに乗せるようなゴールドスタンダードがあるわけではないんだ｡
だから､ 何事も大目に見なければならない｡
第三者によって出版されたものであれば､ 特に多肢選択式の問題や非常に似たような点を考えると､
範囲が狭すぎる可能性がある｡
多肢選択式や非常に特殊な答えを扱っている場合､ この種のベンチマークを使ってニュアンスのある推論を測定するのは難しい｡
もう一つの問題は､ トレーニングデータの漏れです｡
モデルのトレーニングに使われるデータの中に､ これらの答えがないことを確認するのは非常に難しい｡
トレーニングデータの漏洩をコントロールするのは､ ますます難しくなる｡
次に､ 伝統的なデータ・サイエンスの用語でよく使われるオーバーフィッティングです｡
問題は､ これがちょっと微妙だということだ｡
ハイパーパラメーターやモデル周りの設定をいろいろと調整し､
すべてのハイパーパラメーターを調整し終えるまで再実行し続けた結果､
特定のベンチマークを打ち負かすことができたのです｡
それは偶然の一致かもしれない｡
まるで､ あなたがこれらの異なるノブをすべて持っていて､ それを特別に回して､
これらのベンチマークを本当に､ 本当にうまく解決できるようにしたようなものだ｡
それの何が問題なんだ？
問題は､ この特定のベンチマークテストを解いただけだということだ｡
そして､ 同じテストの核心に迫ろうとしている別の問題を出題した場合､ 質問の仕方が違うだけで､
違う数学の問題だったりすると､ モデルは大失敗するかもしれません｡ モデルを過剰にフィットさせ､
訓練し､ 様々なダイヤルを設定し､ これらの非常に特定のベンチマーク問題では本当に本当にうまくいくようにし､ これらのベンチマーク問題から外れると､
同じようなことをテストするように設計された他の問題ではうまくいかないようにしたのです｡
言い換えれば､ ベンチマークの結果は誤解を招きかねない｡
Pythonのコーディングが得意だとか､ 数学の問題が得意だとか､
そういう風に見せることができる｡
これがオーバーフィッティングの問題だ｡
そのことを意識し､ 健全な懐疑心を持ってベンチマークを見直すことが非常に重要です｡
最近､ 新たな興味深い指摘がなされているが､ それはまだ証明されていない｡
まだよく理解されていない｡
まだ推測の域を出ないが､ 最新のフロンティアモデル､ GPT4クロード3が本当に強いという証拠がいくつかある｡
5
ソネット・レベルのモデルは､ 自分が評価されていること､ さまざまなベンチマーク・スタイルの質問をされ､ その答えのいくつかが､ 専門家に対して､
文脈を理解していること､ 自分が評価されているからこのような質問をされていることを示唆していることを､ 何らかの形で認識している｡
そうすると､ 彼らの答えが歪んでしまうかもしれない｡
数学が得意かどうかなどというテストがなぜ重要なのかと思うかもしれない｡
評価されていることを知っているかどうかは問題ではない｡
そうすることで､ 彼らは自分が評価されていることを知ることができる｡
それでも､ 数学の問題でうまくいくかどうかは役に立つ｡
さて､ ここで重要な例を挙げよう｡
仮に､ 安全性やアライメント､ そして敵対的な状況下での誠実な対応について質問したとしよう｡
それが評価しようとするものであれば､ モデルが評価されていることを認識すれば､
その質問に答えるアプローチが変わるかもしれない｡
また､ 例えば､ あるモデルが非常に真実味がある､ あるいは整合性が取れているという印象を与えるかもしれないが､ 実際にはそうではない｡
だから､ これが本当の懸念や問題だと言うのは時期尚早だ｡
それは､ 人々が分析し､ 研究しているリスクであり､ それが本当に問題なのかどうかはまだわからないが､
現時点では､ 調査されている懸念事項であることは確かだ｡
分かった｡
興味を持ってもらえただろうか？
これでベンチマークの限界の一端を知ることができる｡
そして､ これからさらに話を進めていく｡