WEBVTT 00:00.650 --> 00:06.650 ベンチマークの調査を続けているが、 これは実際に動きを見ることでより現実味を帯びてくるだろう。 00:06.650 --> 00:11.480 しかし、 これは非常に重要で有益な背景情報である。 00:11.480 --> 00:19.130 今回は、 より専門的なスキルをテストするために使われる3つのベンチマークを紹介する。 00:19.310 --> 00:31.430 そして、 その最初のものは、 モデル間のチャットを評価するために使用される。 00:31.430 --> 00:34.730 そしてベンチマークはEloレーティングである。 00:34.850 --> 00:43.280 もしあなたがチェスのプレイヤーなら、 あるいはチェスのEloレーティングに詳しいなら、 00:43.280 --> 01:08.140 Eloとはスポーツや、 勝者1人に対して敗者が1人というゼロサムゲームのようなゲームにおいて、 競争相手に与えることができるレーティングのことだ。 01:08.140 --> 01:16.000 だから、 後でアリーナからその例を見ることになるし、 それが命を吹き込むことになる。 01:16.090 --> 01:26.770 でも、 特にこれからお見せするようなものは、 これらのモデルのチャット能力やインストラクターの能力を評価するために使われるんだ。 01:27.400 --> 01:30.130 そして次の2つはコーディングについてだ。 01:30.220 --> 01:34.480 Human evalはPythonのコーディングテストとして非常によく知られている。 01:34.480 --> 01:37.180 164の問題だ。 01:37.180 --> 01:41.050 ええと、 Pythonのdoc文字列に基づいて実際にコードを書くことです。 01:41.110 --> 01:49.720 そして、 モデルがますます効果的になってきている。 01:50.590 --> 01:57.280 ええと、 "マルチプル "というのは、 同じものを18のプログラミング言語に翻訳したものだと思います。 01:57.280 --> 02:03.700 つまり、 さまざまな分野にまたがる、 より幅広いプログラミング・スキルということだ。 02:04.870 --> 02:16.940 これは非常に重要なポイントであり、 いくら強調してもしすぎることはない。 02:17.030 --> 02:26.300 ベンチマークは、 もちろん、 異なるモデルが輝きを放つ場所とそうでない場所を比較するのに役立つ。 02:26.300 --> 02:30.350 しかし、 ベンチマークには問題がある。 02:30.560 --> 02:33.710 そのひとつは、 一貫して適用されていないことだ。 02:33.710 --> 02:38.690 だから、 ベンチマークをどこで見るかによって、 特に企業のプレスリリースのようなものであれば、 02:38.690 --> 02:46.310 どのようにベンチマークを測定したか、 どのようなハードウェアを使ったか、 そういったことはその企業次第なんだ。 02:46.520 --> 02:52.190 このような測定値をレールに乗せるようなゴールドスタンダードがあるわけではないんだ。 02:52.190 --> 02:55.400 だから、 何事も大目に見なければならない。 02:55.400 --> 03:01.820 第三者によって出版されたものであれば、 特に多肢選択式の問題や非常に似たような点を考えると、 03:01.820 --> 03:05.930 範囲が狭すぎる可能性がある。 03:05.960 --> 03:18.720 多肢選択式や非常に特殊な答えを扱っている場合、 この種のベンチマークを使ってニュアンスのある推論を測定するのは難しい。 03:18.900 --> 03:25.290 もう一つの問題は、 トレーニングデータの漏れです。 03:25.290 --> 03:39.480 モデルのトレーニングに使われるデータの中に、 これらの答えがないことを確認するのは非常に難しい。 03:39.480 --> 03:44.490 トレーニングデータの漏洩をコントロールするのは、 ますます難しくなる。 03:44.970 --> 03:51.480 次に、 伝統的なデータ・サイエンスの用語でよく使われるオーバーフィッティングです。 03:51.480 --> 03:54.360 問題は、 これがちょっと微妙だということだ。 03:54.360 --> 04:01.050 ハイパーパラメーターやモデル周りの設定をいろいろと調整し、 04:01.050 --> 04:05.850 すべてのハイパーパラメーターを調整し終えるまで再実行し続けた結果、 04:05.850 --> 04:14.910 特定のベンチマークを打ち負かすことができたのです。 04:14.930 --> 04:17.720 それは偶然の一致かもしれない。 04:17.720 --> 04:22.610 まるで、 あなたがこれらの異なるノブをすべて持っていて、 それを特別に回して、 04:22.610 --> 04:27.980 これらのベンチマークを本当に、 本当にうまく解決できるようにしたようなものだ。 04:27.980 --> 04:29.480 それの何が問題なんだ? 04:29.480 --> 04:33.470 問題は、 この特定のベンチマークテストを解いただけだということだ。 04:33.470 --> 04:39.350 そして、 同じテストの核心に迫ろうとしている別の問題を出題した場合、 質問の仕方が違うだけで、 04:39.350 --> 04:44.720 違う数学の問題だったりすると、 モデルは大失敗するかもしれません。 モデルを過剰にフィットさせ、 04:44.720 --> 04:54.530 訓練し、 様々なダイヤルを設定し、 これらの非常に特定のベンチマーク問題では本当に本当にうまくいくようにし、 これらのベンチマーク問題から外れると、 04:54.530 --> 05:05.300 同じようなことをテストするように設計された他の問題ではうまくいかないようにしたのです。 05:05.300 --> 05:08.990 言い換えれば、 ベンチマークの結果は誤解を招きかねない。 05:09.020 --> 05:13.670 Pythonのコーディングが得意だとか、 数学の問題が得意だとか、 05:13.670 --> 05:19.420 そういう風に見せることができる。 05:19.420 --> 05:21.250 これがオーバーフィッティングの問題だ。 05:21.250 --> 05:31.690 そのことを意識し、 健全な懐疑心を持ってベンチマークを見直すことが非常に重要です。 05:32.080 --> 05:38.800 最近、 新たな興味深い指摘がなされているが、 それはまだ証明されていない。 05:38.800 --> 05:40.480 まだよく理解されていない。 05:40.480 --> 05:57.880 まだ推測の域を出ないが、 最新のフロンティアモデル、 GPT4クロード3が本当に強いという証拠がいくつかある。 05:57.880 --> 05:57.880 5 05:57.880 --> 06:05.260 ソネット・レベルのモデルは、 自分が評価されていること、 さまざまなベンチマーク・スタイルの質問をされ、 その答えのいくつかが、 専門家に対して、 06:05.260 --> 06:12.880 文脈を理解していること、 自分が評価されているからこのような質問をされていることを示唆していることを、 何らかの形で認識している。 06:13.210 --> 06:17.800 そうすると、 彼らの答えが歪んでしまうかもしれない。 06:17.830 --> 06:22.600 数学が得意かどうかなどというテストがなぜ重要なのかと思うかもしれない。 06:22.630 --> 06:25.210 評価されていることを知っているかどうかは問題ではない。 06:25.210 --> 06:27.130 そうすることで、 彼らは自分が評価されていることを知ることができる。 06:27.130 --> 06:31.000 それでも、 数学の問題でうまくいくかどうかは役に立つ。 06:31.060 --> 06:33.430 さて、 ここで重要な例を挙げよう。 06:33.430 --> 06:44.050 仮に、 安全性やアライメント、 そして敵対的な状況下での誠実な対応について質問したとしよう。 06:44.050 --> 06:50.230 それが評価しようとするものであれば、 モデルが評価されていることを認識すれば、 06:50.230 --> 06:54.220 その質問に答えるアプローチが変わるかもしれない。 06:54.220 --> 07:02.410 また、 例えば、 あるモデルが非常に真実味がある、 あるいは整合性が取れているという印象を与えるかもしれないが、 実際にはそうではない。 07:02.410 --> 07:07.510 だから、 これが本当の懸念や問題だと言うのは時期尚早だ。 07:07.510 --> 07:14.320 それは、 人々が分析し、 研究しているリスクであり、 それが本当に問題なのかどうかはまだわからないが、 07:14.320 --> 07:19.090 現時点では、 調査されている懸念事項であることは確かだ。 07:19.360 --> 07:19.900 分かった。 07:19.930 --> 07:21.340 興味を持ってもらえただろうか? 07:21.340 --> 07:24.070 これでベンチマークの限界の一端を知ることができる。 07:24.070 --> 07:26.350 そして、 これからさらに話を進めていく。