You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

217 lines
9.0 KiB

WEBVTT
00:00.650 --> 00:06.650
ベンチマークの調査を続けているが、 これは実際に動きを見ることでより現実味を帯びてくるだろう。
00:06.650 --> 00:11.480
しかし、 これは非常に重要で有益な背景情報である。
00:11.480 --> 00:19.130
今回は、 より専門的なスキルをテストするために使われる3つのベンチマークを紹介する。
00:19.310 --> 00:31.430
そして、 その最初のものは、 モデル間のチャットを評価するために使用される。
00:31.430 --> 00:34.730
そしてベンチマークはEloレーティングである。
00:34.850 --> 00:43.280
もしあなたがチェスのプレイヤーなら、 あるいはチェスのEloレーティングに詳しいなら、
00:43.280 --> 01:08.140
Eloとはスポーツや、 勝者1人に対して敗者が1人というゼロサムゲームのようなゲームにおいて、 競争相手に与えることができるレーティングのことだ。
01:08.140 --> 01:16.000
だから、 後でアリーナからその例を見ることになるし、 それが命を吹き込むことになる。
01:16.090 --> 01:26.770
でも、 特にこれからお見せするようなものは、 これらのモデルのチャット能力やインストラクターの能力を評価するために使われるんだ。
01:27.400 --> 01:30.130
そして次の2つはコーディングについてだ。
01:30.220 --> 01:34.480
Human evalはPythonのコーディングテストとして非常によく知られている。
01:34.480 --> 01:37.180
164の問題だ。
01:37.180 --> 01:41.050
ええと、 Pythonのdoc文字列に基づいて実際にコードを書くことです。
01:41.110 --> 01:49.720
そして、 モデルがますます効果的になってきている。
01:50.590 --> 01:57.280
ええと、 "マルチプル "というのは、 同じものを18のプログラミング言語に翻訳したものだと思います。
01:57.280 --> 02:03.700
つまり、 さまざまな分野にまたがる、 より幅広いプログラミング・スキルということだ。
02:04.870 --> 02:16.940
これは非常に重要なポイントであり、 いくら強調してもしすぎることはない。
02:17.030 --> 02:26.300
ベンチマークは、 もちろん、 異なるモデルが輝きを放つ場所とそうでない場所を比較するのに役立つ。
02:26.300 --> 02:30.350
しかし、 ベンチマークには問題がある。
02:30.560 --> 02:33.710
そのひとつは、 一貫して適用されていないことだ。
02:33.710 --> 02:38.690
だから、 ベンチマークをどこで見るかによって、 特に企業のプレスリリースのようなものであれば、
02:38.690 --> 02:46.310
どのようにベンチマークを測定したか、 どのようなハードウェアを使ったか、 そういったことはその企業次第なんだ。
02:46.520 --> 02:52.190
このような測定値をレールに乗せるようなゴールドスタンダードがあるわけではないんだ。
02:52.190 --> 02:55.400
だから、 何事も大目に見なければならない。
02:55.400 --> 03:01.820
第三者によって出版されたものであれば、 特に多肢選択式の問題や非常に似たような点を考えると、
03:01.820 --> 03:05.930
範囲が狭すぎる可能性がある。
03:05.960 --> 03:18.720
多肢選択式や非常に特殊な答えを扱っている場合、 この種のベンチマークを使ってニュアンスのある推論を測定するのは難しい。
03:18.900 --> 03:25.290
もう一つの問題は、 トレーニングデータの漏れです。
03:25.290 --> 03:39.480
モデルのトレーニングに使われるデータの中に、 これらの答えがないことを確認するのは非常に難しい。
03:39.480 --> 03:44.490
トレーニングデータの漏洩をコントロールするのは、 ますます難しくなる。
03:44.970 --> 03:51.480
次に、 伝統的なデータ・サイエンスの用語でよく使われるオーバーフィッティングです。
03:51.480 --> 03:54.360
問題は、 これがちょっと微妙だということだ。
03:54.360 --> 04:01.050
ハイパーパラメーターやモデル周りの設定をいろいろと調整し、
04:01.050 --> 04:05.850
すべてのハイパーパラメーターを調整し終えるまで再実行し続けた結果、
04:05.850 --> 04:14.910
特定のベンチマークを打ち負かすことができたのです。
04:14.930 --> 04:17.720
それは偶然の一致かもしれない。
04:17.720 --> 04:22.610
まるで、 あなたがこれらの異なるノブをすべて持っていて、 それを特別に回して、
04:22.610 --> 04:27.980
これらのベンチマークを本当に、 本当にうまく解決できるようにしたようなものだ。
04:27.980 --> 04:29.480
それの何が問題なんだ?
04:29.480 --> 04:33.470
問題は、 この特定のベンチマークテストを解いただけだということだ。
04:33.470 --> 04:39.350
そして、 同じテストの核心に迫ろうとしている別の問題を出題した場合、 質問の仕方が違うだけで、
04:39.350 --> 04:44.720
違う数学の問題だったりすると、 モデルは大失敗するかもしれません。 モデルを過剰にフィットさせ、
04:44.720 --> 04:54.530
訓練し、 様々なダイヤルを設定し、 これらの非常に特定のベンチマーク問題では本当に本当にうまくいくようにし、 これらのベンチマーク問題から外れると、
04:54.530 --> 05:05.300
同じようなことをテストするように設計された他の問題ではうまくいかないようにしたのです。
05:05.300 --> 05:08.990
言い換えれば、 ベンチマークの結果は誤解を招きかねない。
05:09.020 --> 05:13.670
Pythonのコーディングが得意だとか、 数学の問題が得意だとか、
05:13.670 --> 05:19.420
そういう風に見せることができる。
05:19.420 --> 05:21.250
これがオーバーフィッティングの問題だ。
05:21.250 --> 05:31.690
そのことを意識し、 健全な懐疑心を持ってベンチマークを見直すことが非常に重要です。
05:32.080 --> 05:38.800
最近、 新たな興味深い指摘がなされているが、 それはまだ証明されていない。
05:38.800 --> 05:40.480
まだよく理解されていない。
05:40.480 --> 05:57.880
まだ推測の域を出ないが、 最新のフロンティアモデル、 GPT4クロード3が本当に強いという証拠がいくつかある。
05:57.880 --> 05:57.880
5
05:57.880 --> 06:05.260
ソネット・レベルのモデルは、 自分が評価されていること、 さまざまなベンチマーク・スタイルの質問をされ、 その答えのいくつかが、 専門家に対して、
06:05.260 --> 06:12.880
文脈を理解していること、 自分が評価されているからこのような質問をされていることを示唆していることを、 何らかの形で認識している。
06:13.210 --> 06:17.800
そうすると、 彼らの答えが歪んでしまうかもしれない。
06:17.830 --> 06:22.600
数学が得意かどうかなどというテストがなぜ重要なのかと思うかもしれない。
06:22.630 --> 06:25.210
評価されていることを知っているかどうかは問題ではない。
06:25.210 --> 06:27.130
そうすることで、 彼らは自分が評価されていることを知ることができる。
06:27.130 --> 06:31.000
それでも、 数学の問題でうまくいくかどうかは役に立つ。
06:31.060 --> 06:33.430
さて、 ここで重要な例を挙げよう。
06:33.430 --> 06:44.050
仮に、 安全性やアライメント、 そして敵対的な状況下での誠実な対応について質問したとしよう。
06:44.050 --> 06:50.230
それが評価しようとするものであれば、 モデルが評価されていることを認識すれば、
06:50.230 --> 06:54.220
その質問に答えるアプローチが変わるかもしれない。
06:54.220 --> 07:02.410
また、 例えば、 あるモデルが非常に真実味がある、 あるいは整合性が取れているという印象を与えるかもしれないが、 実際にはそうではない。
07:02.410 --> 07:07.510
だから、 これが本当の懸念や問題だと言うのは時期尚早だ。
07:07.510 --> 07:14.320
それは、 人々が分析し、 研究しているリスクであり、 それが本当に問題なのかどうかはまだわからないが、
07:14.320 --> 07:19.090
現時点では、 調査されている懸念事項であることは確かだ。
07:19.360 --> 07:19.900
分かった。
07:19.930 --> 07:21.340
興味を持ってもらえただろうか?
07:21.340 --> 07:24.070
これでベンチマークの限界の一端を知ることができる。
07:24.070 --> 07:26.350
そして、 これからさらに話を進めていく。