You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

283 lines
9.8 KiB

WEBVTT
00:01.040 --> 00:05.300
というのも、 私たちはリーダーボードの話をたくさんしてきたし、
00:05.300 --> 00:12.020
おそらく皆さんはベンチマークやリーダーボードを見ることに疲れてきているからだ。
00:12.020 --> 00:13.010
全部ブックマークしたんだね。
00:13.010 --> 00:14.780
あなたは、 よし、 わかった、 と思っている。
00:14.780 --> 00:18.110
LMSの選択に関しては、 素晴らしいリソースがたくさんあります。
00:18.110 --> 00:21.590
あなたのリーダーボードに目を通してから、 そうするつもりだ。
00:21.590 --> 00:22.280
でも、 もういい。
00:22.280 --> 00:23.390
リーダーボードはもうたくさんだ。
00:23.390 --> 00:25.400
だが、 もうひとつある。
00:25.400 --> 00:26.480
本当に楽しいものだよ。
00:26.480 --> 00:27.770
きっと気に入るはずだ。
00:27.800 --> 00:32.390
だから、 この最終リーダーボードを私たちが見ても気にすることはないだろう。
00:32.390 --> 00:35.240
しかも、 実は普通のリーダーボードではない。
00:35.240 --> 00:38.810
それはアリーナであり、 LMSチャットボット・アリーナと呼ばれている。
00:38.810 --> 00:43.820
そして、 これはとても人気があり、 楽しく、 多くの人が話題にするので、 すでに目にしたことがあるかもしれない。
00:43.820 --> 00:49.610
だから、 もしもう知っているなら、 ちょっと待って、 我慢して。
00:49.610 --> 00:57.290
つまり、 LMSのチャットボットの分野は、 非常に人気があり、 モデルが人間によって評価され、
00:57.290 --> 01:02.030
チャットの能力が評価される場所だということです。
01:02.090 --> 01:05.830
いわば、 クラウドソーシングのオープンプラットフォームだ。
01:05.830 --> 01:20.440
彼らは100万人以上の人間の投票を集め、 llmsをランキングし、 その結果をチェスプレイヤーにはおなじみのEloレーティングと呼ばれるタイプで表示している。
01:20.440 --> 01:28.360
頭脳戦の結果に基づいて、 総合的なリーダーボードのようなものを評価する方法だ。
01:28.720 --> 01:32.410
その結果の一部をご覧いただきたい。
01:32.710 --> 01:45.640
そして、 GPT 4の変形であるChatGPT 4と呼ばれるGPT 4を最初に見てみましょう。 0が出たのはごく最近のことだ。
01:45.640 --> 01:56.170
このビデオを録画した時点では、 2024年8月初旬に発売され、 以前はGPT4はこのリストのもう少し下にあった。
01:56.170 --> 02:10.490
しかし、 この最新の訓練され、 微調整されたモデルによって、 ChatGPTの4人はElo 1でアリーナのトップに立った。
02:10.490 --> 02:10.490
316.
02:10.700 --> 02:11.270
ええと。
02:11.420 --> 02:16.400
ここで便利なのは、 知識の切り捨てが右側に引用されていることだ。
02:16.400 --> 02:20.210
だから、 1つの場所に行けば、 すべての知識の切り口を見ることができる。
02:20.240 --> 02:26.180
実際、 LMSチャットボットの分野をオープンにしていくのは良いことなので、 知っておいて損はない。
02:26.210 --> 02:30.860
それが第一の理由だとは思わないが、 役に立つ豆知識ではある。
02:31.490 --> 02:39.770
あの、 ジェミニ1号を見てください。 5 実際にプロは、 この人間による評価で本当によくやっている。
02:40.040 --> 02:50.600
グロック2はXの最新モデルで、 以前はツイッターとして知られていた。
02:50.630 --> 02:52.430
ええと、 グロック・ワンはあまりうまくいっていなかった。
02:52.460 --> 02:54.860
グロック2は本当によくやっている。
02:55.250 --> 03:01.220
ええと、 5月に行われたGPTのフォーゼロに勝っているんだ。
03:01.610 --> 03:05.410
うーん、 そうだね。
03:05.410 --> 03:17.720
ELOの差はあまりないのがわかると思うが、 この時点でリーダーのクロード3とはかなり大きな差がある。
03:17.720 --> 03:17.720
5
03:17.750 --> 03:27.650
ソネットは、 一時は、 私の記憶が正しければ、 発売当初はかなりの差をつけてトップランナーだったと思うのですが、 今では、 ええと、 同じくらい、 6番目くらいに下がってきています。
03:27.650 --> 03:38.450
ええと、 ええと、 トップのGPTチャット、 GPT4ゼロ、 それからジェミニ1が1316なのに対して、 この下は、
03:38.450 --> 03:44.930
ええと、 エロが1270なんだ。 5フラッシュは、 もちろんやや小型のモデルだ。
03:44.930 --> 03:52.610
そしてラマ3の登場だ。 1 1266で4050億円。
03:52.820 --> 03:57.140
このラインナップはとても興味深い。
03:57.140 --> 03:59.840
お気に入りのモデルを見つけるために、 何度でも通うことができる。
03:59.840 --> 04:02.570
クロードの3大オーパスはこの下にある。
04:02.780 --> 04:17.550
ええと、 ええと、 これは、 人間がさまざまな、 ええと、 指導調整された、 ええと、 チャットボットとのチャットの経験をどのように考えているかを知るには絶好の場所です。
04:17.580 --> 04:23.400
ええと、 さっき見ていたコマンドRが見えると思う。
04:23.400 --> 04:27.120
あ、 今、 ここのどこかでコマンドRを見たよ。
04:27.420 --> 04:30.810
それは自分で見つけるしかない。
04:31.050 --> 04:32.310
今、 私はそれを失った。
04:32.310 --> 04:32.940
あれだ。
04:32.940 --> 04:34.830
コマンドRプラスが見つけた。
04:34.950 --> 04:37.680
あ、 1213番だ。
04:37.680 --> 04:41.760
ええと、 1週目の最初にずっと見ていたもののひとつだ。
04:41.940 --> 04:53.910
このリンクをクリックすると、 投票画面が表示されます。
04:53.910 --> 04:55.290
その仕組みはこうだ。
04:55.290 --> 04:58.620
モデルAとモデルBの2つのモデルが提示される。
04:58.650 --> 05:02.160
どっちがどっちかわからず、 両方とおしゃべりしなければならない。
05:02.160 --> 05:05.910
そして、 私たちのお気に入りのちょっとしたおしゃべりをしよう。
05:05.940 --> 05:19.930
ええと、 データサイエンティストでいっぱいの部屋にふさわしい、 軽快なジョークを教えてください。
05:19.930 --> 05:26.920
だから、 この質問は両モデルに一緒に投げかけ、 彼らがどう答えるかを見ることになる。
05:26.950 --> 05:31.990
では、 モデルAはなぜデータサイエンティストはコンピューターと別れるのか?
05:31.990 --> 05:37.270
なぜなら、 ヌル値に対するコミットメントの問題が多すぎたからだ。
05:37.660 --> 05:43.480
まあ、 科学的ではあったが、 面白くはなかったと思う。
05:43.510 --> 05:44.860
もしかしたら面白いと思ったかもしれない。
05:45.280 --> 05:47.200
モデルB、 ジョークを言ってくれ。
05:47.200 --> 05:48.310
軽いジョークだ。
05:48.310 --> 05:49.990
科学者はなぜ図書館に行くのか?
05:49.990 --> 05:52.720
ボリュームがあると聞いていたからだ。
05:52.840 --> 05:54.670
ああ、 いい感じだろ?
05:54.670 --> 05:58.030
それは、 二重の意味を持つヴォリュームという言葉に対するさまざまな遊びだ。
05:58.030 --> 05:59.050
少し説明がある。
05:59.080 --> 05:59.770
冗談は簡単だ。
05:59.770 --> 06:05.410
技術的な専門知識とちょっとした言葉遊びを組み合わせた、 データサイエンティストに好まれるダジャレの一種だ。
06:05.440 --> 06:06.790
それは確かだと思う。
06:06.790 --> 06:07.900
それは確かだ。
06:08.140 --> 06:10.630
僕はBの方がいいと思う。
06:10.660 --> 06:12.310
私の意見に同意してくれることを願っている。
06:12.340 --> 06:17.560
もしそうでなければ、 アリーナに行って、
06:17.560 --> 06:25.730
同じような質問をして、 自分で投票してください。
06:25.730 --> 06:26.600
見てみよう。
06:26.900 --> 06:34.490
面白いことに、 クロードの3つの俳句を選び、 グロック2に対してそれを選んだんだ。
06:34.610 --> 06:39.740
ええと、 私の記憶が正しければ、 グロック2はクロード3の俳句よりかなり高かった。
06:39.740 --> 06:45.050
だから、 私たちの投票によって、 そのバランスがわずかに変化したのだ。
06:45.050 --> 06:47.030
だから、 楽しんでもらえたと思う。
06:47.060 --> 06:53.690
もちろん、 それはやや非科学的なものだが、 考え方としては、 あなたの相互作用に基づいた人間的な判断ということだ。
06:53.900 --> 06:57.260
そして今、 あなたに求められているのは、 行ってこれを実行することだ。
06:57.290 --> 06:59.270
地域社会に恩返しをする重要な方法だ。
06:59.300 --> 07:00.980
使用されるのはデータだ。
07:01.010 --> 07:03.020
それに、 とても楽しいよ。
07:03.050 --> 07:09.620
そして、 データサイエンス・コミュニティに貢献しながら、 さまざまなモデルの能力と範囲を感じ、
07:09.620 --> 07:14.630
実際に体験することができます。
07:14.630 --> 07:21.710
それでは、 チャットボット・アリーナでの時間をお楽しみください。