WEBVTT 00:01.040 --> 00:05.300 というのも、 私たちはリーダーボードの話をたくさんしてきたし、 00:05.300 --> 00:12.020 おそらく皆さんはベンチマークやリーダーボードを見ることに疲れてきているからだ。 00:12.020 --> 00:13.010 全部ブックマークしたんだね。 00:13.010 --> 00:14.780 あなたは、 よし、 わかった、 と思っている。 00:14.780 --> 00:18.110 LMSの選択に関しては、 素晴らしいリソースがたくさんあります。 00:18.110 --> 00:21.590 あなたのリーダーボードに目を通してから、 そうするつもりだ。 00:21.590 --> 00:22.280 でも、 もういい。 00:22.280 --> 00:23.390 リーダーボードはもうたくさんだ。 00:23.390 --> 00:25.400 だが、 もうひとつある。 00:25.400 --> 00:26.480 本当に楽しいものだよ。 00:26.480 --> 00:27.770 きっと気に入るはずだ。 00:27.800 --> 00:32.390 だから、 この最終リーダーボードを私たちが見ても気にすることはないだろう。 00:32.390 --> 00:35.240 しかも、 実は普通のリーダーボードではない。 00:35.240 --> 00:38.810 それはアリーナであり、 LMSチャットボット・アリーナと呼ばれている。 00:38.810 --> 00:43.820 そして、 これはとても人気があり、 楽しく、 多くの人が話題にするので、 すでに目にしたことがあるかもしれない。 00:43.820 --> 00:49.610 だから、 もしもう知っているなら、 ちょっと待って、 我慢して。 00:49.610 --> 00:57.290 つまり、 LMSのチャットボットの分野は、 非常に人気があり、 モデルが人間によって評価され、 00:57.290 --> 01:02.030 チャットの能力が評価される場所だということです。 01:02.090 --> 01:05.830 いわば、 クラウドソーシングのオープンプラットフォームだ。 01:05.830 --> 01:20.440 彼らは100万人以上の人間の投票を集め、 llmsをランキングし、 その結果をチェスプレイヤーにはおなじみのEloレーティングと呼ばれるタイプで表示している。 01:20.440 --> 01:28.360 頭脳戦の結果に基づいて、 総合的なリーダーボードのようなものを評価する方法だ。 01:28.720 --> 01:32.410 その結果の一部をご覧いただきたい。 01:32.710 --> 01:45.640 そして、 GPT 4の変形であるChatGPT 4と呼ばれるGPT 4を最初に見てみましょう。 0が出たのはごく最近のことだ。 01:45.640 --> 01:56.170 このビデオを録画した時点では、 2024年8月初旬に発売され、 以前はGPT4はこのリストのもう少し下にあった。 01:56.170 --> 02:10.490 しかし、 この最新の訓練され、 微調整されたモデルによって、 ChatGPTの4人はElo 1でアリーナのトップに立った。 02:10.490 --> 02:10.490 316. 02:10.700 --> 02:11.270 ええと。 02:11.420 --> 02:16.400 ここで便利なのは、 知識の切り捨てが右側に引用されていることだ。 02:16.400 --> 02:20.210 だから、 1つの場所に行けば、 すべての知識の切り口を見ることができる。 02:20.240 --> 02:26.180 実際、 LMSチャットボットの分野をオープンにしていくのは良いことなので、 知っておいて損はない。 02:26.210 --> 02:30.860 それが第一の理由だとは思わないが、 役に立つ豆知識ではある。 02:31.490 --> 02:39.770 あの、 ジェミニ1号を見てください。 5 実際にプロは、 この人間による評価で本当によくやっている。 02:40.040 --> 02:50.600 グロック2はXの最新モデルで、 以前はツイッターとして知られていた。 02:50.630 --> 02:52.430 ええと、 グロック・ワンはあまりうまくいっていなかった。 02:52.460 --> 02:54.860 グロック2は本当によくやっている。 02:55.250 --> 03:01.220 ええと、 5月に行われたGPTのフォーゼロに勝っているんだ。 03:01.610 --> 03:05.410 うーん、 そうだね。 03:05.410 --> 03:17.720 ELOの差はあまりないのがわかると思うが、 この時点でリーダーのクロード3とはかなり大きな差がある。 03:17.720 --> 03:17.720 5 03:17.750 --> 03:27.650 ソネットは、 一時は、 私の記憶が正しければ、 発売当初はかなりの差をつけてトップランナーだったと思うのですが、 今では、 ええと、 同じくらい、 6番目くらいに下がってきています。 03:27.650 --> 03:38.450 ええと、 ええと、 トップのGPTチャット、 GPT4ゼロ、 それからジェミニ1が1316なのに対して、 この下は、 03:38.450 --> 03:44.930 ええと、 エロが1270なんだ。 5フラッシュは、 もちろんやや小型のモデルだ。 03:44.930 --> 03:52.610 そしてラマ3の登場だ。 1 1266で4050億円。 03:52.820 --> 03:57.140 このラインナップはとても興味深い。 03:57.140 --> 03:59.840 お気に入りのモデルを見つけるために、 何度でも通うことができる。 03:59.840 --> 04:02.570 クロードの3大オーパスはこの下にある。 04:02.780 --> 04:17.550 ええと、 ええと、 これは、 人間がさまざまな、 ええと、 指導調整された、 ええと、 チャットボットとのチャットの経験をどのように考えているかを知るには絶好の場所です。 04:17.580 --> 04:23.400 ええと、 さっき見ていたコマンドRが見えると思う。 04:23.400 --> 04:27.120 あ、 今、 ここのどこかでコマンドRを見たよ。 04:27.420 --> 04:30.810 それは自分で見つけるしかない。 04:31.050 --> 04:32.310 今、 私はそれを失った。 04:32.310 --> 04:32.940 あれだ。 04:32.940 --> 04:34.830 コマンドRプラスが見つけた。 04:34.950 --> 04:37.680 あ、 1213番だ。 04:37.680 --> 04:41.760 ええと、 1週目の最初にずっと見ていたもののひとつだ。 04:41.940 --> 04:53.910 このリンクをクリックすると、 投票画面が表示されます。 04:53.910 --> 04:55.290 その仕組みはこうだ。 04:55.290 --> 04:58.620 モデルAとモデルBの2つのモデルが提示される。 04:58.650 --> 05:02.160 どっちがどっちかわからず、 両方とおしゃべりしなければならない。 05:02.160 --> 05:05.910 そして、 私たちのお気に入りのちょっとしたおしゃべりをしよう。 05:05.940 --> 05:19.930 ええと、 データサイエンティストでいっぱいの部屋にふさわしい、 軽快なジョークを教えてください。 05:19.930 --> 05:26.920 だから、 この質問は両モデルに一緒に投げかけ、 彼らがどう答えるかを見ることになる。 05:26.950 --> 05:31.990 では、 モデルAはなぜデータサイエンティストはコンピューターと別れるのか? 05:31.990 --> 05:37.270 なぜなら、 ヌル値に対するコミットメントの問題が多すぎたからだ。 05:37.660 --> 05:43.480 まあ、 科学的ではあったが、 面白くはなかったと思う。 05:43.510 --> 05:44.860 もしかしたら面白いと思ったかもしれない。 05:45.280 --> 05:47.200 モデルB、 ジョークを言ってくれ。 05:47.200 --> 05:48.310 軽いジョークだ。 05:48.310 --> 05:49.990 科学者はなぜ図書館に行くのか? 05:49.990 --> 05:52.720 ボリュームがあると聞いていたからだ。 05:52.840 --> 05:54.670 ああ、 いい感じだろ? 05:54.670 --> 05:58.030 それは、 二重の意味を持つヴォリュームという言葉に対するさまざまな遊びだ。 05:58.030 --> 05:59.050 少し説明がある。 05:59.080 --> 05:59.770 冗談は簡単だ。 05:59.770 --> 06:05.410 技術的な専門知識とちょっとした言葉遊びを組み合わせた、 データサイエンティストに好まれるダジャレの一種だ。 06:05.440 --> 06:06.790 それは確かだと思う。 06:06.790 --> 06:07.900 それは確かだ。 06:08.140 --> 06:10.630 僕はBの方がいいと思う。 06:10.660 --> 06:12.310 私の意見に同意してくれることを願っている。 06:12.340 --> 06:17.560 もしそうでなければ、 アリーナに行って、 06:17.560 --> 06:25.730 同じような質問をして、 自分で投票してください。 06:25.730 --> 06:26.600 見てみよう。 06:26.900 --> 06:34.490 面白いことに、 クロードの3つの俳句を選び、 グロック2に対してそれを選んだんだ。 06:34.610 --> 06:39.740 ええと、 私の記憶が正しければ、 グロック2はクロード3の俳句よりかなり高かった。 06:39.740 --> 06:45.050 だから、 私たちの投票によって、 そのバランスがわずかに変化したのだ。 06:45.050 --> 06:47.030 だから、 楽しんでもらえたと思う。 06:47.060 --> 06:53.690 もちろん、 それはやや非科学的なものだが、 考え方としては、 あなたの相互作用に基づいた人間的な判断ということだ。 06:53.900 --> 06:57.260 そして今、 あなたに求められているのは、 行ってこれを実行することだ。 06:57.290 --> 06:59.270 地域社会に恩返しをする重要な方法だ。 06:59.300 --> 07:00.980 使用されるのはデータだ。 07:01.010 --> 07:03.020 それに、 とても楽しいよ。 07:03.050 --> 07:09.620 そして、 データサイエンス・コミュニティに貢献しながら、 さまざまなモデルの能力と範囲を感じ、 07:09.620 --> 07:14.630 実際に体験することができます。 07:14.630 --> 07:21.710 それでは、 チャットボット・アリーナでの時間をお楽しみください。