From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
283 lines
9.8 KiB
283 lines
9.8 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:05.300 |
|
というのも、 私たちはリーダーボードの話をたくさんしてきたし、 |
|
|
|
00:05.300 --> 00:12.020 |
|
おそらく皆さんはベンチマークやリーダーボードを見ることに疲れてきているからだ。 |
|
|
|
00:12.020 --> 00:13.010 |
|
全部ブックマークしたんだね。 |
|
|
|
00:13.010 --> 00:14.780 |
|
あなたは、 よし、 わかった、 と思っている。 |
|
|
|
00:14.780 --> 00:18.110 |
|
LMSの選択に関しては、 素晴らしいリソースがたくさんあります。 |
|
|
|
00:18.110 --> 00:21.590 |
|
あなたのリーダーボードに目を通してから、 そうするつもりだ。 |
|
|
|
00:21.590 --> 00:22.280 |
|
でも、 もういい。 |
|
|
|
00:22.280 --> 00:23.390 |
|
リーダーボードはもうたくさんだ。 |
|
|
|
00:23.390 --> 00:25.400 |
|
だが、 もうひとつある。 |
|
|
|
00:25.400 --> 00:26.480 |
|
本当に楽しいものだよ。 |
|
|
|
00:26.480 --> 00:27.770 |
|
きっと気に入るはずだ。 |
|
|
|
00:27.800 --> 00:32.390 |
|
だから、 この最終リーダーボードを私たちが見ても気にすることはないだろう。 |
|
|
|
00:32.390 --> 00:35.240 |
|
しかも、 実は普通のリーダーボードではない。 |
|
|
|
00:35.240 --> 00:38.810 |
|
それはアリーナであり、 LMSチャットボット・アリーナと呼ばれている。 |
|
|
|
00:38.810 --> 00:43.820 |
|
そして、 これはとても人気があり、 楽しく、 多くの人が話題にするので、 すでに目にしたことがあるかもしれない。 |
|
|
|
00:43.820 --> 00:49.610 |
|
だから、 もしもう知っているなら、 ちょっと待って、 我慢して。 |
|
|
|
00:49.610 --> 00:57.290 |
|
つまり、 LMSのチャットボットの分野は、 非常に人気があり、 モデルが人間によって評価され、 |
|
|
|
00:57.290 --> 01:02.030 |
|
チャットの能力が評価される場所だということです。 |
|
|
|
01:02.090 --> 01:05.830 |
|
いわば、 クラウドソーシングのオープンプラットフォームだ。 |
|
|
|
01:05.830 --> 01:20.440 |
|
彼らは100万人以上の人間の投票を集め、 llmsをランキングし、 その結果をチェスプレイヤーにはおなじみのEloレーティングと呼ばれるタイプで表示している。 |
|
|
|
01:20.440 --> 01:28.360 |
|
頭脳戦の結果に基づいて、 総合的なリーダーボードのようなものを評価する方法だ。 |
|
|
|
01:28.720 --> 01:32.410 |
|
その結果の一部をご覧いただきたい。 |
|
|
|
01:32.710 --> 01:45.640 |
|
そして、 GPT 4の変形であるChatGPT 4と呼ばれるGPT 4を最初に見てみましょう。 0が出たのはごく最近のことだ。 |
|
|
|
01:45.640 --> 01:56.170 |
|
このビデオを録画した時点では、 2024年8月初旬に発売され、 以前はGPT4はこのリストのもう少し下にあった。 |
|
|
|
01:56.170 --> 02:10.490 |
|
しかし、 この最新の訓練され、 微調整されたモデルによって、 ChatGPTの4人はElo 1でアリーナのトップに立った。 |
|
|
|
02:10.490 --> 02:10.490 |
|
316. |
|
|
|
02:10.700 --> 02:11.270 |
|
ええと。 |
|
|
|
02:11.420 --> 02:16.400 |
|
ここで便利なのは、 知識の切り捨てが右側に引用されていることだ。 |
|
|
|
02:16.400 --> 02:20.210 |
|
だから、 1つの場所に行けば、 すべての知識の切り口を見ることができる。 |
|
|
|
02:20.240 --> 02:26.180 |
|
実際、 LMSチャットボットの分野をオープンにしていくのは良いことなので、 知っておいて損はない。 |
|
|
|
02:26.210 --> 02:30.860 |
|
それが第一の理由だとは思わないが、 役に立つ豆知識ではある。 |
|
|
|
02:31.490 --> 02:39.770 |
|
あの、 ジェミニ1号を見てください。 5 実際にプロは、 この人間による評価で本当によくやっている。 |
|
|
|
02:40.040 --> 02:50.600 |
|
グロック2はXの最新モデルで、 以前はツイッターとして知られていた。 |
|
|
|
02:50.630 --> 02:52.430 |
|
ええと、 グロック・ワンはあまりうまくいっていなかった。 |
|
|
|
02:52.460 --> 02:54.860 |
|
グロック2は本当によくやっている。 |
|
|
|
02:55.250 --> 03:01.220 |
|
ええと、 5月に行われたGPTのフォーゼロに勝っているんだ。 |
|
|
|
03:01.610 --> 03:05.410 |
|
うーん、 そうだね。 |
|
|
|
03:05.410 --> 03:17.720 |
|
ELOの差はあまりないのがわかると思うが、 この時点でリーダーのクロード3とはかなり大きな差がある。 |
|
|
|
03:17.720 --> 03:17.720 |
|
5 |
|
|
|
03:17.750 --> 03:27.650 |
|
ソネットは、 一時は、 私の記憶が正しければ、 発売当初はかなりの差をつけてトップランナーだったと思うのですが、 今では、 ええと、 同じくらい、 6番目くらいに下がってきています。 |
|
|
|
03:27.650 --> 03:38.450 |
|
ええと、 ええと、 トップのGPTチャット、 GPT4ゼロ、 それからジェミニ1が1316なのに対して、 この下は、 |
|
|
|
03:38.450 --> 03:44.930 |
|
ええと、 エロが1270なんだ。 5フラッシュは、 もちろんやや小型のモデルだ。 |
|
|
|
03:44.930 --> 03:52.610 |
|
そしてラマ3の登場だ。 1 1266で4050億円。 |
|
|
|
03:52.820 --> 03:57.140 |
|
このラインナップはとても興味深い。 |
|
|
|
03:57.140 --> 03:59.840 |
|
お気に入りのモデルを見つけるために、 何度でも通うことができる。 |
|
|
|
03:59.840 --> 04:02.570 |
|
クロードの3大オーパスはこの下にある。 |
|
|
|
04:02.780 --> 04:17.550 |
|
ええと、 ええと、 これは、 人間がさまざまな、 ええと、 指導調整された、 ええと、 チャットボットとのチャットの経験をどのように考えているかを知るには絶好の場所です。 |
|
|
|
04:17.580 --> 04:23.400 |
|
ええと、 さっき見ていたコマンドRが見えると思う。 |
|
|
|
04:23.400 --> 04:27.120 |
|
あ、 今、 ここのどこかでコマンドRを見たよ。 |
|
|
|
04:27.420 --> 04:30.810 |
|
それは自分で見つけるしかない。 |
|
|
|
04:31.050 --> 04:32.310 |
|
今、 私はそれを失った。 |
|
|
|
04:32.310 --> 04:32.940 |
|
あれだ。 |
|
|
|
04:32.940 --> 04:34.830 |
|
コマンドRプラスが見つけた。 |
|
|
|
04:34.950 --> 04:37.680 |
|
あ、 1213番だ。 |
|
|
|
04:37.680 --> 04:41.760 |
|
ええと、 1週目の最初にずっと見ていたもののひとつだ。 |
|
|
|
04:41.940 --> 04:53.910 |
|
このリンクをクリックすると、 投票画面が表示されます。 |
|
|
|
04:53.910 --> 04:55.290 |
|
その仕組みはこうだ。 |
|
|
|
04:55.290 --> 04:58.620 |
|
モデルAとモデルBの2つのモデルが提示される。 |
|
|
|
04:58.650 --> 05:02.160 |
|
どっちがどっちかわからず、 両方とおしゃべりしなければならない。 |
|
|
|
05:02.160 --> 05:05.910 |
|
そして、 私たちのお気に入りのちょっとしたおしゃべりをしよう。 |
|
|
|
05:05.940 --> 05:19.930 |
|
ええと、 データサイエンティストでいっぱいの部屋にふさわしい、 軽快なジョークを教えてください。 |
|
|
|
05:19.930 --> 05:26.920 |
|
だから、 この質問は両モデルに一緒に投げかけ、 彼らがどう答えるかを見ることになる。 |
|
|
|
05:26.950 --> 05:31.990 |
|
では、 モデルAはなぜデータサイエンティストはコンピューターと別れるのか? |
|
|
|
05:31.990 --> 05:37.270 |
|
なぜなら、 ヌル値に対するコミットメントの問題が多すぎたからだ。 |
|
|
|
05:37.660 --> 05:43.480 |
|
まあ、 科学的ではあったが、 面白くはなかったと思う。 |
|
|
|
05:43.510 --> 05:44.860 |
|
もしかしたら面白いと思ったかもしれない。 |
|
|
|
05:45.280 --> 05:47.200 |
|
モデルB、 ジョークを言ってくれ。 |
|
|
|
05:47.200 --> 05:48.310 |
|
軽いジョークだ。 |
|
|
|
05:48.310 --> 05:49.990 |
|
科学者はなぜ図書館に行くのか? |
|
|
|
05:49.990 --> 05:52.720 |
|
ボリュームがあると聞いていたからだ。 |
|
|
|
05:52.840 --> 05:54.670 |
|
ああ、 いい感じだろ? |
|
|
|
05:54.670 --> 05:58.030 |
|
それは、 二重の意味を持つヴォリュームという言葉に対するさまざまな遊びだ。 |
|
|
|
05:58.030 --> 05:59.050 |
|
少し説明がある。 |
|
|
|
05:59.080 --> 05:59.770 |
|
冗談は簡単だ。 |
|
|
|
05:59.770 --> 06:05.410 |
|
技術的な専門知識とちょっとした言葉遊びを組み合わせた、 データサイエンティストに好まれるダジャレの一種だ。 |
|
|
|
06:05.440 --> 06:06.790 |
|
それは確かだと思う。 |
|
|
|
06:06.790 --> 06:07.900 |
|
それは確かだ。 |
|
|
|
06:08.140 --> 06:10.630 |
|
僕はBの方がいいと思う。 |
|
|
|
06:10.660 --> 06:12.310 |
|
私の意見に同意してくれることを願っている。 |
|
|
|
06:12.340 --> 06:17.560 |
|
もしそうでなければ、 アリーナに行って、 |
|
|
|
06:17.560 --> 06:25.730 |
|
同じような質問をして、 自分で投票してください。 |
|
|
|
06:25.730 --> 06:26.600 |
|
見てみよう。 |
|
|
|
06:26.900 --> 06:34.490 |
|
面白いことに、 クロードの3つの俳句を選び、 グロック2に対してそれを選んだんだ。 |
|
|
|
06:34.610 --> 06:39.740 |
|
ええと、 私の記憶が正しければ、 グロック2はクロード3の俳句よりかなり高かった。 |
|
|
|
06:39.740 --> 06:45.050 |
|
だから、 私たちの投票によって、 そのバランスがわずかに変化したのだ。 |
|
|
|
06:45.050 --> 06:47.030 |
|
だから、 楽しんでもらえたと思う。 |
|
|
|
06:47.060 --> 06:53.690 |
|
もちろん、 それはやや非科学的なものだが、 考え方としては、 あなたの相互作用に基づいた人間的な判断ということだ。 |
|
|
|
06:53.900 --> 06:57.260 |
|
そして今、 あなたに求められているのは、 行ってこれを実行することだ。 |
|
|
|
06:57.290 --> 06:59.270 |
|
地域社会に恩返しをする重要な方法だ。 |
|
|
|
06:59.300 --> 07:00.980 |
|
使用されるのはデータだ。 |
|
|
|
07:01.010 --> 07:03.020 |
|
それに、 とても楽しいよ。 |
|
|
|
07:03.050 --> 07:09.620 |
|
そして、 データサイエンス・コミュニティに貢献しながら、 さまざまなモデルの能力と範囲を感じ、 |
|
|
|
07:09.620 --> 07:14.630 |
|
実際に体験することができます。 |
|
|
|
07:14.630 --> 07:21.710 |
|
それでは、 チャットボット・アリーナでの時間をお楽しみください。
|
|
|