You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

238 lines
9.9 KiB

WEBVTT
00:00.620 --> 00:08.900
さて、 リーダーボードのコレクションに欠かせないリーダーボードの数々をご紹介しよう。
00:08.900 --> 00:13.160
その第一弾が、 ビッグ・コード・モデルのリーダーボードだ。
00:13.430 --> 00:18.440
URLはそちらをご覧いただきたいが、 ハギング・フェイスで検索していただいても結構だ。
00:18.590 --> 00:23.600
他のアプリと同じように、 スペースとして動いているんだ。
00:23.600 --> 00:27.920
また、 授業で使う資料にもリンクを貼ります。
00:28.070 --> 00:34.430
ええと、 ここにあるのはモデルのセットです。
00:34.430 --> 00:36.890
まずは、 ベースモデルだけでフィルタリングしてみよう。
00:36.890 --> 00:39.590
だから、 誰もが知っている名前なんだ。
00:39.590 --> 00:47.900
Pythonのテストと、 Java、 JavaScript、
00:47.900 --> 00:53.360
C++のテストです。
00:53.360 --> 00:59.930
そのため、 異なるプログラミング言語に対して、 これらのモデルのパフォーマンスを比較することができる。
00:59.930 --> 01:05.180
そして、 勝率はそれぞれの平均のようなものだ。
01:05.180 --> 01:12.410
アバウト・ページに行けば、 その計算方法や、
01:12.410 --> 01:23.570
このコラムの計算方法について、 より詳しい情報を得ることができる。
01:23.570 --> 01:27.740
また、 コード・ラマもすぐ近くにいる。
01:27.860 --> 01:31.340
ディープ・シー・コーダーは非常にうまくいっているモデルだ。
01:31.460 --> 01:34.610
コード・ラマの亜種だね。
01:34.610 --> 01:39.800
そしてスターコーダー2は、 私たち自身が初期に使っていたモデルだ。
01:39.860 --> 01:43.160
そして、 Star Coderの2つの特徴がここにもある。
01:43.340 --> 01:48.110
それから、 Googleのオープンソース・コード生成モデルであるCode Gemma。
01:48.110 --> 01:56.690
もしすべてを含めるのであれば、 より特定のデータセットに特化して調整されたものも含めることになる。
01:56.690 --> 02:01.190
そして、 実際に点数を比べてみればわかると思うが、 本当にそうなんだ。
02:01.400 --> 02:09.470
現在、 多くの選手がより良いプレーができるように微調整されている。
02:09.590 --> 02:19.190
うーん、 ちょっと意外なのはコード・クワン1だ。 5チャットが、 1チャットを上回っているようだ。 50億、 ええと、 70億、 この下ですが、 しかし、
02:19.190 --> 02:23.480
それにはいろいろな理由があるかもしれません。
02:23.480 --> 02:31.010
そのために使用されたデータセットの精緻な訓練方法と、 ここでの質問の種類が関係しているのかもしれない。
02:31.100 --> 02:39.200
だから、 もしあなたが解決しようとしている特定の問題が、 大きなコードモデルのコーディングに関係しているなら、 リーダーボードはあなたのためのリーダーボードなのだ。
02:39.980 --> 02:45.380
次に見ていくのは、 LM perf leaderboardと呼ばれるもので、 スピードやメモリ消費量など、
02:45.380 --> 02:51.050
さまざまなモデルのパフォーマンスを見るものだ。
02:51.080 --> 02:57.170
そして、 リーダーボードにアクセスすると、 さまざまなバリエーションと、 スピード、
02:57.170 --> 03:02.570
エネルギー消費量、 メモリー消費量などの情報がリストアップされている。
03:02.570 --> 03:10.310
しかし、 実際には、 そのページから始めるのではなく、 このページを開き、
03:10.340 --> 03:16.340
最適なモデルを見つけ、 見ているハードウェア・アーキテクチャを選択し、
03:16.340 --> 03:22.640
最適なモデルを見つけるを選ぶことをお勧めします。 最適なモデルを見つけに行くと、
03:22.640 --> 03:32.090
この非常に興味深いチャートが表示されます。
03:32.120 --> 03:35.930
しかし、 もしそうでないなら、 X軸に沿った議論もできるだろう。
03:35.930 --> 03:38.360
ここで、 あなたはスピードに関する何かを見ている。
03:38.360 --> 03:42.650
このモデルが64個のトークンを生成するのに要する時間だ。
03:42.650 --> 03:45.530
だから、 左寄りの方がいいに決まっている。
03:45.530 --> 03:47.420
つまり、 より速いタイムということだ。
03:47.420 --> 03:54.110
パフォーマンス、 スピード、 性能を重視するなら、 左側に来るモデルを探している。
03:54.140 --> 03:59.450
精度やそのような性能にこだわるのであれば、 トータルで使うこともできるだろう。
03:59.480 --> 04:07.500
オープンLMスコアは、 モデルの正確さの指標となる総合スコアだ。
04:07.680 --> 04:14.760
メモリフットプリントや、 このモデルを実行するために必要なハードウェアの大きさの意味でのコストを気にするのであれば、
04:14.760 --> 04:19.890
ブロブのサイズに注目する必要がある。
04:19.920 --> 04:27.480
より大きな塊は、 より大きなメモリーを必要とすることを表し、 そのため、 そこで何が必要になるかを知ることができる。
04:27.480 --> 04:34.620
そのため、 私たちは左側にある小さな塊で、 かなり高い位置にあるモデルを理想的に探している。
04:34.620 --> 04:39.720
上位である必要がないのであれば、 我々にとってはいい結果だろう。
04:39.720 --> 04:47.040
特に、 このようなモデルが本当に、 本当にうまくいっているのがわかるだろう。
04:47.040 --> 04:47.040
5バリアント。
04:47.130 --> 04:53.250
もし、 あなたが最も気にするのが、 ベンチマークスコアが非常に高く、 非常に正確で、
04:53.250 --> 04:59.820
しかもかなり速いものだとしたら、 ここを右に見てください。
05:00.090 --> 05:06.720
ええと、 それから多分、 ここに来て、 これはララマ・ラマの3モデルです。
05:07.050 --> 05:11.970
つまり、 このチャートで表現されているもう1つの情報は、 モデルのファミリーであるが、
05:11.970 --> 05:17.340
それはブロブの色で表現されているということだ。
05:17.340 --> 05:25.830
黄色はファイ(φ)モデル、 ファイ(φ)モデルはファイ(φ)モデルです。
05:25.830 --> 05:29.250
そして、 あそこにファイ、 あー、 黄色いモデルが見えるだろう。
05:29.610 --> 05:36.900
つまり、 スピード、 精度、 メモリフットプリントがトレードオフになり、
05:36.900 --> 05:43.290
ランニングコストに影響するということだ。
05:43.290 --> 05:55.020
ベストモデルを探す」タブを開き、 自分の選択肢を理解するためにいろいろと見て回ることだ。
05:55.020 --> 06:04.320
例えば、 T4ハードウェアについて話しているのであれば、 T4タブに移動して、 どんなオプションがあるかを確認することになる。
06:04.320 --> 06:08.400
そして、 それが私の耳にした01だ。
06:08.430 --> 06:10.560
クワンはまた好調なのか。
06:10.830 --> 06:17.250
また、 あなたのユースケースに基づいて、 あなたに最も適した他のモデルも見ることができる。
06:19.140 --> 06:27.540
それから、 スペースには......スペースに行って、 リーダーボードを検索できるんだ。
06:27.540 --> 06:32.670
ここで私がしたことは、 スペースでリーダーボードを検索することで、
06:32.670 --> 06:41.340
LMSのベンチマークに関する詳細を見るために見ることができるさまざまなリーダーボードがすべて表示されます。
06:41.610 --> 06:48.780
そして、 この情報量に圧倒されないのであれば、 先ほど述べたさまざまなリーダーボードを見ることは、
06:48.810 --> 06:51.420
とてもとても有益なことなのだ。
06:51.420 --> 06:53.370
ポルトガル語に特化したリーダーボードがある。
06:53.370 --> 07:00.840
多くの言語には、 能力を評価するための独自のリーダーボードがある。
07:00.840 --> 07:03.390
私はオープンメディカルリーダーボードについて述べた。
07:03.390 --> 07:17.520
臨床知識、 大学生物学、 医療遺伝学、 PubMed QAなど、 医療に特化したベンチマークがたくさんあるのがわかるだろう。
07:17.610 --> 07:22.230
そしてそれらを医療モデルと照らし合わせて採点する。
07:22.230 --> 07:31.050
だから、 もしあなたが医療用の使用例を想定したソリューションを構築しようとしているなら、 このリーダーボードにすぐにたどり着くだろう。
07:31.260 --> 07:42.510
そのため、 データセットやその使用方法、 計算方法については、 通常、 アバウトページに追加情報が記載されています。
07:42.540 --> 07:52.800
これで、 目の前の問題に対して適切なオープンソースモデルをどのように選択すればいいのかがよくわかるはずだ。
07:52.830 --> 08:00.720
役に立つリーダーボードをどのように見つけ、 どのようにさまざまな指標を解釈し、 さまざまなモデルをランク付けするのか。
08:00.750 --> 08:05.250
次回は、 オープンソースとクローズドソースを組み合わせたリーダーボードを見てみよう。