WEBVTT 00:00.620 --> 00:08.900 さて、 リーダーボードのコレクションに欠かせないリーダーボードの数々をご紹介しよう。 00:08.900 --> 00:13.160 その第一弾が、 ビッグ・コード・モデルのリーダーボードだ。 00:13.430 --> 00:18.440 URLはそちらをご覧いただきたいが、 ハギング・フェイスで検索していただいても結構だ。 00:18.590 --> 00:23.600 他のアプリと同じように、 スペースとして動いているんだ。 00:23.600 --> 00:27.920 また、 授業で使う資料にもリンクを貼ります。 00:28.070 --> 00:34.430 ええと、 ここにあるのはモデルのセットです。 00:34.430 --> 00:36.890 まずは、 ベースモデルだけでフィルタリングしてみよう。 00:36.890 --> 00:39.590 だから、 誰もが知っている名前なんだ。 00:39.590 --> 00:47.900 Pythonのテストと、 Java、 JavaScript、 00:47.900 --> 00:53.360 C++のテストです。 00:53.360 --> 00:59.930 そのため、 異なるプログラミング言語に対して、 これらのモデルのパフォーマンスを比較することができる。 00:59.930 --> 01:05.180 そして、 勝率はそれぞれの平均のようなものだ。 01:05.180 --> 01:12.410 アバウト・ページに行けば、 その計算方法や、 01:12.410 --> 01:23.570 このコラムの計算方法について、 より詳しい情報を得ることができる。 01:23.570 --> 01:27.740 また、 コード・ラマもすぐ近くにいる。 01:27.860 --> 01:31.340 ディープ・シー・コーダーは非常にうまくいっているモデルだ。 01:31.460 --> 01:34.610 コード・ラマの亜種だね。 01:34.610 --> 01:39.800 そしてスターコーダー2は、 私たち自身が初期に使っていたモデルだ。 01:39.860 --> 01:43.160 そして、 Star Coderの2つの特徴がここにもある。 01:43.340 --> 01:48.110 それから、 Googleのオープンソース・コード生成モデルであるCode Gemma。 01:48.110 --> 01:56.690 もしすべてを含めるのであれば、 より特定のデータセットに特化して調整されたものも含めることになる。 01:56.690 --> 02:01.190 そして、 実際に点数を比べてみればわかると思うが、 本当にそうなんだ。 02:01.400 --> 02:09.470 現在、 多くの選手がより良いプレーができるように微調整されている。 02:09.590 --> 02:19.190 うーん、 ちょっと意外なのはコード・クワン1だ。 5チャットが、 1チャットを上回っているようだ。 50億、 ええと、 70億、 この下ですが、 しかし、 02:19.190 --> 02:23.480 それにはいろいろな理由があるかもしれません。 02:23.480 --> 02:31.010 そのために使用されたデータセットの精緻な訓練方法と、 ここでの質問の種類が関係しているのかもしれない。 02:31.100 --> 02:39.200 だから、 もしあなたが解決しようとしている特定の問題が、 大きなコードモデルのコーディングに関係しているなら、 リーダーボードはあなたのためのリーダーボードなのだ。 02:39.980 --> 02:45.380 次に見ていくのは、 LM perf leaderboardと呼ばれるもので、 スピードやメモリ消費量など、 02:45.380 --> 02:51.050 さまざまなモデルのパフォーマンスを見るものだ。 02:51.080 --> 02:57.170 そして、 リーダーボードにアクセスすると、 さまざまなバリエーションと、 スピード、 02:57.170 --> 03:02.570 エネルギー消費量、 メモリー消費量などの情報がリストアップされている。 03:02.570 --> 03:10.310 しかし、 実際には、 そのページから始めるのではなく、 このページを開き、 03:10.340 --> 03:16.340 最適なモデルを見つけ、 見ているハードウェア・アーキテクチャを選択し、 03:16.340 --> 03:22.640 最適なモデルを見つけるを選ぶことをお勧めします。 最適なモデルを見つけに行くと、 03:22.640 --> 03:32.090 この非常に興味深いチャートが表示されます。 03:32.120 --> 03:35.930 しかし、 もしそうでないなら、 X軸に沿った議論もできるだろう。 03:35.930 --> 03:38.360 ここで、 あなたはスピードに関する何かを見ている。 03:38.360 --> 03:42.650 このモデルが64個のトークンを生成するのに要する時間だ。 03:42.650 --> 03:45.530 だから、 左寄りの方がいいに決まっている。 03:45.530 --> 03:47.420 つまり、 より速いタイムということだ。 03:47.420 --> 03:54.110 パフォーマンス、 スピード、 性能を重視するなら、 左側に来るモデルを探している。 03:54.140 --> 03:59.450 精度やそのような性能にこだわるのであれば、 トータルで使うこともできるだろう。 03:59.480 --> 04:07.500 オープンLMスコアは、 モデルの正確さの指標となる総合スコアだ。 04:07.680 --> 04:14.760 メモリフットプリントや、 このモデルを実行するために必要なハードウェアの大きさの意味でのコストを気にするのであれば、 04:14.760 --> 04:19.890 ブロブのサイズに注目する必要がある。 04:19.920 --> 04:27.480 より大きな塊は、 より大きなメモリーを必要とすることを表し、 そのため、 そこで何が必要になるかを知ることができる。 04:27.480 --> 04:34.620 そのため、 私たちは左側にある小さな塊で、 かなり高い位置にあるモデルを理想的に探している。 04:34.620 --> 04:39.720 上位である必要がないのであれば、 我々にとってはいい結果だろう。 04:39.720 --> 04:47.040 特に、 このようなモデルが本当に、 本当にうまくいっているのがわかるだろう。 04:47.040 --> 04:47.040 5バリアント。 04:47.130 --> 04:53.250 もし、 あなたが最も気にするのが、 ベンチマークスコアが非常に高く、 非常に正確で、 04:53.250 --> 04:59.820 しかもかなり速いものだとしたら、 ここを右に見てください。 05:00.090 --> 05:06.720 ええと、 それから多分、 ここに来て、 これはララマ・ラマの3モデルです。 05:07.050 --> 05:11.970 つまり、 このチャートで表現されているもう1つの情報は、 モデルのファミリーであるが、 05:11.970 --> 05:17.340 それはブロブの色で表現されているということだ。 05:17.340 --> 05:25.830 黄色はファイ(φ)モデル、 ファイ(φ)モデルはファイ(φ)モデルです。 05:25.830 --> 05:29.250 そして、 あそこにファイ、 あー、 黄色いモデルが見えるだろう。 05:29.610 --> 05:36.900 つまり、 スピード、 精度、 メモリフットプリントがトレードオフになり、 05:36.900 --> 05:43.290 ランニングコストに影響するということだ。 05:43.290 --> 05:55.020 ベストモデルを探す」タブを開き、 自分の選択肢を理解するためにいろいろと見て回ることだ。 05:55.020 --> 06:04.320 例えば、 T4ハードウェアについて話しているのであれば、 T4タブに移動して、 どんなオプションがあるかを確認することになる。 06:04.320 --> 06:08.400 そして、 それが私の耳にした01だ。 06:08.430 --> 06:10.560 クワンはまた好調なのか。 06:10.830 --> 06:17.250 また、 あなたのユースケースに基づいて、 あなたに最も適した他のモデルも見ることができる。 06:19.140 --> 06:27.540 それから、 スペースには......スペースに行って、 リーダーボードを検索できるんだ。 06:27.540 --> 06:32.670 ここで私がしたことは、 スペースでリーダーボードを検索することで、 06:32.670 --> 06:41.340 LMSのベンチマークに関する詳細を見るために見ることができるさまざまなリーダーボードがすべて表示されます。 06:41.610 --> 06:48.780 そして、 この情報量に圧倒されないのであれば、 先ほど述べたさまざまなリーダーボードを見ることは、 06:48.810 --> 06:51.420 とてもとても有益なことなのだ。 06:51.420 --> 06:53.370 ポルトガル語に特化したリーダーボードがある。 06:53.370 --> 07:00.840 多くの言語には、 能力を評価するための独自のリーダーボードがある。 07:00.840 --> 07:03.390 私はオープンメディカルリーダーボードについて述べた。 07:03.390 --> 07:17.520 臨床知識、 大学生物学、 医療遺伝学、 PubMed QAなど、 医療に特化したベンチマークがたくさんあるのがわかるだろう。 07:17.610 --> 07:22.230 そしてそれらを医療モデルと照らし合わせて採点する。 07:22.230 --> 07:31.050 だから、 もしあなたが医療用の使用例を想定したソリューションを構築しようとしているなら、 このリーダーボードにすぐにたどり着くだろう。 07:31.260 --> 07:42.510 そのため、 データセットやその使用方法、 計算方法については、 通常、 アバウトページに追加情報が記載されています。 07:42.540 --> 07:52.800 これで、 目の前の問題に対して適切なオープンソースモデルをどのように選択すればいいのかがよくわかるはずだ。 07:52.830 --> 08:00.720 役に立つリーダーボードをどのように見つけ、 どのようにさまざまな指標を解釈し、 さまざまなモデルをランク付けするのか。 08:00.750 --> 08:05.250 次回は、 オープンソースとクローズドソースを組み合わせたリーダーボードを見てみよう。