From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
238 lines
9.9 KiB
238 lines
9.9 KiB
WEBVTT |
|
|
|
00:00.620 --> 00:08.900 |
|
さて、 リーダーボードのコレクションに欠かせないリーダーボードの数々をご紹介しよう。 |
|
|
|
00:08.900 --> 00:13.160 |
|
その第一弾が、 ビッグ・コード・モデルのリーダーボードだ。 |
|
|
|
00:13.430 --> 00:18.440 |
|
URLはそちらをご覧いただきたいが、 ハギング・フェイスで検索していただいても結構だ。 |
|
|
|
00:18.590 --> 00:23.600 |
|
他のアプリと同じように、 スペースとして動いているんだ。 |
|
|
|
00:23.600 --> 00:27.920 |
|
また、 授業で使う資料にもリンクを貼ります。 |
|
|
|
00:28.070 --> 00:34.430 |
|
ええと、 ここにあるのはモデルのセットです。 |
|
|
|
00:34.430 --> 00:36.890 |
|
まずは、 ベースモデルだけでフィルタリングしてみよう。 |
|
|
|
00:36.890 --> 00:39.590 |
|
だから、 誰もが知っている名前なんだ。 |
|
|
|
00:39.590 --> 00:47.900 |
|
Pythonのテストと、 Java、 JavaScript、 |
|
|
|
00:47.900 --> 00:53.360 |
|
C++のテストです。 |
|
|
|
00:53.360 --> 00:59.930 |
|
そのため、 異なるプログラミング言語に対して、 これらのモデルのパフォーマンスを比較することができる。 |
|
|
|
00:59.930 --> 01:05.180 |
|
そして、 勝率はそれぞれの平均のようなものだ。 |
|
|
|
01:05.180 --> 01:12.410 |
|
アバウト・ページに行けば、 その計算方法や、 |
|
|
|
01:12.410 --> 01:23.570 |
|
このコラムの計算方法について、 より詳しい情報を得ることができる。 |
|
|
|
01:23.570 --> 01:27.740 |
|
また、 コード・ラマもすぐ近くにいる。 |
|
|
|
01:27.860 --> 01:31.340 |
|
ディープ・シー・コーダーは非常にうまくいっているモデルだ。 |
|
|
|
01:31.460 --> 01:34.610 |
|
コード・ラマの亜種だね。 |
|
|
|
01:34.610 --> 01:39.800 |
|
そしてスターコーダー2は、 私たち自身が初期に使っていたモデルだ。 |
|
|
|
01:39.860 --> 01:43.160 |
|
そして、 Star Coderの2つの特徴がここにもある。 |
|
|
|
01:43.340 --> 01:48.110 |
|
それから、 Googleのオープンソース・コード生成モデルであるCode Gemma。 |
|
|
|
01:48.110 --> 01:56.690 |
|
もしすべてを含めるのであれば、 より特定のデータセットに特化して調整されたものも含めることになる。 |
|
|
|
01:56.690 --> 02:01.190 |
|
そして、 実際に点数を比べてみればわかると思うが、 本当にそうなんだ。 |
|
|
|
02:01.400 --> 02:09.470 |
|
現在、 多くの選手がより良いプレーができるように微調整されている。 |
|
|
|
02:09.590 --> 02:19.190 |
|
うーん、 ちょっと意外なのはコード・クワン1だ。 5チャットが、 1チャットを上回っているようだ。 50億、 ええと、 70億、 この下ですが、 しかし、 |
|
|
|
02:19.190 --> 02:23.480 |
|
それにはいろいろな理由があるかもしれません。 |
|
|
|
02:23.480 --> 02:31.010 |
|
そのために使用されたデータセットの精緻な訓練方法と、 ここでの質問の種類が関係しているのかもしれない。 |
|
|
|
02:31.100 --> 02:39.200 |
|
だから、 もしあなたが解決しようとしている特定の問題が、 大きなコードモデルのコーディングに関係しているなら、 リーダーボードはあなたのためのリーダーボードなのだ。 |
|
|
|
02:39.980 --> 02:45.380 |
|
次に見ていくのは、 LM perf leaderboardと呼ばれるもので、 スピードやメモリ消費量など、 |
|
|
|
02:45.380 --> 02:51.050 |
|
さまざまなモデルのパフォーマンスを見るものだ。 |
|
|
|
02:51.080 --> 02:57.170 |
|
そして、 リーダーボードにアクセスすると、 さまざまなバリエーションと、 スピード、 |
|
|
|
02:57.170 --> 03:02.570 |
|
エネルギー消費量、 メモリー消費量などの情報がリストアップされている。 |
|
|
|
03:02.570 --> 03:10.310 |
|
しかし、 実際には、 そのページから始めるのではなく、 このページを開き、 |
|
|
|
03:10.340 --> 03:16.340 |
|
最適なモデルを見つけ、 見ているハードウェア・アーキテクチャを選択し、 |
|
|
|
03:16.340 --> 03:22.640 |
|
最適なモデルを見つけるを選ぶことをお勧めします。 最適なモデルを見つけに行くと、 |
|
|
|
03:22.640 --> 03:32.090 |
|
この非常に興味深いチャートが表示されます。 |
|
|
|
03:32.120 --> 03:35.930 |
|
しかし、 もしそうでないなら、 X軸に沿った議論もできるだろう。 |
|
|
|
03:35.930 --> 03:38.360 |
|
ここで、 あなたはスピードに関する何かを見ている。 |
|
|
|
03:38.360 --> 03:42.650 |
|
このモデルが64個のトークンを生成するのに要する時間だ。 |
|
|
|
03:42.650 --> 03:45.530 |
|
だから、 左寄りの方がいいに決まっている。 |
|
|
|
03:45.530 --> 03:47.420 |
|
つまり、 より速いタイムということだ。 |
|
|
|
03:47.420 --> 03:54.110 |
|
パフォーマンス、 スピード、 性能を重視するなら、 左側に来るモデルを探している。 |
|
|
|
03:54.140 --> 03:59.450 |
|
精度やそのような性能にこだわるのであれば、 トータルで使うこともできるだろう。 |
|
|
|
03:59.480 --> 04:07.500 |
|
オープンLMスコアは、 モデルの正確さの指標となる総合スコアだ。 |
|
|
|
04:07.680 --> 04:14.760 |
|
メモリフットプリントや、 このモデルを実行するために必要なハードウェアの大きさの意味でのコストを気にするのであれば、 |
|
|
|
04:14.760 --> 04:19.890 |
|
ブロブのサイズに注目する必要がある。 |
|
|
|
04:19.920 --> 04:27.480 |
|
より大きな塊は、 より大きなメモリーを必要とすることを表し、 そのため、 そこで何が必要になるかを知ることができる。 |
|
|
|
04:27.480 --> 04:34.620 |
|
そのため、 私たちは左側にある小さな塊で、 かなり高い位置にあるモデルを理想的に探している。 |
|
|
|
04:34.620 --> 04:39.720 |
|
上位である必要がないのであれば、 我々にとってはいい結果だろう。 |
|
|
|
04:39.720 --> 04:47.040 |
|
特に、 このようなモデルが本当に、 本当にうまくいっているのがわかるだろう。 |
|
|
|
04:47.040 --> 04:47.040 |
|
5バリアント。 |
|
|
|
04:47.130 --> 04:53.250 |
|
もし、 あなたが最も気にするのが、 ベンチマークスコアが非常に高く、 非常に正確で、 |
|
|
|
04:53.250 --> 04:59.820 |
|
しかもかなり速いものだとしたら、 ここを右に見てください。 |
|
|
|
05:00.090 --> 05:06.720 |
|
ええと、 それから多分、 ここに来て、 これはララマ・ラマの3モデルです。 |
|
|
|
05:07.050 --> 05:11.970 |
|
つまり、 このチャートで表現されているもう1つの情報は、 モデルのファミリーであるが、 |
|
|
|
05:11.970 --> 05:17.340 |
|
それはブロブの色で表現されているということだ。 |
|
|
|
05:17.340 --> 05:25.830 |
|
黄色はファイ(φ)モデル、 ファイ(φ)モデルはファイ(φ)モデルです。 |
|
|
|
05:25.830 --> 05:29.250 |
|
そして、 あそこにファイ、 あー、 黄色いモデルが見えるだろう。 |
|
|
|
05:29.610 --> 05:36.900 |
|
つまり、 スピード、 精度、 メモリフットプリントがトレードオフになり、 |
|
|
|
05:36.900 --> 05:43.290 |
|
ランニングコストに影響するということだ。 |
|
|
|
05:43.290 --> 05:55.020 |
|
ベストモデルを探す」タブを開き、 自分の選択肢を理解するためにいろいろと見て回ることだ。 |
|
|
|
05:55.020 --> 06:04.320 |
|
例えば、 T4ハードウェアについて話しているのであれば、 T4タブに移動して、 どんなオプションがあるかを確認することになる。 |
|
|
|
06:04.320 --> 06:08.400 |
|
そして、 それが私の耳にした01だ。 |
|
|
|
06:08.430 --> 06:10.560 |
|
クワンはまた好調なのか。 |
|
|
|
06:10.830 --> 06:17.250 |
|
また、 あなたのユースケースに基づいて、 あなたに最も適した他のモデルも見ることができる。 |
|
|
|
06:19.140 --> 06:27.540 |
|
それから、 スペースには......スペースに行って、 リーダーボードを検索できるんだ。 |
|
|
|
06:27.540 --> 06:32.670 |
|
ここで私がしたことは、 スペースでリーダーボードを検索することで、 |
|
|
|
06:32.670 --> 06:41.340 |
|
LMSのベンチマークに関する詳細を見るために見ることができるさまざまなリーダーボードがすべて表示されます。 |
|
|
|
06:41.610 --> 06:48.780 |
|
そして、 この情報量に圧倒されないのであれば、 先ほど述べたさまざまなリーダーボードを見ることは、 |
|
|
|
06:48.810 --> 06:51.420 |
|
とてもとても有益なことなのだ。 |
|
|
|
06:51.420 --> 06:53.370 |
|
ポルトガル語に特化したリーダーボードがある。 |
|
|
|
06:53.370 --> 07:00.840 |
|
多くの言語には、 能力を評価するための独自のリーダーボードがある。 |
|
|
|
07:00.840 --> 07:03.390 |
|
私はオープンメディカルリーダーボードについて述べた。 |
|
|
|
07:03.390 --> 07:17.520 |
|
臨床知識、 大学生物学、 医療遺伝学、 PubMed QAなど、 医療に特化したベンチマークがたくさんあるのがわかるだろう。 |
|
|
|
07:17.610 --> 07:22.230 |
|
そしてそれらを医療モデルと照らし合わせて採点する。 |
|
|
|
07:22.230 --> 07:31.050 |
|
だから、 もしあなたが医療用の使用例を想定したソリューションを構築しようとしているなら、 このリーダーボードにすぐにたどり着くだろう。 |
|
|
|
07:31.260 --> 07:42.510 |
|
そのため、 データセットやその使用方法、 計算方法については、 通常、 アバウトページに追加情報が記載されています。 |
|
|
|
07:42.540 --> 07:52.800 |
|
これで、 目の前の問題に対して適切なオープンソースモデルをどのように選択すればいいのかがよくわかるはずだ。 |
|
|
|
07:52.830 --> 08:00.720 |
|
役に立つリーダーボードをどのように見つけ、 どのようにさまざまな指標を解釈し、 さまざまなモデルをランク付けするのか。 |
|
|
|
08:00.750 --> 08:05.250 |
|
次回は、 オープンソースとクローズドソースを組み合わせたリーダーボードを見てみよう。
|
|
|