さて､ リーダーボードのコレクションに欠かせないリーダーボードの数々をご紹介しよう｡
その第一弾が､ ビッグ・コード・モデルのリーダーボードだ｡
URLはそちらをご覧いただきたいが､ ハギング・フェイスで検索していただいても結構だ｡
他のアプリと同じように､ スペースとして動いているんだ｡
また､ 授業で使う資料にもリンクを貼ります｡
ええと､ ここにあるのはモデルのセットです｡
まずは､ ベースモデルだけでフィルタリングしてみよう｡
だから､ 誰もが知っている名前なんだ｡
Pythonのテストと､ Java､ JavaScript､
C＋＋のテストです｡
そのため､ 異なるプログラミング言語に対して､ これらのモデルのパフォーマンスを比較することができる｡
そして､ 勝率はそれぞれの平均のようなものだ｡
アバウト・ページに行けば､ その計算方法や､
このコラムの計算方法について､ より詳しい情報を得ることができる｡
また､ コード・ラマもすぐ近くにいる｡
ディープ・シー・コーダーは非常にうまくいっているモデルだ｡
コード・ラマの亜種だね｡
そしてスターコーダー2は､ 私たち自身が初期に使っていたモデルだ｡
そして､ Star Coderの2つの特徴がここにもある｡
それから､ Googleのオープンソース・コード生成モデルであるCode Gemma｡
もしすべてを含めるのであれば､ より特定のデータセットに特化して調整されたものも含めることになる｡
そして､ 実際に点数を比べてみればわかると思うが､ 本当にそうなんだ｡
現在､ 多くの選手がより良いプレーができるように微調整されている｡
うーん､ ちょっと意外なのはコード・クワン1だ｡ 5チャットが､ 1チャットを上回っているようだ｡ 50億､ ええと､ 70億､ この下ですが､ しかし､
それにはいろいろな理由があるかもしれません｡
そのために使用されたデータセットの精緻な訓練方法と､ ここでの質問の種類が関係しているのかもしれない｡
だから､ もしあなたが解決しようとしている特定の問題が､ 大きなコードモデルのコーディングに関係しているなら､ リーダーボードはあなたのためのリーダーボードなのだ｡
次に見ていくのは､ LM perf leaderboardと呼ばれるもので､ スピードやメモリ消費量など､
さまざまなモデルのパフォーマンスを見るものだ｡
そして､ リーダーボードにアクセスすると､ さまざまなバリエーションと､ スピード､
エネルギー消費量､ メモリー消費量などの情報がリストアップされている｡
しかし､ 実際には､ そのページから始めるのではなく､ このページを開き､
最適なモデルを見つけ､ 見ているハードウェア・アーキテクチャを選択し､
最適なモデルを見つけるを選ぶことをお勧めします｡ 最適なモデルを見つけに行くと､
この非常に興味深いチャートが表示されます｡
しかし､ もしそうでないなら､ X軸に沿った議論もできるだろう｡
ここで､ あなたはスピードに関する何かを見ている｡
このモデルが64個のトークンを生成するのに要する時間だ｡
だから､ 左寄りの方がいいに決まっている｡
つまり､ より速いタイムということだ｡
パフォーマンス､ スピード､ 性能を重視するなら､ 左側に来るモデルを探している｡
精度やそのような性能にこだわるのであれば､ トータルで使うこともできるだろう｡
オープンLMスコアは､ モデルの正確さの指標となる総合スコアだ｡
メモリフットプリントや､ このモデルを実行するために必要なハードウェアの大きさの意味でのコストを気にするのであれば､
ブロブのサイズに注目する必要がある｡
より大きな塊は､ より大きなメモリーを必要とすることを表し､ そのため､ そこで何が必要になるかを知ることができる｡
そのため､ 私たちは左側にある小さな塊で､ かなり高い位置にあるモデルを理想的に探している｡
上位である必要がないのであれば､ 我々にとってはいい結果だろう｡
特に､ このようなモデルが本当に､ 本当にうまくいっているのがわかるだろう｡
5バリアント｡
もし､ あなたが最も気にするのが､ ベンチマークスコアが非常に高く､ 非常に正確で､
しかもかなり速いものだとしたら､ ここを右に見てください｡
ええと､ それから多分､ ここに来て､ これはララマ・ラマの3モデルです｡
つまり､ このチャートで表現されているもう1つの情報は､ モデルのファミリーであるが､
それはブロブの色で表現されているということだ｡
黄色はファイ（φ）モデル､ ファイ（φ）モデルはファイ（φ）モデルです｡
そして､ あそこにファイ､ あー､ 黄色いモデルが見えるだろう｡
つまり､ スピード､ 精度､ メモリフットプリントがトレードオフになり､
ランニングコストに影響するということだ｡
ベストモデルを探す」タブを開き､ 自分の選択肢を理解するためにいろいろと見て回ることだ｡
例えば､ T4ハードウェアについて話しているのであれば､ T4タブに移動して､ どんなオプションがあるかを確認することになる｡
そして､ それが私の耳にした01だ｡
クワンはまた好調なのか｡
また､ あなたのユースケースに基づいて､ あなたに最も適した他のモデルも見ることができる｡
それから､ スペースには......スペースに行って､ リーダーボードを検索できるんだ｡
ここで私がしたことは､ スペースでリーダーボードを検索することで､
LMSのベンチマークに関する詳細を見るために見ることができるさまざまなリーダーボードがすべて表示されます｡
そして､ この情報量に圧倒されないのであれば､ 先ほど述べたさまざまなリーダーボードを見ることは､
とてもとても有益なことなのだ｡
ポルトガル語に特化したリーダーボードがある｡
多くの言語には､ 能力を評価するための独自のリーダーボードがある｡
私はオープンメディカルリーダーボードについて述べた｡
臨床知識､ 大学生物学､ 医療遺伝学､ PubMed QAなど､ 医療に特化したベンチマークがたくさんあるのがわかるだろう｡
そしてそれらを医療モデルと照らし合わせて採点する｡
だから､ もしあなたが医療用の使用例を想定したソリューションを構築しようとしているなら､ このリーダーボードにすぐにたどり着くだろう｡
そのため､ データセットやその使用方法､ 計算方法については､ 通常､ アバウトページに追加情報が記載されています｡
これで､ 目の前の問題に対して適切なオープンソースモデルをどのように選択すればいいのかがよくわかるはずだ｡
役に立つリーダーボードをどのように見つけ､ どのようにさまざまな指標を解釈し､ さまざまなモデルをランク付けするのか｡
次回は､ オープンソースとクローズドソースを組み合わせたリーダーボードを見てみよう｡