今､ あなたは疲れきっているはずだ｡
もしそうなら､ それでもいい｡
あなたは驚異的な仕事をした｡
今週は､ リーダーボードやアリーナの導入から､ コードトランスレータの実装､ フロンティアモデルやオープンソースモデルの導入に至るまで､
大量の新情報に直面し､ 大変な1週間だった｡
私たちは多くのことを経験してきたし､ かなりの道のりだった｡
あなたはたくさんの新しいスキルを身につけた｡ だから､ 私はあなたを祝福するためにここにいる｡ そして､
来週に備えるために､ 今日の最後のセッションはかなり早く終わることを伝える｡
だから､ まず最初に言っておきたいのは､ もちろん､ フロンティアにとっては1点だったということだ｡
今回はクロードにショーを勝たせなければならない｡
コードを書いたり､ PythonとCの間でコードを変換したりするソフトウェアを書くのは､ とても楽しかった｡
それに
そして､ クロードがねぐらを支配するのを見た｡
これらのアルゴリズムを再実装した素晴らしい仕事だ｡
ええと､ 今日の最後には､ オープンソースとクローズドソースのモデルのパフォーマンスについてもう少し議論したいと思います｡
それから､ コード生成の商業的な使用例について話すつもりだ｡
そしてもちろん､ あなたへの課題もある｡
君にとっては大きな任務だ｡
だから､ このセッションは比較的短いが､ あなたにとっての仕事は比較的大きい｡
しかし､ その前に､ 重大な問題についてお話ししたいと思います｡ それは､ AIソリューションが実際に良い仕事をしているかどうかをどのように判断するかという問題です｡
ええと､ 評価のテクニックとは何ですか？
ここで言うように､ おそらく最も重要な質問なんだ｡
それは前もって考えなければならないことであり､ それを確立して取り組む必要がある｡
しかし､ 実際には2つの異なる種類のパフォーマンス指標があり､ その違いを理解し､
正しい文脈で両者を使い分けることが重要だ｡
最初の種類は､ モデル中心または技術的なメトリクスとして知られているものです｡
データ・サイエンティストにとって､ このような指標は生きているようなものだ｡ なぜなら､
このような指標はモデルを最適化することができ､ モデルのパフォーマンスを非常に即座に測定することができるからだ｡
これから､ これらのメトリクスのいくつかについて話すつもりだが､ すべてではない｡ なぜなら､ これらの中には従来の機械学習に関連したものもあるからだ｡
それに､ すでに経験があるかもしれないし､ なくても問題ない｡
しかし､ 最初の「損失」は､ LLMがそのタスクでどれだけうまくいかなかったかを表す一般的な用語で､
通常､ 最適化の際に使われる｡
つまり､ それが最適化の仕事なのだ｡
モデルをトレーニングするとき｡
この分野で最も頻繁に使用される損失はクロスエントロピー損失と呼ばれるもので､ このように機能する｡
トークンの入力セット､ つまり入力テキストであるトークンのシーケンスがあるとしよう｡
そして､ 次のトークンを予測しようとしている｡
そして､ 次のトークンが実際に何であるかをトレーニング・データで知ることができる｡
しかし､ トレーニングの一環として､ このシーケンスをある程度モデルに送り込み､ 例えば次のトークンを予測し､
そして実際の次のトークンを持ってくる｡
そして､ この2つの結果に関する何かを使って損失を計算したい｡
その方法のひとつを紹介しよう｡
このモデルが実際に行っているのは､ 私がこれまで言ってきたような方法で次のトークンを予測するだけではない｡
これは､ リストの中で次に来る可能性のあるすべてのトークンの確率分布を与えるものである｡
そして例えば､ 最も確率の高いものを選ぶかもしれない｡
クロスエントロピーの損失を計算する方法は､ 次のトークンが本当は何だったのかがわかったとする｡
そのトークンにモデルがどのような確率を割り当てたかを調べてみよう｡
実際に次に来るのが､ ハローから始まって､ 次に来るのがその単語のトークンだったとする｡
そこで､ モデルがその単語にどのような確率を与えたかを調べてみよう｡
そして､ この確率こそが､ 我々がクロスエントロピーの損失の根拠とするものである｡
そして実際､ それを損失に変えてしまった｡
なぜなら､ 数字が大きい方が良いという確率だけを取れば良いからだ｡
そして､ 損失は悪いことであり､ 私たちはより高い数字を望んでいる｡
そこで私たちが行うのは､ 実際に負の対数を取ることだ｡
確率の対数をマイナスする｡
少し混乱するかもしれない｡
なぜそんなことをするのか？
というのも､ もし確率が1だとしたら､ それは完璧な答えであり､ 次のトークンがまさに次のトークンである可能性が100％あると言ったことになるからだ｡
つまり､ 確率が1であれば完璧な答えとなる｡
まあ､ 1のマイナス対数はゼロゼロロスだ｡
完璧な答えだ｡
それでいいんだ｡
そして､ 確率が非常に小さな数であれば､ それが小さくなるにつれて､ ゼロに近づいていくにつれて､
その数の負の対数はどんどん大きな正の数になっていく｡
それでまたうまくいく｡
それは損失となる｡
これ以上の損失は悪いニュースだ｡
そのため､ 確率の負の対数､ つまり予測された確率が実際に次のトークンであることが判明した確率を取る｡
これはクロスエントロピー損失と呼ばれ､ 使用される基本的な指標の一つである｡
そして､ トレーニング用LMSの場合､ ある時点で自分たちも使うことになるのが一般的だ｡
もう一つ､ よく耳にする指標で､ 非常に関連性の高いものですが､
これは「難解度」と呼ばれるものです｡
それが判明したときの意味は､ 当惑が1であれば､ そのモデルは完全に自信に満ちた正しい結果であるということである｡
100％確実で100％正確だ｡
そうなると､ 戸惑いが1つ生まれる｡
2人の当惑は50を超える50のようなものだろう｡
半分は正しい｡
4点の当惑は25％の確率だ｡
だから､ それが感覚になる｡
困惑度が高ければ高いほど､ 次のトークンを予測するためには､ すべての条件が同じなら､
いくつのトークンが必要なのかがわかる｡
だから､ 喪失感と当惑が生まれる｡
その他については割愛するが､ これらはモデルの精度や不正確さを測定する即席の方法であり､
最適化の際やモデルの分析に使えるということがお分かりいただけるだろう｡
これがモデル中心の評価基準だ｡
では､ もうひとつの指標とは？
もう1つの指標は､ ビジネス中心の指標や成果指標である｡
そして､ これらはあなたのビジネスの聴衆に最も響くものである｡
そして最終的には､ この問題を解決することが求められているのだ｡
つまり､ ビジネス・パーソンが求めた実際の成果に結びついたKPIなのだ｡
投資対効果かもしれない｡
もし､ これが何かを最適化するためのものであるならば､ それは時間における改善なのかもしれない｡
今やったことを考えれば､ 究極の指標はコードだろう｡
先ほど構築したコード・ソリューションの場合｡
C++のコードはPythonのコードよりどれくらい速いですか？
同じ答えなら何倍速い？
つまり､ これはビジネス中心､ あるいは成果指標の一例であり､ 製品をフル稼働させ､ 最後に何が出てくるかを確認する必要があるからだ｡
ええと､ 別の例としては､ ベンチマークとの比較があるかもしれない｡
もし何かをするのであれば､ ある種のソリューションを構築し､ それがあるビジネス・タスクを遂行する上で他のベンチマークを凌駕することになる｡
つまり､ この種の測定基準の大きな利点は､ 目に見え､ 具体的であり､ ビジネス目標につながるということだ｡
これらの指標で針を動かすことができれば､ インパクトを提供したことになり､ それを証明することができる｡
もちろん､ これらの問題点は､ モデルのパフォーマンスとそれほど明確に結びついていないことだ｡
それは､ あなたが持っているデータの種類､ 環境､ その使われ方､ ビジネス上の問題を解決するためにオリジナルのアイデアが本当に機能するかどうかなど､
他のあらゆることに関連している｡
つまり､ モデルのパフォーマンスとビジネス指標の間には､ 未知の部分がたくさんあるのだ｡
しかし､ ビジネス・メトリクスには､ 現実の世界で実際に意味を持つという大きな利点がある｡
つまり答えは､ この2種類の指標を使う必要があるということだ｡
協調して使う必要がある｡
1つは､ モデルを最適化し､ その高速性能を実証するためにモデルを微調整することができます｡
そしてもうひとつは､ 最終的にソリューションの背景にあるビジネスインパクトを証明するために使うものだ｡
これをもって､ 次のセッションは一時中断する｡
もう1度戻って､ コーディング・ソリューションを見て､ 次のレベルに進むために何ができるかをお話しします｡