そしてまたこの時期､ 我々のモデルが全体的にどのようなパフォーマンスを見せているかを表彰台で見ることになる｡
答えはもうわかっているだろうが､ とにかく見て､ 笑ってみよう｡
まず､ トレーニングデータセットから平均値を推測する定数モデルを見てみよう｡
その数字を見てみると､ 146だった｡
今は明らかに気温が下がっている｡
その理由は､ おそらくあなたも知っていると思う｡
従来の機械学習モデルは､ 平均を上回ることができた｡
ランダムフォレスト・アプローチを検討したところ､ 従来の機械学習アプローチでは97点と最も優れていた｡
人間と比較したところ､ 人間は基本的で単純な特徴には勝てたが､ ランダムフォレストモデルには負けた｡
GPTフォーゼロは､ 私たちが調べた様々なフロンティアモデルの中で最も優れていて､
76がこの人間を大きく上回っていた｡
そして今日は､ 3.ファインチューン・バス・ラマを見てきた｡ 180億ものパラメーターが4ビットにまで量子化されている｡
ええと､ 396で､ 壊滅的に悪かった｡
そして､ 8ビットに量子化するとわずかに良くなり､ 代わりに301ドルの誤差が生じた｡
ええと､ 明らかにラマ3は出だしが悪いね｡ 1だが､ ある意味､ 挑戦が始まっているのでエキサイティングだ｡
ええと､ ここにモデルを用意してあるので､ どうすればもっと良くなるかを試行錯誤することができる｡
私たちの目標は､ GPT4のような何兆ものパラメーターを持つモデルに負けないようにすることです｡
もし私たちがこの特別なタスクで競争力を持ち､ それを無償のオープンソースモデルで実現できるのであれば､
私たちは偉大なことを成し遂げたことになる｡
オーケー｡
まとめると､ この時点で､ この分岐点で､ あなたはこの旅の道のりの80％に到達している｡
とても嬉しいよ｡
粘り強くやっている｡
あなたがここにいてくれて本当にうれしい｡
言っておくが､ まだ20％は残っている｡
最高だよ｡
最も魅力的なコンテンツはこれからだ｡
このモデルをトレーニングしていく｡
そして来週のフィナーレでは､ 本当にすべてをまとめる｡
つまり､ クレッシェンドになるんだ｡
これからどんどん良くなっていくよ｡
頑張るんだ｡
いいものはすべてこれからだ｡
そこで次回は､ さらにいくつかのハイパーパラメーターを用意する｡
これらのハイパーパラメーターは少々過酷なものであることは承知しているが､ 本当に重要なことはここで学ぶことができる｡
トレーニングをコントロールするハイパーパラメーターがいくつかあるので､ それを説明しよう｡
その後､ SFTトレーナーというものをセットアップする｡
そしてトレーニングを開始する｡
あなたは､ llama 3に基づいて､ 独自の大規模言語モデルをトレーニングすることになる｡ 1ベースのモデル｡
そして､ 次のセッションでそれをやるつもりだ｡
だから､ そこで会おう｡