オーケー｡
今が正念場だ｡
クラステスターを受けたばかりだ｡
このクラスを覚えているか？
このクラスは､ テスト・データ・セットの250のデータ・ポイント全体にわたって評価を実行する｡
少し違う｡
アイテム・オブジェクトを取るわけではないので､ 微妙な違いがあることにお気づきだろう｡
私たちはデータセットからデータ・ポイントを取っている｡
だから､ 小さな違いがいくつかある｡
しかし､ それ以外の点では､ このテスターは基本的にまったく同じだ｡
そしてもちろん､ このシングルラインテスターのテストで終わる｡
モデルpredictは先ほど書いた関数で､ 250ポイントに対してモデルを試すもので､ テストデータセットを渡す｡
もちろん､ すでに実行し､ 結果をスクロールさせている｡
だから､ すぐそこまで来ている感じがする｡
トップに持っていく｡
もちろん､ 最初の赤い項目は､ 374ドルのものが1800ドルと予測されているところだ｡
赤もあれば緑もある｡
うーん､ 確かに､ 私たちがそれを得ているのとは違うということを感じさせてくれる｡
今回の課題はモデルが理解している｡
例えば89ドル｡ 99.
そして真実は101 79だった｡
ドル単位にこだわっていないのが面白い｡
今でも0ドルでものを作っている｡ 99.
ええと､ そうだな､ 他にもいくつか問題のあるものがあるが､ 緑と赤､ 緑と赤､
でもかなりの数の赤､ かなりの数の赤があるのがわかるだろう｡
だから､ 私は私たちを窮地から救い出し､ チャートに直行する｡
来たぞ｡
なんてことだ｡
395の恐ろしい､ 恐ろしい結果だ｡
誤差という点では､ 395......覚えているだろうが､ ランダムに推測するよりもかなり悪い｡
トレーニングデータセットの平均値を取るよりも確実に悪いと思う｡
トレーニングデータセットを知っていたわけではない｡
ああ､ そうだね､ 一般的にはひどい結果だよ｡
おそらく､ 大きな驚きはないだろう｡
小さなモデルだ｡
それも非常に量子化されていて､ 何をしているのか視覚的にわかる｡
最も推測しやすいレベルがいくつかあり､ この3つのレベルのいずれかを最も頻繁に推測していることがわかるだろう｡
そして残念なことに､ そのうちのひとつがあまりにも高すぎる｡
モデルには1,000ドルを超えるなと言ったことはない｡
それが必須条件というわけではない｡
GPTの4人と同じように､ 好きなように推測することができる｡
私たちは......うーん､ それを知るための知性を与えてこなかった｡
あー､ それで結果が台無しになった｡
つまり､ ベース・モデルのパフォーマンスが低かったということだ｡
パラメータの数が少ないことを考えれば､ それほど驚くことではない｡
そしてもちろん､ 私たちが今直面している課題は､ この性能の低いモデルを微調整し､ トレーニングデータセットを使ってより強くすることができるかということだ｡
そして､ 1兆個のパラメータを持つモデルが達成できることに近づけるだろうか｡
つまり､ これは80億のパラメーターを持つモデルで､ 量子化されている｡
兆を超える主要なフロンティアモデルのパラメータに近づくことができるだろうか？
これはオープンソースだから無料だ｡
APIのコストはかからない｡
もし私たちがそのレベルのパフォーマンスを発揮できたら､ いや､ 少なくとも人間を打ち負かすことができたら､ 素晴らしいと思わない？
今､ 人間は訓練されていないラマに勝っている｡
少なくとも､ この人間が最後に残した思いである｡
これが4ビットに量子化されることを覚えているだろうか｡
8ビットに量子化したらどうなるだろうか？
もし､ 8ビットのバージョンを維持したまま実行したとしたら､ 2倍量子化された4ビットにすることでパフォーマンスにどれだけの影響が出るか､
興味深いところだ｡
もちろん､ それは可能だ｡
そして､ このフレームワークは､ とてもシンプルで具体的な方法を教えてくれる｡
その違いを見てみよう｡
だから､ 395がどこまで間違っているか覚えておいてほしい｡
だから､ この別のタブでは､ 8ビットを2つに量子化しただけで実行している｡
つまり､ 一番上まで行くと､ ここで4つのビットがfalseに設定されていることがわかりますが､ それ以外はまったく同じです｡
ノートブック
下までスクロールして､ 結果に直行しよう｡
この中にあるようだ｡
ちょっと待ってくれ｡
緊張感を高める｡
そして､ これだ｡
だから､ パフォーマンスもかなりひどい｡
しかし､ 395が301になったのは良いことだ｡
そして､ それはまったく驚くべきことではない｡
情報量が2倍になっているのはご存じでしょう｡
つまり､ 量子化は精度に影響を与えたが､ 8ビットモデルであればもっと良い結果が得られると予想される｡
だから､ 2人の間にそれほど大きな違いはなかった｡
でも､ 大きなモデルの方がいい仕事ができるということだ｡
分かった｡
それはそれで､ かなり面白かったよ｡
かなり露呈している｡
スライドに戻ってまとめよう｡