だから､ 新しいモデルを試す前に､ これまでのモデルをもう1度振り返り､ 自分たちがどうするかわかるようにメモしておこう｡
そして､ 私たちが微調整したモデルを走らせている間､ あなたの興奮はそこにある｡
まずは一定のモデルから始めた｡
実はランダムなモデルから始めたのだが､ それはもう終わりにしよう｡
あれはあれでバカバカしい｡
つまり､ 訓練データセットから平均値を推測するだけの定数モデルでは､ 146の誤差に終わる｡
146よりもいい結果を出したいと思っている｡
そうでなければ､ 定数にこだわる方がいい｡
基本的な特徴を持つ､ 非常に単純化された従来の機械学習を使ったところ､ 139の結果が出た｡
覚えているかい？
まあ､ ランダムフォレストという､ より洗練されたアルゴリズムで､ 言語や単語を調べて､
97まで下がればいいんだけどね｡
この人間は127で下手な仕事をした｡
GPT4だね｡
ああ､ あの大男は実によくやったよ｡
76歳､ バス・ラマ3世｡ 1､ 未訓練､ 4ビットに量子化され､ 396ドルのエラーを出した｡
訓練されていないラマを使うより､ 一定にこだわる方がずっといい｡
可哀想に､ 特にうまくはなかった｡
だから､ もう1度､ このことを確認する｡
問題は､ GPT4は何兆ものウェイトを持つモデルだということだ｡
GPT4は1だった｡ 76兆GPT 4
定かではないが､ それ以上のものだと考えられている｡
だからウェイトの数は膨大だ｡
ラマ 3. 1つのベースには80億の重みがあり､ 我々はそれを4ビットにまで減らした｡
そして､ 私たちの色を使った｡
申し訳ない｡
私たちのローラ・アダプターは109MBの価値があり､ 適応するために使用できる余分なウェイトを置くことができる｡
ラマのレンマ3｡ 1ベースだが､ これはまだ少数であり､ 明らかにこれはオープンソースモデルである｡
だから､ フロンティアでこのようなモデルと競争しようとするのは､ 明らかに大変なことだと期待させるために､ このようなことを言っているんだ｡
注目しなければならないのは､ 従来の機械学習よりもうまくやれるかどうかということだ｡
人間以上のことができるだろうか？
確かに｡
一定以上の結果を残せるか？
また､ GPTの4人と比較した場合､ 私たちはどうなのだろうか？
だから､ リーディング・フロンティア・モデルは､ GPT4やミニとも比較できる｡
だから､ その背景がわかる｡
このことを心に留めておいてほしい｡
これから起こることに備えて､ 数字を書き留めておくのもいいかもしれない｡
そして､ 私たちはColabに向かい､ 私たち自身の縦割りに特化した､ えー､ オープンソースモデルのトレーニングから得られた､
ベストで最強のチェックポイントで推論を実行する時なのだ｡