ようこそ｡
3週目だ｡
4日目だ｡
私たちはオープンソースの土地での冒険に戻り､ オープンソースのモデル上で推論を実行する方法を調査している｡
そして今日は､ 『ハギング・フェイス』のモデルクラスを見てみよう｡
当初はパイプラインAPI､ つまりハイレベルAPIについて話をした｡
その後､ 低レベルのAPIについて話し始めた｡ トーケナイザーから始まり､ 今度はモデルについてだ｡
では､ すでに何ができるのか？
もちろん､ フロンティアモデルを使ったコーディングに加え､ マルチモーダルAIアシスタントの構築や､
現在できることは､ 抱き顔､ パイプライン､ トークナイザーを使うことだ｡
新しいスキル､ 新しいクラス｡
実際にトランスフォーマーを作成し､ それを実行してテキストを生成するのだ｡
そして､ 5つの異なるモデルの結果を比較する｡
そのうちの3つを一緒にやって､ あとの2つで実験してもらうつもりだ｡
だから､ とても楽しいはずだよ｡
だから､ モデルたちはそれを導入した｡
今回もリャマ3世と仕事をすることになる｡ 1､ metaのフラッグシップで画期的なモデル｡
今回は､ マイクロソフトのオープンソースモデルであるファイ3と､ グーグルのジェンマを取り上げる｡
小さいよ｡
ジェミニのいとこにあたるのがグーグルのジェンマだ｡
他にも2つのモデルがあるので､ 自分で試してみてほしい｡
一人はミストラルのミストラルで､ もう一人はクイン2の強豪だ｡
そしてQuantuを楽しんで使ってほしい｡
そこで今回は､ ハギング・フェイス・フレームワークでオープンソースのモデルを扱う際の3つの側面についても取り上げます｡
その最初のものは量子化と呼ばれるものだ｡
そしてこれは､ モデルの重みの精度を下げることで､ メモリに収めやすくし､ ロードしやすくし､
さらに高速に実行できるようにすることである｡
量子化というのは､ 例えばローエンドのGPUボックスで作業することを可能にする非常に重要なテクニックだ｡
そしてトレーニングに入ると､ 量子化を使えるかどうか､ 大規模なオープンソースモデルをトレーニングできるかどうかが絶対的に重要になる｡
実際､ 私が言っているのを聞いたことがあると思うが､ 今､ Qローラ､ これは数週間後に使うテクニックの名前だ｡
そしてQとQ､ ローラは量子化を意味する｡
だから､ この旅では量子化に何度か直面することになる｡
今日はモデルの内部も見てみよう｡
だから､ このクラスは理論的というより実践的なクラスなんだ｡
しかし､ これはその瞬間のひとつになるだろう｡
そして､ ハグする顔のトランスフォーマーライブラリの後ろにあるPyTorchレイヤーがどのようなものか､
中を覗いてみよう｡
そしてまた､ 我々はこの時点でストリーミングに慣れ親しんでいるので､ 結果をストリーミングできるようにしたいということはほとんど言うまでもない｡
そこで､ オープンソースのモデルを使って､ どのように結果を出すことができるかを紹介しよう｡
このように､ ハグフェイスのための低レベルのAPI上で推論を実行するための航海の中で､ 私たちが調べようとしているのは､
ちょっとした余分な部分なのだ｡
話はもう十分だ｡
さっそく始めよう｡