トーケナイザーの活躍をご覧いただき､ ありがとうございます｡
これから見ていくのは､ モデルのインストラクター分散と呼ばれるものだ｡
そのため､ ユーザーとチャットで会話をするために特別に設計された､
チャット用に微調整されたモデルがたくさんあります｡
つまり､ システムメッセージ､ ユーザーメッセージ､ アシスタンスレスポンスを識別する特別なトークンのセットを持つ特定の構造のプロンプトを期待するように訓練されているので､
一種のチャットを形成している｡
そして､ それは単に十分な例で訓練された方法の一部に過ぎない｡
というのも､ フロンティア・モデルで遊んでいたときに慣れ親しんだ､
メッセージやディクテット（辞書）のリストという構造の理由について､
私が少し前に種をまいたことがあったからだ｡
というわけで､ 今回はメタ・レンマ3を使ってトークナイザーを作ってみようと思う｡ 180億のインストラクター・バリアント｡
だから､ これは見覚えがあるだろう｡
これは､ OpenAIやClaudeなどでよく使うディクテーションのリストのひとつで､
ロールとコンテンツを指定する｡
Huggingfaceが提供するトークナイザーは 特別な関数を持っています チャットテンプレートを適用し OpenAI APIフォーマットで
このフォーマットのメッセージを受け取ります そしてこの特定のモデルで使用される 適切な構造に変換します このモデルが期待しているプロンプトのタイプは
それが訓練された方法であることを考慮します ここでtokenized equals trueを指定した場合 返ってくるのは単なる数字の羅列で 何が起こっているのかわかりません
だから､ トークン化イコールfalseにしたんだ｡
だから､ 私たちに戻ってくるのは､ そのテキスト版になる｡
そして､ この会話を推論するときに､ これが何に変換されてモデルに送り込まれるのかがわかるように､
これを印刷します｡
特別なトークンのテキストで始まり､ ヘッダーがある｡
そして､ システムという言葉をシステムにして､ ヘッダーを終了する｡
そして､ そこにはカット知識の日付と今日の日付についての情報が押し込まれている｡
それは特別なことだ｡
それにラマ3だと思う｡ 1のことだ｡
以前のリャマの家族にはそのような記憶はないが､ 間違っているかもしれない｡
それから､ これはもちろん､ 私たちがここで提供したシステムメッセージです｡
それから､ ユーザーとヘッダーの開始ヘッダーがもう一つある｡
そして､ これがユーザーメッセージだ｡
それから､ 別の開始ヘッダーがあり､ アシスタントという言葉があり､
そして終了ヘッダーがある｡
つまりこれは､ この後に続くのは､ このシステム指示に続くプロンプトに応答してアシスタンスが言ったことであるべきだ､
というモデルのお膳立てのようなものだ｡
だから､ これがあなたにとってハッとするような瞬間であってほしい｡ どうすればこのような構造を持つことができるのか､ おわかりいただけただろうか？
そして､ モデルとの会話について､ あなたはこう考えるかもしれない｡
しかし､ 結局のところ､ モデルに投入されるのは､ 特別なトークンが混じったこのようなプロンプトだ｡
そして､ そのような構造､ 特別なトークンで訓練されているため､ 次に何が必要か分かっている｡
とアシスタンスは答える｡
というわけで､ チャットのインターフェースについて説明しよう｡
もう少しモデルを使って経験を積もう｡
私は特に3つのモデルを選ぶつもりだ｡
ファイ3はマイクロソフトのモデル｡
クイン2は､ アリババ・クラウドが提供するこの強力なモデルだ｡
スターコーダー2は､ コードを生成するために設計されたモデルだ｡
ServiceNowとNvidiaの3社が協力し､ 顔をくっつけ､ 顔をくっつけ､
顔をくっつけ､ 顔をくっつけ､ 顔をくっつけ､ 顔をくっつけ......この3社が提携して､
このスター・コーダーを作り､ この特別なモデルを作った｡
オーケー｡
では､ ファイ3に挑戦してみよう｡
そこで､ まったく同じアプローチで､ 事前に訓練された自動トークナイザーを使い､ モデルを提供する｡
そして今､ 私は同じ文章を書いている｡
LLMのエンジニアたちに､ トーケナイザーの動きを見せるのが楽しみだ｡
前回のザ・ラマ3を再掲する｡ 1 トークンがどのように見えるかを思い出させるTokenizersの結果｡
それから空白の行を入れ､ ファイ3をプリントする｡
そして問題は､ 一日の終わりに､ 基本的に同じトークンを生産するのか､ それとも違うのかということだ｡
見てみよう｡
まあ､ 両者がまったく違うことはすぐにわかるだろう｡
彼らは違うんだ｡
生成されたテキストが違うだけでなく､ メッセージの特別なトークンの始まりであるこの最初のテキストもまったく違う｡
ええと､ バッチデコードをして､ それを見てみましょう｡
トーケナイザー｡
ドットバッチデコード｡
トークンと言わざるを得ない｡
イコールである｡
トークン
何が出てくるか見てみよう｡
そして､ まったく違うものを手に入れた｡
そして実は､ 興味深いことに､ 1秒前に言ったことは間違っていた｡
53の場合は文頭の特殊トークンがないので､ そのまま文頭に入る｡
だから､ それは非常に異なるアプローチなんだ｡
分かった｡
適用されたチャットテンプレートを使って､ 53がどのようにチャットテンプレートを使うか見てみよう｡
まずはラマにもう一度やってみよう｡
だから､ リャマに会うことになる｡
そして､ 同じ会話､ 同じプロンプト53のチャットテンプレートを並べて印刷します｡
どう見えるか見てみよう｡
つまり､ これはラマに相当するもので､ ファイ3に相当するものはこちらだ｡
明らかにもっと短い｡
日付が変わっても通過しない｡
そして興味深いことに､ Lamaの構造がヘッダー､ システム､ エンドヘッダー､ ユーザー､ エンドヘッダーという構成だったのに対して､
Lamaはヘッダー､ システム､ エンドヘッダーという構成になっている｡
ファイ3の場合は､ システム用の特別なタグとユーザー用の特別なタグ､ アシスタント用の特別なタグがあるだけだ｡
だから､ まったく違うアプローチなんだ｡
この2つのトークナイザー､ この2つのモデルは､ プロンプトがどのように送信されるかについて異なるアプローチを持っているというのは､
実に興味深いことです｡
だから､ もし間違ったモデルに間違ったトークナイザーを使ったら､ ゴミになってしまうという印象を持ってもらえればいいんだけど､
トークンが違ったり構造が違ったりすると､ llama 3にとっては無意味になってしまうのは明らかだからね｡
そして今度は､ クイン2についても同じことをやってみよう｡
オリジナルのラマ・バージョンを見るつもりだ｡
そして､ ファイ3バージョンとファイ2バージョンをお見せします｡
来たぞ｡
この3つのトークナイザーで､ まったく異なる結果が得られることは明らかだ｡
それと､ もう1回ハイライトを｡
適切なモデルに適切なトークナイザーを選ばなければならない｡
チャットテンプレートを適用して､ ジョークを言うという同じメッセージのチャットテンプレートをもう一度見てみましょう｡
それはリャマのために見ることにしよう｡
そして5-3､ クイン-2......｡
どんなものか見てみよう｡
リャマのものはすでに見た｡
53年のものはすでに見た｡
そして､ これがクイン2のものだ｡
その中間のようなものだ｡
ラマに少し似ている｡
イム・スタート､ イム・エンド､ そしてシステムがここにある｡
次にユーザー､ そしてアシスタント｡
つまり､ この2つの中間ということになる｡
ええと､ 単語の間に何かが入っているわけではないんだ｡
ヘッダーの特別なタグはない｡
ただ､ その､ このアプローチなんだ｡
だから､ 第3のアプローチ､ 別のバリエーション､ 別の特別なトークンというのはまた面白い｡
分かった｡
そして最後に､ スターコーダー2をお見せしよう｡
これはコード生成モジュールである｡
トークン化する｡
そこにこのコードを入れる｡
Hello world a def hello world uh person 変数を取る｡
そして､ ハローと印刷される｡
そしてその人｡
そして､ 同じエンコードを使ってトークンに変換する｡
そして､ 各トークンの後に､ そのトークンは何にマッピングされ､ そのテキストは何を表しているのか？
ここでわかることは､ 最初に何かがあり､ 次にdefが1つのトークンに入り､ 次にhello
underscore world､ そしてpersonということだ｡
これは明らかにタブを反映し､ ハローカンマの人を閉じ括弧で囲んで印刷する｡
つまり､ スターコーダー・ツー・トークナイザーは､ 英語ではなくコードをトークン化するために設計されたトークナイザーなのだ｡
そして､ いくつかできる実験もある｡
まずは､ さまざまなトークナイザーを試して､ テキストからトークンへのマッピングを探ってみよう｡
どの単語が使われているか調べる
リャマに含まれるトークンが1つである､ 可能な限りレアな単語を探してみてください｡
トークナイザーとか､ 一番長い単語とか､ そんな感じかな｡
いくつか実験をして､ それから満足するんだ｡
かなり複雑なコードであっても､ star coder tos tokenizerの方が､
英語専用のトークナイザーよりも効率的にトークン化できることがお分かりいただけるはずです｡
そしてその時点で､ あなたはオープン・ソース・トークナイザーの世界におけるエキスパートとなり､ 次のピースであるモデルに挑戦する準備が整うだろう｡
まず､ スライドに戻ろう｡