さて､ トークンについて少し話をしよう｡
トークンとは､ モデルに渡される個々のユニットのことである｡
ニューラルネットワークを構築した初期には､ 一文字ずつ学習させたニューラルネットワークをよく見かけたものだ｡
つまり､ 一連の個々の登場人物をモデル化し､ 前に登場した人物から､
次に登場する可能性の高い人物を予測するように訓練するのだ｡
あれは特殊なテクニックで､ ある意味､ 多くの利点があった｡
つまり､ 入力可能な数は限られており､ アルファベットといくつかの記号の数だけだった｡
つまり､ 非常に扱いやすいボキャブラリーサイズだったということだ｡
そして､ そのウェイトが必要なのだから､ インプットに多くの異なる可能性を心配する必要はない｡
しかし､ 一連の異なる文字がどのようにして単語になるのかを理解するという点で､
モデルには多くのことが要求され､ 単語の背後にある意味に関連するすべての知性をモデルの重みの中に取り込まなければならない｡
そこで私たちは､ 可能性のある単語をひとつひとつ訓練してニューラルネットワークを構築した｡
それは辞書のようなもので､ ありとあらゆる単語の索引のようなものだ｡
そして､ トークンが持つ可能性のある単語は､ これらの可能性のある単語のいずれかである可能性がある｡
つまり､ 一連の文字がどのような意味を持つかを理解するのではなく､ 個々の単語がそれぞれ異なる意味を持つことをモデル自体が理解し始めたのだ｡
だから､ それはいいことだった｡
しかし､ その結果､ 膨大なボキャブラリーを抱えることになった｡
可能な限りの単語をボキャブラリーとして持っておく必要があった｡
もちろん､ 地名や人名もあるので､ 可能性のある単語はたくさんある｡
だから､ 未知の言葉には特別なトークンが必要だった｡
そして､ そのためにいくつかの制限が生じた｡
珍しい言葉は省略され､ 特別な場所は省略されなければならなかった｡
それで､ いくつか奇妙なことが起きた｡
そしてGPTの頃､ ある発見がなされた｡ 個々の文字に基づいてモデルを訓練し､ それらを組み合わせて単語を形成する方法を学習させるのではなく､
この2つの両極端の中間に､ ある種の幸福な媒体があるという画期的な発見がなされたのだ｡
各単語が異なるトークンであると言うのではなく､ 文字のかたまり､ あるときは完全な単語を形成し､
あるときは単語の一部を形成するかたまりをトークンと呼び､ 一連のトークンを受け取り､
渡されたトークンに基づいてトークンを出力するようにモデルを訓練することができる｡
そして､ これには多くの興味深い利点があった｡
そのひとつは､ 物事をトークンに分解することで､ 地名や固有名詞のようなものも扱えるようになることだ｡
トークンの断片が増えるだけだ｡
それは､ 単語の語幹､ つまり同じ語頭と複数の語尾の可能性があるものを1つのトークンにエンコードし､
その後に2つ目のトークンをいくつか並べるという処理に長けているということだ｡
つまり､ トークンが同じような構造を持っているので､ 言おうとしていることの根本的な意味をモデルの中で簡単に表現することができた｡
もう少し現実的な話をしよう｡
GPT､ OpenAIは実際にプラットフォームopenaiであるツールを提供しています｡ comのスラッシュ・トークナイザーで､ テキストを入力して､
そのテキストがトークンにどのように変換されるかを視覚的に見ることができる｡
そこで私はある文章を取り上げた｡ 私のクラスのAIエンジニアにとって重要な文章だ｡
GPTがそれをトークン化しているのがわかるだろう｡
これは､ 言葉をトークンに変えるときに使う動詞だ｡
そして､ それをどのようにトークンに変えたかを色分けして強調している｡
そしてこの場合､ これらはすべて一般的な単語であるため､ これらの単語のひとつひとつがひとつのトークンに正確に対応する｡
だから､ これは明確な例だ｡
色を見ればわかるだろう｡
もうひとつ､ 少し興味深い点がある｡
色つきのボックスの中には､ 例えば "for "の前にスペースが入っているものがある｡
まるで宇宙のようだ｡
そして､ それが形骸化したものだ｡
トークン化の際､ 単語と単語の間の区切りにも意味があるからだ｡
このトークンはforという単語を単独で表し､ 単語の頭に続くforという文字が1つのトークン､
トークンの単語の頭にマッピングされる｡
でもね｡
しかし､ 単語と単語の間のギャップがトークンの一部として含まれることは注目に値する｡
では､ 別の例を挙げてみよう｡
この例では､ もう少し面白い文章､ つまりLMの魔術師である私のマスタリングのために絶妙に手作りされた小ネタを考えている｡
Musterersは造語だと思う｡
ご覧のように､ 赤い四角いアンダーラインは､ それが本当の言葉ではないことを示している｡
トークン化がどのように行われたかを見てみよう｡
だから､ この4はまだ1つの単語としてここにある｡
しかし､ 冒頭のアンもそうだが､ 絶妙に複数のトークンに分割されている｡
絶妙だ｡
そしてこれは､ 珍しい単語がある場合､ その単語がボキャブラリーの中に1単語として含まれていないことを示している｡
そのため､ 複数のトークンに分割しなければならなかったが､ それでも通過させることができた｡
そして今､ ハンドクラフトという言葉を見てほしい｡
このボキャブラリーも単一のトークンとして持っているわけではなく､ それを手で分解して作ることができるのだ｡
そしてそれは､ ある意味､ 意味を反映している｡
この2つの手を組み合わせて作られる｡
そして､ 細工されたトークンには文頭が含まれていないこともわかるだろう｡
つまり､ 真ん中に細工が施された単語を表すトークンなのだ｡
それがこのトークンに反映されている｡
その口癖がまったくないことがわかるだろう｡
侵入されて､ それで......マスタリーを見ることになる｡
そしてこれは､ 私が語幹について言ったことの良い例である｡
Masteriesはmaster､ つまりマスターする人という動詞と､
その延長線上にあるerrsに分かれる｡
実際の単語ではないにもかかわらず､ 2つのトークンに分割することで､ 私たちが言おうとしていることの意味を反映することができるのです｡
また､ 魔術が魔女と工芸に分かれたのも興味深い｡
それで､ そう､ 手作りなんだ｡
そしてマスターは､ 私が言ったように､ トークンによってそこにどのように意味が反映されているかがわかるだろう｡
そして､ 何かをトークンに分解するということがどういうことなのか､ これが本当の意味での洞察になることを願っている｡
そこで興味深いのは､ もう少し洗練された例をお見せすることだ｡
ええと､ 私の好きな番号､ 6534589793238462643383らしい｡
ブラブラブラ｡
円周率のような長い数字は､ もちろん1つのトークンには対応しない｡
そして実際､ ここで起こっているのは､ 3桁の数字が1つのトークンにマッピングされているということだ｡
これは興味深い性質だ｡
実はこれはGPTの2つのトークナイザーの特性なのだが､ 他の多くのケースはそれほど多くない｡
複数のトークンにマッピングされていることがわかるだろう｡
一般的に言って､ トークンを見るときに覚えておくと便利な経験則があります｡
経験則では､ 平均して1トークンは約4文字に対応する｡
つまり､ 通常の英文では､ トークンは単語の4分の3程度ということになる｡
1トークンは約0に相当する｡ 75語｡
そして､ それをより簡単に考える方法もある｡
つまり､ 1000トークンは約750ワードということだ｡
だから､ これがあなたの頭の中にあるマッピングなんだ｡
1000トークンは750ワードである｡
ということは､ 例えばシェイクスピア全集で､ 実際の例を挙げれば､
約90万語ということになる｡
だから1. 200万トークンといえば､ シェークスピア全集のサイズだ｡
さて､ これは英語の話だ｡
数学の公式や科学用語､ コードなどを見ている場合､ トークン数はもっと多くなる｡
数字で見たように､ 右の記号などを組み込むにはもっと多くのトークンに分割する必要があるからだ｡
そして､ もうひとつのポイントは､ これはGPTトークナイザーを示しているということだ｡
トーケナイザーがどのように機能すべきかについて､ 確固たるルールはない｡
実際､ 1分前に見たように､ 初期の頃はトークナイザーがあり､
すべての文字が1つのトークンにマッピングされていた｡
オープン・ソースを後で見るときには､ いろいろなトークナイザーに触れることになる｡
そして､ Llamaのトークナイザーの興味深い特性も探求するつもりだ｡
だから､ トークナイザーによって動作が異なることがある｡
トークンの数が少なかったり､ 多かったりすることには賛否両論がある｡
モデルのパラメーターの数や学習方法などによって､ 答えは一つではない｡
言葉や文字からトークンの世界に入るということがどういうことなのか､
少しはわかってもらえただろうか｡