以前､ ヴェラムというAI企業の話をした｡
さまざまな質問について話していたとき､
彼らはGPTフォーゼロ・アンド・ゼロワン・プレビュー・ヴェラムがリーダーボードを発表していることを思いついた｡
そして､ 私たちが目の前のタスクに適したLLMを選ぶことについて話すときに見てみましょう異なるリーダーボードの束があります｡
ブックマークしておいて損はないが､ 特にベラムのウェブサイトには便利なことが書いてある｡
そのポップアップによると､ ヴァリマイLLMのリーダーボードのウェブサイトの約半分､
ここにあり､ さまざまなフロンティアモデルのコストとコンテキストウィンドウを比較した表だ｡
特にコストの話をするときに､ 手元にあると本当に便利なんだ｡
まず最初に､ 私たちが話したコンテキスト・ウィンドウについて触れておこう｡
つまり､ 最大のコンテクストウィンドウを持つモデルはジェミニ1ということになる｡ 5フラッシュで､ とんでもないコンテキストウィンドウを持っている｡
とんでもない｡
100万トークン｡
100万トークンとは､ 通常の英語では約75万語を意味し､ シェイクスピア全集には遠く及ばない｡
思い起こせば､ 私たちはそれが1だと考えていたと思う｡ おそらく200万トークンだろう｡
つまり､ 双子座1号を生成し続けるために､ シェイクスピア全集を双子座に1回のプロンプトでほとんど収めることができるのだ｡
5フラッシュ
つまり､ 非常に広いコンテクスト・ウィンドウなのだ｡
クロード・シリーズのモデルは20万トークンのコンテクスト・ウィンドウを持ち､ GPTセットは主に12万8000トークンのコンテクスト・ウィンドウを持つ｡
繰り返しになるが､ 1つの会話における一連のプロンプト､ 会話における入力､ 応答､ 次の入力､ 応答､ そして冒頭のシステム・プロンプトのすべてを意味することを覚えておいてほしい｡
それらはすべて､ そのコンテクストウィンドウの中に収まらなければならない｡
各トークンは一度にひとつずつ生成され､ それが渡されると､ それ以前のすべての入力と出力を考慮して次のトークンを生成するからだ｡
だから､ それがコンテキスト・ウィンドウに収まらなければならない｡
しかし､ 128,000トークンにはそのためのスペースがたくさんある｡
10万語くらいかな｡
これがコンテキスト・ウィンドウのサイズの見方だ｡
そして今､ 私たちはその代償を感じている｡
そして､ 一見したところ､ クロード3のようなものを取れば､ これは決して激安には見えないと思うかもしれない｡
5ソネットは､
私が地球上で最もパワフルなLLMで頻繁に使っているものだ｡
たいていの尺度では､ そのコストは入力トークン1個につき3ドル､ 出力トークン1個につき15ドルであることがわかるだろう｡
かなり高く聞こえるが､ そうではなく､ インプット・トークン1つにつき3ドルではないからだ｡
100万投入トークンあたり3ドルだ｡
つまり､ 入力プロンプトにシェイクスピア全集と入力すれば､ 3ドルより少し高い金額を支払うことになる｡
だから､ これらの数字には意味があり､ 注意しなければならない現実の数字であること､
そして､ それぞれのダッシュボードを表示し､ APIコストを注意深く監視することができることを伝えたい｡
通常､ このコースでやることは､ 短いビジネス質問をし､ 物事を要約し､
素早く結論を導き出そうとすることだ｡
ほとんどの場合､ 1セント未満､ 端数ドル未満で済むことがわかるだろう｡
最もよく使うモデルはGPT4ミニで､ コストは0ドルだ｡ 100万投入トークンあたり15ドル､
0ドル｡ 100万出力トークンあたり60ドル｡
また､ これらは大規模なモデルであり､ これらを実行し､
私たちが得られるような質の高い結果を提供するためには､ 多くの計算が必要であることを念頭に置く必要がある｡
これらのAPI費用は､ 状況的に非常に合理的であると私には思える｡
これで､ これらの費用がどのようなもので､ どのような意味を持つのか､ 多少なりとも明確になり､ 見通しがつくといいのだが......｡
合計コストは､ 入力トークンのコストにこの数をかけたものと､ 生成された出力トークンのコストの合計となる｡
また､ APIでは､ 生成する出力トークンの最大数を指定することができる｡
ええと､ これで費用の感覚はつかめたと思う｡
このページをブックマークして､ いつでも見られるようにしておくといい｡
これらのコストをどのように考えるべきか､ もう少し明確にしよう｡
そして､ 私が言うように､ それが本当に意味を持つようになるのは､
モデルに1000回コールするようなシステムを構築するときだ｡