You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

154 lines
6.8 KiB

WEBVTT
00:00.140 --> 00:02.960
以前、 ヴェラムというAI企業の話をした。
00:03.530 --> 00:08.780
さまざまな質問について話していたとき、
00:08.780 --> 00:25.520
彼らはGPTフォーゼロ・アンド・ゼロワン・プレビュー・ヴェラムがリーダーボードを発表していることを思いついた。
00:25.520 --> 00:30.650
そして、 私たちが目の前のタスクに適したLLMを選ぶことについて話すときに見てみましょう異なるリーダーボードの束があります。
00:30.680 --> 00:39.500
ブックマークしておいて損はないが、 特にベラムのウェブサイトには便利なことが書いてある。
00:39.530 --> 00:45.890
そのポップアップによると、 ヴァリマイLLMのリーダーボードのウェブサイトの約半分、
00:45.890 --> 00:54.050
ここにあり、 さまざまなフロンティアモデルのコストとコンテキストウィンドウを比較した表だ。
00:54.080 --> 00:58.550
特にコストの話をするときに、 手元にあると本当に便利なんだ。
00:58.580 --> 01:02.390
まず最初に、 私たちが話したコンテキスト・ウィンドウについて触れておこう。
01:02.390 --> 01:11.910
つまり、 最大のコンテクストウィンドウを持つモデルはジェミニ1ということになる。 5フラッシュで、 とんでもないコンテキストウィンドウを持っている。
01:11.940 --> 01:12.900
とんでもない。
01:12.900 --> 01:15.210
100万トークン。
01:15.210 --> 01:25.350
100万トークンとは、 通常の英語では約75万語を意味し、 シェイクスピア全集には遠く及ばない。
01:25.380 --> 01:29.040
思い起こせば、 私たちはそれが1だと考えていたと思う。 おそらく200万トークンだろう。
01:29.280 --> 01:39.210
つまり、 双子座1号を生成し続けるために、 シェイクスピア全集を双子座に1回のプロンプトでほとんど収めることができるのだ。
01:39.210 --> 01:39.210
5フラッシュ
01:39.210 --> 01:43.560
つまり、 非常に広いコンテクスト・ウィンドウなのだ。
01:43.590 --> 01:59.250
クロード・シリーズのモデルは20万トークンのコンテクスト・ウィンドウを持ち、 GPTセットは主に12万8000トークンのコンテクスト・ウィンドウを持つ。
01:59.280 --> 02:11.910
繰り返しになるが、 1つの会話における一連のプロンプト、 会話における入力、 応答、 次の入力、 応答、 そして冒頭のシステム・プロンプトのすべてを意味することを覚えておいてほしい。
02:11.910 --> 02:14.730
それらはすべて、 そのコンテクストウィンドウの中に収まらなければならない。
02:14.730 --> 02:28.770
各トークンは一度にひとつずつ生成され、 それが渡されると、 それ以前のすべての入力と出力を考慮して次のトークンを生成するからだ。
02:29.250 --> 02:32.280
だから、 それがコンテキスト・ウィンドウに収まらなければならない。
02:32.280 --> 02:36.930
しかし、 128,000トークンにはそのためのスペースがたくさんある。
02:36.930 --> 02:39.570
10万語くらいかな。
02:39.780 --> 02:44.670
これがコンテキスト・ウィンドウのサイズの見方だ。
02:44.670 --> 02:48.480
そして今、 私たちはその代償を感じている。
02:48.480 --> 03:01.140
そして、 一見したところ、 クロード3のようなものを取れば、 これは決して激安には見えないと思うかもしれない。
03:01.140 --> 03:01.140
5ソネットは、
03:01.170 --> 03:01.770
私が地球上で最もパワフルなLLMで頻繁に使っているものだ。
03:01.770 --> 03:10.410
たいていの尺度では、 そのコストは入力トークン1個につき3ドル、 出力トークン1個につき15ドルであることがわかるだろう。
03:10.440 --> 03:15.760
かなり高く聞こえるが、 そうではなく、 インプット・トークン1つにつき3ドルではないからだ。
03:15.760 --> 03:21.580
100万投入トークンあたり3ドルだ。
03:21.580 --> 03:29.200
つまり、 入力プロンプトにシェイクスピア全集と入力すれば、 3ドルより少し高い金額を支払うことになる。
03:29.200 --> 03:34.570
だから、 これらの数字には意味があり、 注意しなければならない現実の数字であること、
03:34.570 --> 03:41.290
そして、 それぞれのダッシュボードを表示し、 APIコストを注意深く監視することができることを伝えたい。
03:41.320 --> 03:46.690
通常、 このコースでやることは、 短いビジネス質問をし、 物事を要約し、
03:46.690 --> 03:51.160
素早く結論を導き出そうとすることだ。
03:51.220 --> 03:58.720
ほとんどの場合、 1セント未満、 端数ドル未満で済むことがわかるだろう。
03:58.750 --> 04:08.140
最もよく使うモデルはGPT4ミニで、 コストは0ドルだ。 100万投入トークンあたり15ドル、
04:08.170 --> 04:12.910
0ドル。 100万出力トークンあたり60ドル。
04:12.910 --> 04:19.060
また、 これらは大規模なモデルであり、 これらを実行し、
04:19.060 --> 04:31.780
私たちが得られるような質の高い結果を提供するためには、 多くの計算が必要であることを念頭に置く必要がある。
04:31.840 --> 04:37.060
これらのAPI費用は、 状況的に非常に合理的であると私には思える。
04:37.060 --> 04:42.850
これで、 これらの費用がどのようなもので、 どのような意味を持つのか、 多少なりとも明確になり、 見通しがつくといいのだが......。
04:42.850 --> 04:52.570
合計コストは、 入力トークンのコストにこの数をかけたものと、 生成された出力トークンのコストの合計となる。
04:52.570 --> 04:59.890
また、 APIでは、 生成する出力トークンの最大数を指定することができる。
05:00.070 --> 05:03.340
ええと、 これで費用の感覚はつかめたと思う。
05:03.340 --> 05:08.170
このページをブックマークして、 いつでも見られるようにしておくといい。
05:08.200 --> 05:11.620
これらのコストをどのように考えるべきか、 もう少し明確にしよう。
05:11.620 --> 05:15.760
そして、 私が言うように、 それが本当に意味を持つようになるのは、
05:15.790 --> 05:22.600
モデルに1000回コールするようなシステムを構築するときだ。