WEBVTT 00:01.400 --> 00:08.090 LMSで商業的な問題を解決するという私たちの戦略を継続し、 00:08.090 --> 00:13.040 ステップ4に進む。 00:13.310 --> 00:19.220 事前に訓練されたモデル、 あるいは既存のフロンティアモデルを超えて、 00:19.220 --> 00:21.530 より多くの力を引き出す。 00:21.770 --> 00:26.930 そのうちの2つは私たちが使ってきたもので、 そのうちの1つは、 00:27.110 --> 00:33.170 マルチショット・プロンプト、 複数のプロンプトがある場合のチェイニング、 00:33.170 --> 00:36.170 ツールの使用といったものです。 00:36.170 --> 00:39.800 これらはすべて、 より良い結果を得るための方法だ。 00:39.920 --> 00:44.360 もちろん、 今では超お馴染みのラグもある。 00:44.360 --> 00:50.270 私は、 あなた自身の人生について知識を深めるための余分なプロジェクトができたことを望んでいる。 00:50.540 --> 01:00.140 ボロ布があり、 そしてファインチューニングという新しいものがある。 01:00.140 --> 01:03.260 これが3つのテクニックだ。 01:03.260 --> 01:07.160 そして、 そこには確かに多くの混乱がある。 01:07.190 --> 01:08.870 質問されることはたくさんある。 01:08.870 --> 01:12.140 どの場面でどのテクニックを使うか、 どうやって決めるのか。 01:12.140 --> 01:17.390 もちろん、 すべてのテクニックを併用することも可能だが、 普通は、 少なくとも最初は、 01:17.390 --> 01:19.730 ひとつに集中するものだ。 01:19.730 --> 01:25.520 そして、 最初の2つのテクニックは推論時間のテクニックであることを指摘する価値がある。 01:25.520 --> 01:31.490 これらは、 訓練されたモデルを推論時に、 より多くの力を引き出す方法を見つけ出すというものだ。 01:31.490 --> 01:35.930 そして3つ目は、 トレーニングの時間、 テクニックだ。 01:35.930 --> 01:41.720 つまり、 事前に訓練されたモデルを使って、 より多くのデータを供給し、 重みを微調整して、 01:41.720 --> 01:46.790 問題を解決する能力をさらに高める方法を考えようということだ。 01:47.510 --> 01:57.470 そこで、 それぞれのテクニックの利点について、 プロンプトを出す際にとても手短にお話ししましょう。 01:57.500 --> 02:08.990 私たちはこのように素早く、 簡単に、 さまざまなプロンプトを出すことができた。 02:08.990 --> 02:10.280 それを再現すればいい。 02:10.280 --> 02:20.480 LLMへのプロンプトメッセージを継続的に改善し、 より良い結果を得ることは簡単だ。 02:20.600 --> 02:25.280 そして、 通常、 それによって非常に早く直接的な改善が見られる。 02:25.280 --> 02:32.450 マルチショット、 プロンプト、 背景、 文脈をプロンプトに加えると、 すぐに改善される。 02:32.450 --> 02:34.100 しかも低コストだ。 02:34.130 --> 02:36.650 だから、 プロンプトを使うメリットはたくさんある。 02:37.520 --> 02:47.240 つまり、 ボロ布は、 LLMを武装させるために、 非常に特定の情報を抜き出すことができるため、 02:47.300 --> 02:54.650 このような強力な正確さをもたらすという利点があるのだ。 02:54.680 --> 03:09.560 非常にスケーラブルで、 膨大な量のデータが入ってきても、 ラグ・パイプラインが関連するコンテキストを抜き出すことができる。 03:09.710 --> 03:14.630 そして、 それは3つ目のポイント、 つまり、 それができるから効率的だということにつながる。 03:15.140 --> 03:17.390 うーん、 微調整だね。 03:17.390 --> 03:19.670 では、 どんなメリットがあるのか? 03:19.700 --> 03:27.080 そのため、 深い専門知識、 スペシャリストのスキルセットをモデルに組み込むことができる。 03:27.080 --> 03:33.530 非常に微妙なニュアンスで、 何かをするのにとても優れたモデルを作ることができる。 03:33.530 --> 03:36.470 だから、 ただ余分な事実が与えられているわけではない。 03:36.590 --> 03:38.600 あの、 CEOのことなんですが。 03:38.630 --> 03:39.620 CEOの名前は? 03:39.650 --> 03:40.730 エイブリー・ランカスター 03:40.730 --> 03:45.320 エイブリーについての具体的な事実や、 彼女が以前していたことを教えてもらうだけではない。 03:45.500 --> 03:48.350 時間をかけて学んでいくものなんだ。 03:48.380 --> 03:59.000 私はCEOのキャリアを知らないし、 エルム社という保険会社について、 またその文化やコミュニケーションについて学ぶこともない。 03:59.000 --> 04:10.160 そのため、 より深い洞察力を得ることができ、 示されたデータについて推論する、 ほとんど人間のような能力を示すことができる。 04:10.160 --> 04:25.040 つまり、 推論時間のテクニックよりも、 モデルの能力と性能を変える方法の方がはるかに深いということだ。 04:25.280 --> 04:29.210 それによって、 モデルは異なるスタイルやトーンを学ぶことができる。 04:29.360 --> 04:34.190 もちろん、 システム・プロンプトを追加して辛辣なコメディー・スタイルを求めたり、 04:34.190 --> 04:42.710 llmsをバトルさせてGPTの4ゼロを敵に回した初期のように、 プロンプトを出すだけでもある程度は達成できる。 04:42.710 --> 04:45.410 だから、 システム・プロンプトでそれができる。 04:45.410 --> 04:52.250 しかし、 もしあなたが非常に微妙な口調を求めるのであれば、 例えば長年訓練を受けてきたカスタマーサービス・スペシャリストのスタイルを模倣したモデルを求めるのであれば、 04:52.250 --> 04:58.970 彼らには多くのデータを見る必要がある。 04:59.000 --> 05:01.280 学ぶべき事例がたくさんある。 05:01.700 --> 05:09.620 そして4つ目のポイントは、 これはトレーニングに大きな投資を必要とするものですが、 一度トレーニングしてしまえば、 05:09.620 --> 05:13.550 推論時に実行することができるということです。 05:13.550 --> 05:16.250 ラグのようなことをする必要もない。 05:16.250 --> 05:21.050 そうなると、 文脈を調べて、 もう必要のない文脈を提供しなければならない。 05:21.050 --> 05:24.740 すでにモデルの重みに焼き込んでしまったからだ。 05:24.770 --> 05:26.210 だから速くなった。 05:27.020 --> 05:28.820 では、 短所はどうだろう? 05:28.850 --> 05:33.110 さて、 これらの欠点の多くは、 他の欠点の長所から派生したものである。 05:33.110 --> 05:38.810 ええと、 プロンプトの場合、 1つの欠点は、 全体のコンテキストウィンドウによって制限されることです。 05:38.810 --> 05:44.270 もちろん、 プロンプトに突っ込める量は限られるし、 たとえ使い切ったとしても、 05:44.270 --> 05:50.780 ジェミニのようなメガコンテキストウィンドウがあったとしても、 100万個のトークンがあったとしても、 05:50.780 --> 05:56.150 それを覚えているのであれば、 そのコンテキストに大量に突っ込めば、 推論時にそこから学習する量が減り、 05:56.220 --> 06:03.270 明らかにリターンが逓減することがわかる。 06:03.300 --> 06:06.990 推論そのものが遅くなり、 コストもかかる。 06:07.020 --> 06:10.080 より多くの文脈を汲み取る。 06:10.080 --> 06:16.380 また、 より大きな問題を解決するために複数の推論を呼び出すときに、 プロンプト・チェイニングのようなことをしていると、 06:16.410 --> 06:19.890 当然、 すべてが遅くなる。 06:20.670 --> 06:26.370 だから、 いくつかの欠点がある。 06:26.580 --> 06:29.100 ベクターのデータベースが必要なんだ。 06:29.100 --> 06:31.080 ベクター・データベースに入力する必要がある。 06:31.380 --> 06:38.460 もしエイブリー・ランカスターがCEOを退任するのであれば、 06:38.460 --> 06:47.310 おそらく正確なデータを提供し、 最新の状態に保つ必要がある。 06:47.550 --> 06:49.710 ニュアンスに欠ける 06:49.800 --> 06:57.450 データの背後にある深い意味を知る能力がないんだ。 06:57.450 --> 07:03.420 事実と微調整のマイナスを取り上げているだけだ。 07:03.450 --> 07:04.710 もちろんそうだ。 07:04.740 --> 07:05.820 難しいよ。 07:06.150 --> 07:07.920 作る方が難しい。 07:07.950 --> 07:12.180 とても楽しくなりそうだが、 汗だくになりそうだ。 07:12.180 --> 07:13.410 難しいだろうね。 07:13.710 --> 07:16.320 大量のデータが必要だ。 07:16.350 --> 07:18.510 たくさんの例が必要だ。 07:18.570 --> 07:24.360 ええと、 どの程度専門的になりたいかとか、 目的にもよるんだけどね。 07:24.360 --> 07:30.960 しかし、 一般的に言って、 高いデータニーズがあり、 トレーニングコストがかかることは目に見えている。 07:30.960 --> 07:38.910 もうひとつ、 よく語られる詐欺がある。 それは「壊滅的な忘却」と呼ばれるもので、 とても深刻に聞こえる。 07:38.910 --> 07:54.480 壊滅的な忘却というのは、 つまり、 ラマ3のような事前に訓練されたモデルを使った場合のことです。 07:54.480 --> 07:54.480 1、 07:54.480 --> 07:57.480 そしてそれを大量のデータで微調整していけば、 あなたの特定の問題を解決するのにどんどん良くなっていくだろうが、 時間が経てばそうなるだろう。 07:57.510 --> 08:05.220 トレーニング時間が長くなるにつれて、 ベースモデルのベース情報のいくつかを忘れるようになり、 その結果、 08:05.220 --> 08:11.880 トレーニングしている特定の種類の質問以外を行った場合、 品質が低下する可能性があります。 08:12.090 --> 08:21.120 だから、 これは注目されている行動であり、 いくつか懸念される影響もある。 08:21.120 --> 08:27.450 そのため、 ベースモデルの情報を失わないようにする必要がある場合、 それがパフォーマンスに影響するのであれば、 08:27.450 --> 08:30.270 この点には注意が必要だ。 08:31.410 --> 08:32.160 分かった。 08:32.160 --> 08:44.430 最後に、 プロンプトを使うときは、 プロジェクトの出発点として使われることが多いということをお伝えしておこう。 08:44.460 --> 08:49.830 多くの場合、 モデルの最初のバージョンはおそらくフロンティアモデルで、 08:49.830 --> 09:00.780 精度が必要な特定のケースで、 性能を追加する方法としてプロンプトを使用します。 09:00.930 --> 09:06.780 トレーニングに余分なお金をかけたくないし、 既存の知識ベースのデータもある。 09:06.810 --> 09:07.020 それからだ。 09:07.050 --> 09:13.770 そして、 特殊なタスクがあり、 非常に大量のデータがあり、 最高のパフォーマンスが必要な場合は、 09:13.800 --> 09:19.110 ファインチューニングを行う。 09:19.350 --> 09:22.980 それに、 ニュアンスも必要でしょう? 09:22.980 --> 09:28.650 そしてそれはもちろん、 私たちが製品価格予測装置を使っている状況でもある。 09:28.650 --> 09:30.060 私たちには大量のデータがある。 09:30.060 --> 09:31.650 私たちには専門的な仕事がある。 09:31.650 --> 09:39.030 私たちは最高のパフォーマンスを求めているし、 多種多様な商品の価格を区別できるほど、 09:39.030 --> 09:43.410 商品に対するニュアンスの理解を求めている。 09:44.430 --> 09:55.170 さて、 ここでちょっと小休止して、 また戦略のセクションに戻り、 データに戻ってキュレーションに入ります。