You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

337 lines
13 KiB

WEBVTT
00:01.400 --> 00:08.090
LMSで商業的な問題を解決するという私たちの戦略を継続し、
00:08.090 --> 00:13.040
ステップ4に進む。
00:13.310 --> 00:19.220
事前に訓練されたモデル、 あるいは既存のフロンティアモデルを超えて、
00:19.220 --> 00:21.530
より多くの力を引き出す。
00:21.770 --> 00:26.930
そのうちの2つは私たちが使ってきたもので、 そのうちの1つは、
00:27.110 --> 00:33.170
マルチショット・プロンプト、 複数のプロンプトがある場合のチェイニング、
00:33.170 --> 00:36.170
ツールの使用といったものです。
00:36.170 --> 00:39.800
これらはすべて、 より良い結果を得るための方法だ。
00:39.920 --> 00:44.360
もちろん、 今では超お馴染みのラグもある。
00:44.360 --> 00:50.270
私は、 あなた自身の人生について知識を深めるための余分なプロジェクトができたことを望んでいる。
00:50.540 --> 01:00.140
ボロ布があり、 そしてファインチューニングという新しいものがある。
01:00.140 --> 01:03.260
これが3つのテクニックだ。
01:03.260 --> 01:07.160
そして、 そこには確かに多くの混乱がある。
01:07.190 --> 01:08.870
質問されることはたくさんある。
01:08.870 --> 01:12.140
どの場面でどのテクニックを使うか、 どうやって決めるのか。
01:12.140 --> 01:17.390
もちろん、 すべてのテクニックを併用することも可能だが、 普通は、 少なくとも最初は、
01:17.390 --> 01:19.730
ひとつに集中するものだ。
01:19.730 --> 01:25.520
そして、 最初の2つのテクニックは推論時間のテクニックであることを指摘する価値がある。
01:25.520 --> 01:31.490
これらは、 訓練されたモデルを推論時に、 より多くの力を引き出す方法を見つけ出すというものだ。
01:31.490 --> 01:35.930
そして3つ目は、 トレーニングの時間、 テクニックだ。
01:35.930 --> 01:41.720
つまり、 事前に訓練されたモデルを使って、 より多くのデータを供給し、 重みを微調整して、
01:41.720 --> 01:46.790
問題を解決する能力をさらに高める方法を考えようということだ。
01:47.510 --> 01:57.470
そこで、 それぞれのテクニックの利点について、 プロンプトを出す際にとても手短にお話ししましょう。
01:57.500 --> 02:08.990
私たちはこのように素早く、 簡単に、 さまざまなプロンプトを出すことができた。
02:08.990 --> 02:10.280
それを再現すればいい。
02:10.280 --> 02:20.480
LLMへのプロンプトメッセージを継続的に改善し、 より良い結果を得ることは簡単だ。
02:20.600 --> 02:25.280
そして、 通常、 それによって非常に早く直接的な改善が見られる。
02:25.280 --> 02:32.450
マルチショット、 プロンプト、 背景、 文脈をプロンプトに加えると、 すぐに改善される。
02:32.450 --> 02:34.100
しかも低コストだ。
02:34.130 --> 02:36.650
だから、 プロンプトを使うメリットはたくさんある。
02:37.520 --> 02:47.240
つまり、 ボロ布は、 LLMを武装させるために、 非常に特定の情報を抜き出すことができるため、
02:47.300 --> 02:54.650
このような強力な正確さをもたらすという利点があるのだ。
02:54.680 --> 03:09.560
非常にスケーラブルで、 膨大な量のデータが入ってきても、 ラグ・パイプラインが関連するコンテキストを抜き出すことができる。
03:09.710 --> 03:14.630
そして、 それは3つ目のポイント、 つまり、 それができるから効率的だということにつながる。
03:15.140 --> 03:17.390
うーん、 微調整だね。
03:17.390 --> 03:19.670
では、 どんなメリットがあるのか?
03:19.700 --> 03:27.080
そのため、 深い専門知識、 スペシャリストのスキルセットをモデルに組み込むことができる。
03:27.080 --> 03:33.530
非常に微妙なニュアンスで、 何かをするのにとても優れたモデルを作ることができる。
03:33.530 --> 03:36.470
だから、 ただ余分な事実が与えられているわけではない。
03:36.590 --> 03:38.600
あの、 CEOのことなんですが。
03:38.630 --> 03:39.620
CEOの名前は?
03:39.650 --> 03:40.730
エイブリー・ランカスター
03:40.730 --> 03:45.320
エイブリーについての具体的な事実や、 彼女が以前していたことを教えてもらうだけではない。
03:45.500 --> 03:48.350
時間をかけて学んでいくものなんだ。
03:48.380 --> 03:59.000
私はCEOのキャリアを知らないし、 エルム社という保険会社について、 またその文化やコミュニケーションについて学ぶこともない。
03:59.000 --> 04:10.160
そのため、 より深い洞察力を得ることができ、 示されたデータについて推論する、 ほとんど人間のような能力を示すことができる。
04:10.160 --> 04:25.040
つまり、 推論時間のテクニックよりも、 モデルの能力と性能を変える方法の方がはるかに深いということだ。
04:25.280 --> 04:29.210
それによって、 モデルは異なるスタイルやトーンを学ぶことができる。
04:29.360 --> 04:34.190
もちろん、 システム・プロンプトを追加して辛辣なコメディー・スタイルを求めたり、
04:34.190 --> 04:42.710
llmsをバトルさせてGPTの4ゼロを敵に回した初期のように、 プロンプトを出すだけでもある程度は達成できる。
04:42.710 --> 04:45.410
だから、 システム・プロンプトでそれができる。
04:45.410 --> 04:52.250
しかし、 もしあなたが非常に微妙な口調を求めるのであれば、 例えば長年訓練を受けてきたカスタマーサービス・スペシャリストのスタイルを模倣したモデルを求めるのであれば、
04:52.250 --> 04:58.970
彼らには多くのデータを見る必要がある。
04:59.000 --> 05:01.280
学ぶべき事例がたくさんある。
05:01.700 --> 05:09.620
そして4つ目のポイントは、 これはトレーニングに大きな投資を必要とするものですが、 一度トレーニングしてしまえば、
05:09.620 --> 05:13.550
推論時に実行することができるということです。
05:13.550 --> 05:16.250
ラグのようなことをする必要もない。
05:16.250 --> 05:21.050
そうなると、 文脈を調べて、 もう必要のない文脈を提供しなければならない。
05:21.050 --> 05:24.740
すでにモデルの重みに焼き込んでしまったからだ。
05:24.770 --> 05:26.210
だから速くなった。
05:27.020 --> 05:28.820
では、 短所はどうだろう?
05:28.850 --> 05:33.110
さて、 これらの欠点の多くは、 他の欠点の長所から派生したものである。
05:33.110 --> 05:38.810
ええと、 プロンプトの場合、 1つの欠点は、 全体のコンテキストウィンドウによって制限されることです。
05:38.810 --> 05:44.270
もちろん、 プロンプトに突っ込める量は限られるし、 たとえ使い切ったとしても、
05:44.270 --> 05:50.780
ジェミニのようなメガコンテキストウィンドウがあったとしても、 100万個のトークンがあったとしても、
05:50.780 --> 05:56.150
それを覚えているのであれば、 そのコンテキストに大量に突っ込めば、 推論時にそこから学習する量が減り、
05:56.220 --> 06:03.270
明らかにリターンが逓減することがわかる。
06:03.300 --> 06:06.990
推論そのものが遅くなり、 コストもかかる。
06:07.020 --> 06:10.080
より多くの文脈を汲み取る。
06:10.080 --> 06:16.380
また、 より大きな問題を解決するために複数の推論を呼び出すときに、 プロンプト・チェイニングのようなことをしていると、
06:16.410 --> 06:19.890
当然、 すべてが遅くなる。
06:20.670 --> 06:26.370
だから、 いくつかの欠点がある。
06:26.580 --> 06:29.100
ベクターのデータベースが必要なんだ。
06:29.100 --> 06:31.080
ベクター・データベースに入力する必要がある。
06:31.380 --> 06:38.460
もしエイブリー・ランカスターがCEOを退任するのであれば、
06:38.460 --> 06:47.310
おそらく正確なデータを提供し、 最新の状態に保つ必要がある。
06:47.550 --> 06:49.710
ニュアンスに欠ける
06:49.800 --> 06:57.450
データの背後にある深い意味を知る能力がないんだ。
06:57.450 --> 07:03.420
事実と微調整のマイナスを取り上げているだけだ。
07:03.450 --> 07:04.710
もちろんそうだ。
07:04.740 --> 07:05.820
難しいよ。
07:06.150 --> 07:07.920
作る方が難しい。
07:07.950 --> 07:12.180
とても楽しくなりそうだが、 汗だくになりそうだ。
07:12.180 --> 07:13.410
難しいだろうね。
07:13.710 --> 07:16.320
大量のデータが必要だ。
07:16.350 --> 07:18.510
たくさんの例が必要だ。
07:18.570 --> 07:24.360
ええと、 どの程度専門的になりたいかとか、 目的にもよるんだけどね。
07:24.360 --> 07:30.960
しかし、 一般的に言って、 高いデータニーズがあり、 トレーニングコストがかかることは目に見えている。
07:30.960 --> 07:38.910
もうひとつ、 よく語られる詐欺がある。 それは「壊滅的な忘却」と呼ばれるもので、 とても深刻に聞こえる。
07:38.910 --> 07:54.480
壊滅的な忘却というのは、 つまり、 ラマ3のような事前に訓練されたモデルを使った場合のことです。
07:54.480 --> 07:54.480
1、
07:54.480 --> 07:57.480
そしてそれを大量のデータで微調整していけば、 あなたの特定の問題を解決するのにどんどん良くなっていくだろうが、 時間が経てばそうなるだろう。
07:57.510 --> 08:05.220
トレーニング時間が長くなるにつれて、 ベースモデルのベース情報のいくつかを忘れるようになり、 その結果、
08:05.220 --> 08:11.880
トレーニングしている特定の種類の質問以外を行った場合、 品質が低下する可能性があります。
08:12.090 --> 08:21.120
だから、 これは注目されている行動であり、 いくつか懸念される影響もある。
08:21.120 --> 08:27.450
そのため、 ベースモデルの情報を失わないようにする必要がある場合、 それがパフォーマンスに影響するのであれば、
08:27.450 --> 08:30.270
この点には注意が必要だ。
08:31.410 --> 08:32.160
分かった。
08:32.160 --> 08:44.430
最後に、 プロンプトを使うときは、 プロジェクトの出発点として使われることが多いということをお伝えしておこう。
08:44.460 --> 08:49.830
多くの場合、 モデルの最初のバージョンはおそらくフロンティアモデルで、
08:49.830 --> 09:00.780
精度が必要な特定のケースで、 性能を追加する方法としてプロンプトを使用します。
09:00.930 --> 09:06.780
トレーニングに余分なお金をかけたくないし、 既存の知識ベースのデータもある。
09:06.810 --> 09:07.020
それからだ。
09:07.050 --> 09:13.770
そして、 特殊なタスクがあり、 非常に大量のデータがあり、 最高のパフォーマンスが必要な場合は、
09:13.800 --> 09:19.110
ファインチューニングを行う。
09:19.350 --> 09:22.980
それに、 ニュアンスも必要でしょう?
09:22.980 --> 09:28.650
そしてそれはもちろん、 私たちが製品価格予測装置を使っている状況でもある。
09:28.650 --> 09:30.060
私たちには大量のデータがある。
09:30.060 --> 09:31.650
私たちには専門的な仕事がある。
09:31.650 --> 09:39.030
私たちは最高のパフォーマンスを求めているし、 多種多様な商品の価格を区別できるほど、
09:39.030 --> 09:43.410
商品に対するニュアンスの理解を求めている。
09:44.430 --> 09:55.170
さて、 ここでちょっと小休止して、 また戦略のセクションに戻り、 データに戻ってキュレーションに入ります。