From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
256 lines
11 KiB
256 lines
11 KiB
WEBVTT |
|
|
|
00:00.770 --> 00:02.240 |
|
第6週へようこそ。 |
|
|
|
00:02.240 --> 00:03.320 |
|
2日目は1日。 |
|
|
|
00:03.320 --> 00:13.520 |
|
データに戻ったとき、 私たちはデータセットを怒りにまかせて振り返り、 トレーニングに入ったときに針を動かすことができるような巨大なデータセットを構築する。 |
|
|
|
00:13.640 --> 00:18.470 |
|
その前に、 今日の大半は会話に費やされる。 |
|
|
|
00:18.470 --> 00:24.380 |
|
このセッションは、 戦略について話すもので、 おそらく、 最も心をつかむような内容ではなく、 |
|
|
|
00:24.380 --> 00:29.630 |
|
契約した理由でもないだろうが、 非常に重要なものだ。 |
|
|
|
00:29.630 --> 00:36.050 |
|
これは、 これから起こることに正しい方法で取り組むための、 良い基礎情報となる。 |
|
|
|
00:36.050 --> 00:42.170 |
|
特に、 ビジネス上の問題に直面してから、 本番でLMソリューションを実現するまでの戦略と、 |
|
|
|
00:42.170 --> 00:48.020 |
|
そのステップについてお話ししたいと思います。 |
|
|
|
00:48.020 --> 00:54.170 |
|
そして今、 私たちはそれを実行しようとしているのだから、 私たちの実際の商業的な問題について、 その練習をするつもりだということを伝えたい。 |
|
|
|
00:54.170 --> 01:02.550 |
|
そして、 私たちが経験する旅に共感してもらうことが重要だ。 なぜなら、 この後、 自分のビジネスの問題で同じことをすることになるからだ。 |
|
|
|
01:02.580 --> 01:11.640 |
|
また、 これからお話しする、 あるいはこれまでお話ししてきた、 モデルを最適化するための3種類のテクニックを少し比較してみたいと思います。 |
|
|
|
01:11.640 --> 01:16.590 |
|
ラグを使ってプロンプトを出すのか、 微調整を使ってプロンプトを出すのかという話だ。 |
|
|
|
01:16.590 --> 01:23.100 |
|
そして、 どのような状況でそれらの異なるアプローチのいずれかを選択するのかについて、 多くの混乱がある。 |
|
|
|
01:23.100 --> 01:30.270 |
|
どのようなテクニックを使うべきか、 具体的な例を挙げて説明したい。 |
|
|
|
01:31.050 --> 01:38.970 |
|
それではまず、 商業的な問題にモデルを適用するための5つのステップ戦略についてお話ししましょう。 |
|
|
|
01:39.510 --> 01:42.150 |
|
そして最初のステップは理解することだ。 |
|
|
|
01:42.150 --> 01:47.940 |
|
これは、 ビジネス要件に深く入り込み、 どのような問題を解決しようとしているのかを理解することである。 |
|
|
|
01:47.940 --> 01:49.560 |
|
成功をどう判断するのか? |
|
|
|
01:49.560 --> 01:56.470 |
|
非機能とは何かについては後で話すが、 それをすべて入念に文書化し、 |
|
|
|
01:56.560 --> 02:08.620 |
|
ベースラインモデルのテストやデータセットのキュレーションなど、 一般的に来るべきものに対する準備をすることだ。 |
|
|
|
02:08.620 --> 02:19.990 |
|
そして、 最初にしなければならないのは、 使用するモデル、 あるいは残りのプロジェクトの一部として使用するモデルを選択することだ。 |
|
|
|
02:19.990 --> 02:25.210 |
|
そして、 タイは前の週の内容を多く取り入れるだろう。 |
|
|
|
02:25.210 --> 02:30.430 |
|
リーダーボードを見て、 さまざまなモデルの長所と短所を分析した。 |
|
|
|
02:30.910 --> 02:38.890 |
|
カスタマイズとは、 ラグやファインチューニングといった大きなテクニックを使ってモデルからより多くの力を引き出すことです。 |
|
|
|
02:38.890 --> 02:49.600 |
|
そして、 これまでまったくお話ししてきませんでしたが、 非常に重要なことをプロダクション化します。 |
|
|
|
02:49.600 --> 02:50.710 |
|
次に何が来るのか? |
|
|
|
02:50.710 --> 02:57.950 |
|
Jupyterノートブックが本番で使えるようになるとは限らないからだ。 |
|
|
|
02:57.950 --> 03:01.280 |
|
もっと何かをしなければならない。 |
|
|
|
03:02.030 --> 03:03.800 |
|
まずはステップ1から始めよう。 |
|
|
|
03:03.800 --> 03:06.680 |
|
だから理解できるし、 これはすべて常識的なことだ。 |
|
|
|
03:06.680 --> 03:08.720 |
|
でも、 こういうことはいくら言っても足りないんだ。 |
|
|
|
03:08.720 --> 03:13.100 |
|
つまり、 ごく簡単に言えば、 ビジネス要件を収集する必要があるということだ。 |
|
|
|
03:13.100 --> 03:14.960 |
|
評価する必要がある。 |
|
|
|
03:14.960 --> 03:18.650 |
|
成功がどのように評価されるのか、 前もって理解しておく必要がある。 |
|
|
|
03:18.650 --> 03:20.000 |
|
超重要だ。 |
|
|
|
03:20.000 --> 03:25.820 |
|
また、 私たちがよく知っているデータ・サイエンスの指標についてだけでなく、 あなたのユーザーやあなたのビジネス・スポンサーは、 |
|
|
|
03:25.820 --> 03:31.490 |
|
プロジェクトが目標を達成したかどうかをどのように判断するのでしょうか? |
|
|
|
03:31.490 --> 03:36.980 |
|
最終的なビジネス指標とは何か、 それはあなたがすぐに影響を及ぼすことはできないかもしれないが、 |
|
|
|
03:36.980 --> 03:38.210 |
|
理解する必要がある。 |
|
|
|
03:38.600 --> 03:42.710 |
|
私たちが量をこなしてきたように、 データを掘り下げる必要がある。 |
|
|
|
03:42.740 --> 03:43.460 |
|
いくらですか? |
|
|
|
03:43.490 --> 03:46.460 |
|
DQ、 つまりデータクオリティの状況はどうなっているのか? |
|
|
|
03:46.460 --> 03:50.540 |
|
形式は、 構造化されているのか、 構造化されていないのか、 あるいはその両方なのか? |
|
|
|
03:50.540 --> 03:58.150 |
|
それは、 あなたが選択するモデルや、 どのようにアプローチしていくかに影響するからだ。 |
|
|
|
03:58.780 --> 04:01.510 |
|
非機能要件の決定 |
|
|
|
04:01.540 --> 04:08.770 |
|
非機能的なものとは、 予算、 どのように、 どれくらいのスケールが必要なのか、 レイテンシーとは、 一瞬のレスポンスが必要な場合、 |
|
|
|
04:08.800 --> 04:15.130 |
|
モデルからのレスポンスが返ってくるまでどれくらいの時間待つことができるのか、 といったようなものだ。 |
|
|
|
04:15.280 --> 04:18.550 |
|
それと、 市場投入までの時間も理解している。 |
|
|
|
04:18.580 --> 04:24.070 |
|
非常に短期間でこれを作らなければならないのか、 それともこれに取り組んでいる時間があるのか。 |
|
|
|
04:24.070 --> 04:30.280 |
|
そしてもちろん、 非常に短期間で必要とされるものであれば、 APIを使ったフロンティア・モデルが適している。 |
|
|
|
04:30.280 --> 04:36.940 |
|
そして、 ユーザー・インターフェースに関して言えば、 Gradioのようなものであれば、 もちろん数分で立ち上げることができる。 |
|
|
|
04:36.940 --> 04:41.140 |
|
だから、 これが後の決断の指針になる。 |
|
|
|
04:42.160 --> 04:46.900 |
|
準備に関しては、 実に3つの活動がある。 |
|
|
|
04:46.900 --> 04:52.790 |
|
まず第一に、 何がすでにあるのか、 どのような既存のソリューションがあるのかを調査する必要がある。 |
|
|
|
04:52.790 --> 04:59.270 |
|
今すぐこの問題を解決し、 彼らのパフォーマンスや仕事内容について、 非常に良いハンドルを手に入れよう。 |
|
|
|
04:59.300 --> 05:05.210 |
|
その一環として、 データ・サイエンスをまったく伴わないソリューションにも目を向けるべきだ。 |
|
|
|
05:05.240 --> 05:14.330 |
|
いくつかのif文だけのソリューションもあるだろうし、 線形回帰のような伝統的なデータサイエンス・ソリューションもあるだろう。 |
|
|
|
05:14.330 --> 05:17.840 |
|
これが商品価格を予測しようとするものであれば、 例えばこうだ。 |
|
|
|
05:17.930 --> 05:21.620 |
|
それなら、 最初はそこに行くことになるだろう。 |
|
|
|
05:22.040 --> 05:28.100 |
|
そして、 たとえあなたが私に、 いいか、 私は絶対に知っている、 LLMがすでにあるもの、 あるいはこれらの既存のモデルを大幅に凌駕することに疑問の余地はない、 |
|
|
|
05:28.100 --> 05:31.940 |
|
と言うかもしれない。 |
|
|
|
05:31.940 --> 05:33.680 |
|
今の彼らがどうであろうと関係ない。 |
|
|
|
05:33.680 --> 05:37.520 |
|
その答えは、 基準値が得られるので、 まだやる価値があるということだ。 |
|
|
|
05:37.520 --> 05:48.150 |
|
そして、 新しいモデルへの投資に基づいて、 その改善を定量的に示すことができる。 |
|
|
|
05:48.150 --> 05:53.130 |
|
だから、 単なる基準値としても、 これは貴重な練習になる。 |
|
|
|
05:53.130 --> 05:56.220 |
|
しかしそれ以上に、 何がすでに世に出ているのかを知る必要がある。 |
|
|
|
05:57.120 --> 06:00.480 |
|
そして、 関連するLMSを比較する。 |
|
|
|
06:00.480 --> 06:10.200 |
|
まず第一に、 価格、 コンテキストの長さ、 ライセンスの制約、 そしてベンチマークといった基本的なものに分けて説明したのを覚えているだろう。 |
|
|
|
06:10.200 --> 06:18.960 |
|
リーダーボードを見たり、 アリーナを見たり、 自分がやろうとしていることのスペシャリストのスコアがあるかどうかを理解する。 |
|
|
|
06:18.990 --> 06:23.370 |
|
スケールからシールスペシャリストのリーダーボードのようなものを使用している。 |
|
|
|
06:23.490 --> 06:31.410 |
|
そしてもちろん、 データのキュレーション、 スクラビング、 前処理。 |
|
|
|
06:31.410 --> 06:35.910 |
|
そして、 まだ特に話していないのが、 データセットの分割だ。 |
|
|
|
06:35.940 --> 06:42.060 |
|
通常、 全データをトレーニング用データと、 モデルの評価に使う検証用データに分け、 |
|
|
|
06:42.090 --> 06:48.980 |
|
最後にテスト用データに分けます。 |
|
|
|
06:48.980 --> 06:54.080 |
|
そして、 ハイパーパラメータを微調整し、 すべてを正しくするために検証を利用できるように、 |
|
|
|
06:54.080 --> 06:56.090 |
|
ずっと保持しておくものだ。 |
|
|
|
06:56.090 --> 07:02.870 |
|
そして最後の最後には、 このテストであなたのモデルの最終的な成功を測るのだ。 |
|
|
|
07:03.410 --> 07:09.680 |
|
つまり、 データのクリーニング、 前処理、 つまり解析、 |
|
|
|
07:09.680 --> 07:14.630 |
|
そして最終的な分割は準備の一部なんだ。 |
|
|
|
07:15.110 --> 07:23.720 |
|
LMSを基準に基づいて選択し、 実験し、 トレーニングし、 |
|
|
|
07:23.720 --> 07:29.570 |
|
キュレーションしたデータで検証する。 |
|
|
|
07:29.570 --> 07:30.620 |
|
まだやっていない。 |
|
|
|
07:30.650 --> 07:33.560 |
|
それは、 私たちが楽しみにしていることだ。 |
|
|
|
07:33.770 --> 07:41.930 |
|
というわけで、 ここで一旦中断し、 次回は重要なステップ4である最適化について話を続けることにする。
|
|
|