You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

256 lines
11 KiB

WEBVTT
00:00.770 --> 00:02.240
第6週へようこそ。
00:02.240 --> 00:03.320
2日目は1日。
00:03.320 --> 00:13.520
データに戻ったとき、 私たちはデータセットを怒りにまかせて振り返り、 トレーニングに入ったときに針を動かすことができるような巨大なデータセットを構築する。
00:13.640 --> 00:18.470
その前に、 今日の大半は会話に費やされる。
00:18.470 --> 00:24.380
このセッションは、 戦略について話すもので、 おそらく、 最も心をつかむような内容ではなく、
00:24.380 --> 00:29.630
契約した理由でもないだろうが、 非常に重要なものだ。
00:29.630 --> 00:36.050
これは、 これから起こることに正しい方法で取り組むための、 良い基礎情報となる。
00:36.050 --> 00:42.170
特に、 ビジネス上の問題に直面してから、 本番でLMソリューションを実現するまでの戦略と、
00:42.170 --> 00:48.020
そのステップについてお話ししたいと思います。
00:48.020 --> 00:54.170
そして今、 私たちはそれを実行しようとしているのだから、 私たちの実際の商業的な問題について、 その練習をするつもりだということを伝えたい。
00:54.170 --> 01:02.550
そして、 私たちが経験する旅に共感してもらうことが重要だ。 なぜなら、 この後、 自分のビジネスの問題で同じことをすることになるからだ。
01:02.580 --> 01:11.640
また、 これからお話しする、 あるいはこれまでお話ししてきた、 モデルを最適化するための3種類のテクニックを少し比較してみたいと思います。
01:11.640 --> 01:16.590
ラグを使ってプロンプトを出すのか、 微調整を使ってプロンプトを出すのかという話だ。
01:16.590 --> 01:23.100
そして、 どのような状況でそれらの異なるアプローチのいずれかを選択するのかについて、 多くの混乱がある。
01:23.100 --> 01:30.270
どのようなテクニックを使うべきか、 具体的な例を挙げて説明したい。
01:31.050 --> 01:38.970
それではまず、 商業的な問題にモデルを適用するための5つのステップ戦略についてお話ししましょう。
01:39.510 --> 01:42.150
そして最初のステップは理解することだ。
01:42.150 --> 01:47.940
これは、 ビジネス要件に深く入り込み、 どのような問題を解決しようとしているのかを理解することである。
01:47.940 --> 01:49.560
成功をどう判断するのか?
01:49.560 --> 01:56.470
非機能とは何かについては後で話すが、 それをすべて入念に文書化し、
01:56.560 --> 02:08.620
ベースラインモデルのテストやデータセットのキュレーションなど、 一般的に来るべきものに対する準備をすることだ。
02:08.620 --> 02:19.990
そして、 最初にしなければならないのは、 使用するモデル、 あるいは残りのプロジェクトの一部として使用するモデルを選択することだ。
02:19.990 --> 02:25.210
そして、 タイは前の週の内容を多く取り入れるだろう。
02:25.210 --> 02:30.430
リーダーボードを見て、 さまざまなモデルの長所と短所を分析した。
02:30.910 --> 02:38.890
カスタマイズとは、 ラグやファインチューニングといった大きなテクニックを使ってモデルからより多くの力を引き出すことです。
02:38.890 --> 02:49.600
そして、 これまでまったくお話ししてきませんでしたが、 非常に重要なことをプロダクション化します。
02:49.600 --> 02:50.710
次に何が来るのか?
02:50.710 --> 02:57.950
Jupyterノートブックが本番で使えるようになるとは限らないからだ。
02:57.950 --> 03:01.280
もっと何かをしなければならない。
03:02.030 --> 03:03.800
まずはステップ1から始めよう。
03:03.800 --> 03:06.680
だから理解できるし、 これはすべて常識的なことだ。
03:06.680 --> 03:08.720
でも、 こういうことはいくら言っても足りないんだ。
03:08.720 --> 03:13.100
つまり、 ごく簡単に言えば、 ビジネス要件を収集する必要があるということだ。
03:13.100 --> 03:14.960
評価する必要がある。
03:14.960 --> 03:18.650
成功がどのように評価されるのか、 前もって理解しておく必要がある。
03:18.650 --> 03:20.000
超重要だ。
03:20.000 --> 03:25.820
また、 私たちがよく知っているデータ・サイエンスの指標についてだけでなく、 あなたのユーザーやあなたのビジネス・スポンサーは、
03:25.820 --> 03:31.490
プロジェクトが目標を達成したかどうかをどのように判断するのでしょうか?
03:31.490 --> 03:36.980
最終的なビジネス指標とは何か、 それはあなたがすぐに影響を及ぼすことはできないかもしれないが、
03:36.980 --> 03:38.210
理解する必要がある。
03:38.600 --> 03:42.710
私たちが量をこなしてきたように、 データを掘り下げる必要がある。
03:42.740 --> 03:43.460
いくらですか?
03:43.490 --> 03:46.460
DQ、 つまりデータクオリティの状況はどうなっているのか?
03:46.460 --> 03:50.540
形式は、 構造化されているのか、 構造化されていないのか、 あるいはその両方なのか?
03:50.540 --> 03:58.150
それは、 あなたが選択するモデルや、 どのようにアプローチしていくかに影響するからだ。
03:58.780 --> 04:01.510
非機能要件の決定
04:01.540 --> 04:08.770
非機能的なものとは、 予算、 どのように、 どれくらいのスケールが必要なのか、 レイテンシーとは、 一瞬のレスポンスが必要な場合、
04:08.800 --> 04:15.130
モデルからのレスポンスが返ってくるまでどれくらいの時間待つことができるのか、 といったようなものだ。
04:15.280 --> 04:18.550
それと、 市場投入までの時間も理解している。
04:18.580 --> 04:24.070
非常に短期間でこれを作らなければならないのか、 それともこれに取り組んでいる時間があるのか。
04:24.070 --> 04:30.280
そしてもちろん、 非常に短期間で必要とされるものであれば、 APIを使ったフロンティア・モデルが適している。
04:30.280 --> 04:36.940
そして、 ユーザー・インターフェースに関して言えば、 Gradioのようなものであれば、 もちろん数分で立ち上げることができる。
04:36.940 --> 04:41.140
だから、 これが後の決断の指針になる。
04:42.160 --> 04:46.900
準備に関しては、 実に3つの活動がある。
04:46.900 --> 04:52.790
まず第一に、 何がすでにあるのか、 どのような既存のソリューションがあるのかを調査する必要がある。
04:52.790 --> 04:59.270
今すぐこの問題を解決し、 彼らのパフォーマンスや仕事内容について、 非常に良いハンドルを手に入れよう。
04:59.300 --> 05:05.210
その一環として、 データ・サイエンスをまったく伴わないソリューションにも目を向けるべきだ。
05:05.240 --> 05:14.330
いくつかのif文だけのソリューションもあるだろうし、 線形回帰のような伝統的なデータサイエンス・ソリューションもあるだろう。
05:14.330 --> 05:17.840
これが商品価格を予測しようとするものであれば、 例えばこうだ。
05:17.930 --> 05:21.620
それなら、 最初はそこに行くことになるだろう。
05:22.040 --> 05:28.100
そして、 たとえあなたが私に、 いいか、 私は絶対に知っている、 LLMがすでにあるもの、 あるいはこれらの既存のモデルを大幅に凌駕することに疑問の余地はない、
05:28.100 --> 05:31.940
と言うかもしれない。
05:31.940 --> 05:33.680
今の彼らがどうであろうと関係ない。
05:33.680 --> 05:37.520
その答えは、 基準値が得られるので、 まだやる価値があるということだ。
05:37.520 --> 05:48.150
そして、 新しいモデルへの投資に基づいて、 その改善を定量的に示すことができる。
05:48.150 --> 05:53.130
だから、 単なる基準値としても、 これは貴重な練習になる。
05:53.130 --> 05:56.220
しかしそれ以上に、 何がすでに世に出ているのかを知る必要がある。
05:57.120 --> 06:00.480
そして、 関連するLMSを比較する。
06:00.480 --> 06:10.200
まず第一に、 価格、 コンテキストの長さ、 ライセンスの制約、 そしてベンチマークといった基本的なものに分けて説明したのを覚えているだろう。
06:10.200 --> 06:18.960
リーダーボードを見たり、 アリーナを見たり、 自分がやろうとしていることのスペシャリストのスコアがあるかどうかを理解する。
06:18.990 --> 06:23.370
スケールからシールスペシャリストのリーダーボードのようなものを使用している。
06:23.490 --> 06:31.410
そしてもちろん、 データのキュレーション、 スクラビング、 前処理。
06:31.410 --> 06:35.910
そして、 まだ特に話していないのが、 データセットの分割だ。
06:35.940 --> 06:42.060
通常、 全データをトレーニング用データと、 モデルの評価に使う検証用データに分け、
06:42.090 --> 06:48.980
最後にテスト用データに分けます。
06:48.980 --> 06:54.080
そして、 ハイパーパラメータを微調整し、 すべてを正しくするために検証を利用できるように、
06:54.080 --> 06:56.090
ずっと保持しておくものだ。
06:56.090 --> 07:02.870
そして最後の最後には、 このテストであなたのモデルの最終的な成功を測るのだ。
07:03.410 --> 07:09.680
つまり、 データのクリーニング、 前処理、 つまり解析、
07:09.680 --> 07:14.630
そして最終的な分割は準備の一部なんだ。
07:15.110 --> 07:23.720
LMSを基準に基づいて選択し、 実験し、 トレーニングし、
07:23.720 --> 07:29.570
キュレーションしたデータで検証する。
07:29.570 --> 07:30.620
まだやっていない。
07:30.650 --> 07:33.560
それは、 私たちが楽しみにしていることだ。
07:33.770 --> 07:41.930
というわけで、 ここで一旦中断し、 次回は重要なステップ4である最適化について話を続けることにする。