From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
271 lines
8.0 KiB
271 lines
8.0 KiB
WEBVTT |
|
|
|
00:01.160 --> 00:02.000 |
|
素晴らしい。 |
|
|
|
00:02.000 --> 00:11.180 |
|
この関数は、 4つの機能を使って機能辞書を作成します。 |
|
|
|
00:11.210 --> 00:20.180 |
|
例えば、 最初のトレーニングポイントについて、 フィーチャーを呼び出すことができる。 |
|
|
|
00:20.180 --> 00:24.980 |
|
そして返ってくるのは、 この小さな小さな辞書だ。 |
|
|
|
00:25.010 --> 00:28.100 |
|
どうやら2ポンドらしい。 2の重さである。 |
|
|
|
00:28.100 --> 00:30.380 |
|
これが平均的な順位だ。 |
|
|
|
00:30.410 --> 00:32.510 |
|
それが本文の長さだ。 |
|
|
|
00:32.510 --> 00:35.510 |
|
しかも、 エレクトロニクスのトップブランドではない。 |
|
|
|
00:35.510 --> 00:39.620 |
|
だから、 これらは私たちが設計したかなり貧弱な機能になる。 |
|
|
|
00:39.830 --> 00:42.980 |
|
あなたならもっとうまくやれる。 |
|
|
|
00:43.220 --> 00:43.970 |
|
分かった。 |
|
|
|
00:44.000 --> 00:47.660 |
|
さあ、 機械学習の時間だ。 |
|
|
|
00:47.660 --> 00:54.260 |
|
この小さなユーティリティ関数は、 アイテムのリストを受け取ってデータフレームに変換する。 |
|
|
|
00:54.290 --> 00:55.730 |
|
パンダのデータフレーム。 |
|
|
|
00:55.730 --> 01:00.710 |
|
これは伝統的な機械学習についてのコースではないので、 詳しく説明するつもりはない。 |
|
|
|
01:00.920 --> 01:05.990 |
|
DataFramesをご存じであれば、 これはよくご存じだと思うが、 これを使ってトレーニング・データフレームとテスト・データフレームを作り、 |
|
|
|
01:05.990 --> 01:11.690 |
|
テスト・データセットの上位250ポイントを選ぶ。 |
|
|
|
01:12.020 --> 01:13.250 |
|
そうだ。 |
|
|
|
01:13.280 --> 01:16.490 |
|
転換を果たし、 今はこれがビジネスだ。 |
|
|
|
01:16.490 --> 01:20.330 |
|
ここで伝統的な線形回帰を実行する。 |
|
|
|
01:20.750 --> 01:23.900 |
|
私たちは機能を設定した。 |
|
|
|
01:24.170 --> 01:28.880 |
|
ここで特徴量のカラム名を指定する。 |
|
|
|
01:28.910 --> 01:31.250 |
|
ここがすべてのアクションが起こる場所だ。 |
|
|
|
01:31.250 --> 01:35.840 |
|
Model equals linear regressionは、 線形回帰モデルが欲しいと言っている。 |
|
|
|
01:35.840 --> 01:45.050 |
|
そして、 そのモデルをx値、 つまり特徴量に当てはめ、 y値をトレーニングデータセットの実際の価格に当てはめる。 |
|
|
|
01:45.080 --> 01:50.540 |
|
そして、 ここがアクションが起こる場所であり、 モデルが実際にフィットする場所なのだ。 |
|
|
|
01:50.720 --> 01:57.980 |
|
そして、 特徴量とその係数、 あるいは重み付けを印刷する。 |
|
|
|
01:57.980 --> 02:02.870 |
|
そのため、 各機能がどれだけ重要であったかを知ることができる。 |
|
|
|
02:02.900 --> 02:09.380 |
|
そして、 実際にテスト・セットで予測を実行し、 MSE、 |
|
|
|
02:09.380 --> 02:14.810 |
|
平均二乗誤差、 r二乗などを求めます。 |
|
|
|
02:14.810 --> 02:19.940 |
|
しかし、 恐れることはない。 私たちが以前に構築したフレームワークを使って、 もちろんそれを見ることができるのだ。 |
|
|
|
02:19.970 --> 02:22.070 |
|
それが同じグラフに表示される。 |
|
|
|
02:22.070 --> 02:27.710 |
|
だから、 平均的なモデルと比較して、 これがどこに出てくると思うか、 推測してみてほしい。 |
|
|
|
02:27.710 --> 02:31.460 |
|
私たちが何を目指しているのかを思い出すために、 平均的なモデルを簡単に振り返ってみよう。 |
|
|
|
02:31.460 --> 02:37.310 |
|
つまり、 平均的な推測では145ドルの誤差がある。 |
|
|
|
02:37.310 --> 02:41.960 |
|
だから、 線形回帰が平均よりも良い結果を出してくれることを願っている。 |
|
|
|
02:41.960 --> 02:42.620 |
|
見てみよう。 |
|
|
|
02:42.650 --> 02:44.000 |
|
まずは実行してみよう。 |
|
|
|
02:45.470 --> 02:46.460 |
|
早いよ。 |
|
|
|
02:47.090 --> 02:53.030 |
|
つまり、 係数や重みを変えてみると、 重いものには小さな、 |
|
|
|
02:53.030 --> 02:58.100 |
|
プラスの重みがつくことがわかる。 |
|
|
|
02:58.130 --> 03:01.400 |
|
どのようにランク付けされるかは、 もっと大きなものだ。 |
|
|
|
03:01.400 --> 03:05.450 |
|
テキストの長さは非常に小さい。 |
|
|
|
03:05.480 --> 03:07.460 |
|
エレクトロニクスのトップブランドですか? |
|
|
|
03:07.490 --> 03:08.690 |
|
大きな違いだ。 |
|
|
|
03:08.720 --> 03:11.210 |
|
エレクトロニクスのトップブランドは、 多くのものを手に入れる。 |
|
|
|
03:11.720 --> 03:23.060 |
|
さて、 それでは、 クールなテスト・ヴィジュアライザーで使用するために、 この関数を単純にラップします。 |
|
|
|
03:23.060 --> 03:26.530 |
|
これを線形回帰Pricerと呼ばれる関数で包む。 |
|
|
|
03:26.560 --> 03:32.710 |
|
そして、 私たちはそれをアイテムに使うだけだ。 |
|
|
|
03:32.710 --> 03:34.720 |
|
私たちはそのアイテムの機能を取得します。 |
|
|
|
03:34.720 --> 03:37.030 |
|
それをデータフレームに変換する。 |
|
|
|
03:37.030 --> 03:43.030 |
|
そして、 その結果を予測するために線形回帰モデルを呼び出す。 |
|
|
|
03:43.060 --> 03:45.220 |
|
どうなるか見てみよう。 |
|
|
|
03:45.490 --> 03:47.560 |
|
テスターのドットテスト。 |
|
|
|
03:49.000 --> 03:51.400 |
|
線形回帰 プライサー |
|
|
|
03:53.380 --> 03:54.550 |
|
準備はできているか? |
|
|
|
03:54.580 --> 03:55.990 |
|
平均的な数字が何だったか覚えている? |
|
|
|
03:55.990 --> 03:56.860 |
|
さあ、 始めよう。 |
|
|
|
03:57.010 --> 04:00.970 |
|
あ、 あの、 前の独房でやってください。 |
|
|
|
04:01.480 --> 04:04.270 |
|
ええと、 もう何度目だろう? |
|
|
|
04:05.650 --> 04:06.340 |
|
バム! |
|
|
|
04:06.340 --> 04:08.680 |
|
まあ、 色は見える。 |
|
|
|
04:08.680 --> 04:13.210 |
|
赤が多いが、 以前より緑が増えたかもしれない。 |
|
|
|
04:13.240 --> 04:15.190 |
|
たぶん、 ひどい結果にはなっていない。 |
|
|
|
04:15.190 --> 04:17.050 |
|
いくつかのことはうまくいっている。 |
|
|
|
04:17.470 --> 04:18.490 |
|
見てみよう。 |
|
|
|
04:18.520 --> 04:20.500 |
|
まあ、 そういうことだ。 |
|
|
|
04:20.530 --> 04:23.860 |
|
平均より少し良くなった程度だ。 |
|
|
|
04:23.860 --> 04:25.480 |
|
少し良くなっただけだ。 |
|
|
|
04:25.480 --> 04:32.740 |
|
そして、 その結果を見てみると、 基本的にはわずかな上昇が見られるが、 |
|
|
|
04:32.740 --> 04:40.250 |
|
平均的なポイントに集中しており、 200ドルほど高いポイントもある。 |
|
|
|
04:40.250 --> 04:41.600 |
|
そして何だと思う? |
|
|
|
04:41.600 --> 04:47.900 |
|
これらのブランドは、 エレクトロニクス・ブランドであり、 トップ・エレクトロニクス・ブランドである。 |
|
|
|
04:48.170 --> 04:53.300 |
|
それで、 この1点に関しては、 少し上昇した。 |
|
|
|
04:53.300 --> 04:57.950 |
|
でも、 それ以外は......モデルとしては特にうまくいかなかった。 |
|
|
|
04:58.160 --> 05:00.680 |
|
ベストを尽くした。 |
|
|
|
05:00.710 --> 05:06.890 |
|
139エラーが出たんだ。 |
|
|
|
05:06.890 --> 05:09.170 |
|
そして、 ヒットした。 |
|
|
|
05:09.200 --> 05:13.040 |
|
ほぼ16%の確率でグリーンだった。 |
|
|
|
05:13.340 --> 05:15.410 |
|
これが線形回帰モデルだ。 |
|
|
|
05:15.410 --> 05:16.580 |
|
もっとうまくやれるはずだ。 |
|
|
|
05:16.610 --> 05:17.300 |
|
どうぞお入りください。 |
|
|
|
05:17.330 --> 05:18.920 |
|
では、 いくつかの機能を設計してみよう。 |
|
|
|
05:18.920 --> 05:20.810 |
|
今に始まったことではないのは分かっている。 |
|
|
|
05:20.930 --> 05:22.100 |
|
ああ、 素晴らしい。 |
|
|
|
05:22.250 --> 05:28.730 |
|
LMのデータ・サイエンスは、 基礎的な知識を築き、 昔ながらのフィーチャー・エンジニアリングを行うのに適している。 |
|
|
|
05:28.730 --> 05:33.710 |
|
それに、 LMSと一緒に仕事を始めて、 その成果を見ることができれば、 もっと満足できるだろう。 |
|
|
|
05:33.710 --> 05:37.250 |
|
だから、 そこに来て、 いくつかの機能を作って、 どうやるか見てみよう。 |
|
|
|
05:37.250 --> 05:42.890 |
|
でも次回は、 もう少し洗練されたベースラインモデルを見てみよう。 |
|
|
|
05:42.890 --> 05:43.820 |
|
それではまた。
|
|
|