From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
169 lines
6.0 KiB
169 lines
6.0 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:02.930 |
|
今日はこれで終わり。 |
|
|
|
00:02.930 --> 00:04.730 |
|
2. ノート1冊 |
|
|
|
00:04.760 --> 00:07.760 |
|
私があなたのために何もしないとは言わせない。 |
|
|
|
00:07.760 --> 00:12.920 |
|
おわかりのように、 私はあなたの喜びのために、 この作品に思い切って挑戦した。 |
|
|
|
00:13.190 --> 00:20.330 |
|
ええと、 もう一度言いますが、 これからデータストアを可視化します。 |
|
|
|
00:20.360 --> 00:23.240 |
|
そのために、 いくつかの輸入をするんだ。 |
|
|
|
00:23.600 --> 00:31.130 |
|
そしてここに、 ベクトルの可視化で表示したいデータポイントの最大数を選択するセルがある。 |
|
|
|
00:31.130 --> 00:35.240 |
|
そして私のお勧めは、 安全な数字である1万本にこだわることだ。 |
|
|
|
00:35.240 --> 00:40.580 |
|
美しい画像が得られ、 マシンが停止することもない。 |
|
|
|
00:40.580 --> 00:42.650 |
|
でも、 それでは面白くないだろう。 |
|
|
|
00:42.650 --> 00:54.290 |
|
そして、 40万点のデータをすべて表示させるとどのようになるかをお見せしたかったのですが、 不安定で、 私のマシンはいつクラッシュするかわからない非常に危険な状態に置かれています。 |
|
|
|
00:54.290 --> 01:04.910 |
|
そして実際、 この準備のために何度かマシンがクラッシュし、 このJupyterノートブックからやり直さなければならなかった。 |
|
|
|
01:05.240 --> 01:11.550 |
|
コードでは、 ベクター・データベースに接続する。 |
|
|
|
01:11.850 --> 01:17.730 |
|
ラグ・ウィークですでにやったことと本質的に重複するコードがいくつかある。 |
|
|
|
01:17.790 --> 01:26.100 |
|
ベクターデータを収集し、 オブジェクト自体、 ドキュメント、 メタデータにあるカテゴリーを保存し、 |
|
|
|
01:26.100 --> 01:36.120 |
|
異なるポイントを識別できるような適切な色を選択するために、 いくつかの事前作業を行いました。 |
|
|
|
01:36.120 --> 01:42.630 |
|
そして、 これをお見せするときに覚えておいていただきたいのは、 ベクトル化のプロセス、 つまりそれぞれの文書にどのベクトルを使うかを決めるプロセスは、 |
|
|
|
01:42.630 --> 01:51.570 |
|
純粋に文書そのものの記述に基づいているということだ。 |
|
|
|
01:51.570 --> 01:58.680 |
|
各商品説明に含まれる文言に基づいて、 40万件すべての商品説明を引き出したにすぎない。 |
|
|
|
01:58.680 --> 02:05.820 |
|
どれが家電製品で、 どれが自動車で、 どれが電子機器なのか、 私たちはたまたま知っているのだ。 |
|
|
|
02:05.820 --> 02:10.740 |
|
ベクトルを構築するモデルには、 テキストが与えられるだけであることは知らされない。 |
|
|
|
02:10.740 --> 02:14.640 |
|
だから、 色付けしてくれるのは助かる。 |
|
|
|
02:14.670 --> 02:15.030 |
|
分かった。 |
|
|
|
02:15.030 --> 02:17.370 |
|
これはすべてのベクターの風景である。 |
|
|
|
02:17.610 --> 02:18.660 |
|
トレンドはあるのか。 |
|
|
|
02:18.660 --> 02:26.750 |
|
このモデルによって、 言葉だけで、 そこにあるさまざまな種類のものを分けることができたことがわかるだろうか? |
|
|
|
02:26.750 --> 02:33.080 |
|
しかし、 この種のこと、 このカテゴリーは、 ベクトル化されたテキストの一部ではなかった。 |
|
|
|
02:33.140 --> 02:33.890 |
|
オーケー。 |
|
|
|
02:33.890 --> 02:42.620 |
|
とにかく、 これでt-SNEによる次元削減処理が完了した。 |
|
|
|
02:42.800 --> 02:47.690 |
|
ええと、 40万人なら、 1万人なら5分かそこらになるはずだ。 |
|
|
|
02:47.810 --> 02:52.160 |
|
そして、 散布図を作成することができる。 |
|
|
|
02:52.220 --> 02:55.010 |
|
そして、 この散布図を描けばいい。 |
|
|
|
02:55.010 --> 02:57.560 |
|
では、 その様子をお見せしよう。 |
|
|
|
02:59.150 --> 03:02.900 |
|
そして、 私のマシンではこれを実行するのが超遅い。 |
|
|
|
03:02.900 --> 03:09.470 |
|
しかし、 このかなり美しいものは、 すべてのベクトルを見た結果なのだ。 |
|
|
|
03:09.560 --> 03:13.970 |
|
ええと、 少し縮めてみます。 |
|
|
|
03:14.390 --> 03:16.820 |
|
マシンの動作が非常に遅い。 |
|
|
|
03:17.030 --> 03:23.870 |
|
あー、 でも、 40万個のベクトルすべてからベクトル空間の感覚を得ることができる。 |
|
|
|
03:23.870 --> 03:24.350 |
|
さあ、 始めよう。 |
|
|
|
03:24.380 --> 03:26.660 |
|
今、 見えてきたところだ。 |
|
|
|
03:27.510 --> 03:31.920 |
|
そして重要なのは、 そのことだ。 |
|
|
|
03:31.920 --> 03:33.600 |
|
そうだね。 |
|
|
|
03:33.630 --> 03:35.070 |
|
あ、 そうだ。 |
|
|
|
03:35.100 --> 03:36.270 |
|
苦しいほど遅い。 |
|
|
|
03:36.300 --> 03:37.680 |
|
そうだね。 |
|
|
|
03:37.680 --> 03:44.580 |
|
異なる製品は、 ほとんどの場合、 異なるテリトリー、 ベクトル空間、 いくつかのクラスタは、 |
|
|
|
03:44.580 --> 03:48.540 |
|
ええと、 互いに近くにあるように見える。 |
|
|
|
03:48.540 --> 03:53.250 |
|
そして、 この数字が小さければ、 いろいろなものを調査して、 |
|
|
|
03:53.250 --> 03:59.820 |
|
それが別の領域にある可能性があるのは、 おそらく電化製品と電子機器の両方にまたがる製品だからだろう、 |
|
|
|
03:59.820 --> 04:04.770 |
|
などと納得することができる。 |
|
|
|
04:05.100 --> 04:12.510 |
|
つまり、 これはデータを見て、 それを調査し、 理解し、 文書に関連するベクトルを作成し、 |
|
|
|
04:12.510 --> 04:21.750 |
|
それを保存することの意味をもう少し直感的に理解するための機会なのだ。 |
|
|
|
04:21.810 --> 04:25.380 |
|
そうすることで、 手に取るように実感できるんだ。 |
|
|
|
04:25.440 --> 04:30.870 |
|
そして、 この画像を楽しんでもらえればと思うし、 私の箱を壊しかけた甲斐があったと思っている。 |
|
|
|
04:30.990 --> 04:33.540 |
|
そして願わくば、 もっと小さな数字でやってほしい。 |
|
|
|
04:33.540 --> 04:38.070 |
|
また次回、 3Dでお会いしましょう。
|
|
|