You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

226 lines
8.6 KiB

WEBVTT
00:00.320 --> 00:07.970
だから、 このコースのためにモデルを最適化するためのトレーニング・コストは、 実にわずかなものであることを説明するために、
00:07.970 --> 00:09.740
今この時間を割いている。
00:09.740 --> 00:17.060
2、 3セントの問題で済むし、 私のようにA100ボックスを使ったり、
00:17.060 --> 00:21.920
大がかりなトレーニングをする必要もない。
00:22.490 --> 00:24.710
それを明確にするためだ。
00:24.710 --> 00:30.260
だからまず、 前回説明したように、 T4のような非常に安価なボックスで走らせることができる。
00:30.440 --> 00:34.190
その箱に収まる最大のバッチサイズを持つことができる。
00:34.190 --> 00:38.060
おそらく1回か2回、 うーん、 それからランのトレーニングをするんだ。
00:38.060 --> 00:46.370
でも、 それをやると、 これまで使ってきたトレーニング・データセットでは時間がかかる。
00:46.370 --> 00:51.200
そして、 実はこの巨大なデータセットに対してトレーニングする必要はないことを説明したかった。
00:51.200 --> 00:58.250
私は、 いくつかの良い結果、 いくつかの本当に強力な結果をお見せしたいからそうしているのですが、 もっと小さなデータセットでも素晴らしい結果を得ることができます。
00:58.370 --> 01:04.350
ただ、 ひとつ提案したいのは、 400,000点のデータセットから最初の20,000点を選択して、
01:04.350 --> 01:11.040
そのサブデータセットで実行してもまったく問題ないということだ。
01:11.130 --> 01:13.830
そうするつもりなら、 その方がいいだろうね。
01:13.830 --> 01:24.120
その代わりに、 ある特定の種類の製品に絞って値段をつければ、 モデルはその製品についてすべてを知ることができるからだ。
01:24.240 --> 01:33.030
例えば、 Huggingfaceのハブから最初に引き出したデータセットのひとつである家電製品を選ぶことができます。
01:33.210 --> 01:39.000
そして、 これらすべてのデータセットをダウンさせるのではなく、 単にアプライアンスだけをダウンさせることもできる。
01:39.000 --> 01:43.260
そしてJupyterノートブックをセットアップした。
01:43.260 --> 01:46.380
ええと、 Colabではなく、 ただのローカルノートです。
01:46.380 --> 01:50.970
それは6週目で、 他の、 ええと、 6週目のための日があったところだ。
01:51.000 --> 01:55.410
私たちは2日目にこのデータセットの完全版を作成した。
01:55.440 --> 02:01.610
これは2日目のコピーだが、 電化製品だけを見るにはもっとシンプルで狭い。
02:01.730 --> 02:04.760
そして、 このように小さなデータセットなので、 超高速で実行される。
02:04.790 --> 02:06.650
私たちはそれを環境に結びつける。
02:06.650 --> 02:10.850
これは過去への回帰となるだろう。
02:10.940 --> 02:14.450
すでにHuggingfaceにログイン済みで、 2回目のログインを試みたから文句を言っているのだが、
02:14.450 --> 02:15.770
無視してくれ。
02:16.130 --> 02:28.340
データセットの名前ですが、 家電製品以外はコメントアウトしてあります。
02:28.580 --> 02:35.300
ええと、 ハギング・フェイスは僕が何度もそれをやったことにすごく怒っているんだけど、 まあいいや。
02:35.330 --> 02:36.200
走り出す。
02:36.200 --> 02:43.520
このデータセットのロードにかかる時間の合計は、 ええと、 約0です。 私の記憶が正しければ、 1分の2。
02:43.880 --> 02:50.900
ええと、 0。 3分でも、 ええと、 そうすると、 28,000の項目があるんだ。
02:50.990 --> 02:54.890
ええと、 だから、 私たちがこれまで扱ってきた40万件のデータセットよりもずっと小さいんだ。
02:54.890 --> 03:01.350
しかし、 フローラにとっては申し分のない数字であり、 家電製品に特化しているという利点もある。
03:01.710 --> 03:04.590
だから、 より狭いデータセットなんだ。
03:04.800 --> 03:10.620
ええと、 それで、 ええと、 この残りのグラフを追ってみてください。
03:10.620 --> 03:12.330
どうでもいいチャートは取り除いた。
03:12.330 --> 03:14.280
異なるデータタイプの比較とかね。
03:14.280 --> 03:15.270
これが価格だ。
03:15.270 --> 03:16.380
平均はこうだ。
03:16.380 --> 03:17.670
平均すると少ない。
03:17.670 --> 03:20.850
うーん、 それでも999まである。
03:20.850 --> 03:22.920
そして、 それがカーブなんだ。
03:23.190 --> 03:27.900
それから、 これをキュレーションするのは、 本当に何もないんだ。
03:27.930 --> 03:30.510
全データセットを使うつもりだ。
03:30.510 --> 03:37.710
これは、 同じグラフをより小さなデータセットに置き換えたものだが、 相関関係は見られない。
03:38.040 --> 03:44.400
ええと、 トークンについては、 前に確認したのと同じことが適用されることをすぐに確認できます。
03:44.580 --> 03:50.850
そして、 最終的にトレーニング用とテスト用のデータセットに分けるとき、 トレーニング用には25,000アイテム、
03:50.880 --> 03:54.840
テスト用には2,000アイテムを使います。
03:55.140 --> 03:58.290
他のことはすべて、 ここでうまくいくよ。
03:58.350 --> 04:00.460
トレーニングのプロンプトが表示されます。
04:00.460 --> 04:02.140
テストのプロンプト。
04:02.320 --> 04:05.590
テストセットの価格分布をプロットすることができる。
04:05.590 --> 04:05.980
これでよし。
04:06.010 --> 04:08.230
スプレッドは申し分ない。
04:08.230 --> 04:21.610
そして最後に、 前と同じようにここからプロンプトを作成し、 これをHuggingfaceにアップロードします。
04:21.880 --> 04:28.690
そして、 2つのピックルファイルを作り、 それをトレーニングに使うことができる。
04:28.690 --> 04:40.030
より少ないデータ集団に基づいてモデルを構築し、 あらゆる種類の家電製品ではなく、 家電製品だけの価格を予測することに重点を置く。
04:40.030 --> 04:41.080
これならうまくいくだろう。
04:41.080 --> 04:45.160
この小さなデータセットに集中するために、 コードのいろいろな場所に小さな変更を加えることは、
04:45.160 --> 04:47.830
いい練習になると思う。
04:47.950 --> 04:54.640
そして、 私自身もこの実験を行ったが、 40万人での実験からどのような結果が出ようとも、
04:54.640 --> 05:04.830
他のモデルとの比較という点では、 この場合も同じであることを確認することができた。
05:05.040 --> 05:18.360
大きなデータセットの場合ほどではないが、 家電製品に集中していても重要なことは起こる。
05:18.360 --> 05:25.620
25,000ものデータセットを扱っていると、 あっという間に終わってしまう。
05:25.680 --> 05:31.530
でも、 そうしているうちに、 私のように虫がわいてきて、 もっと大舞台に行きたくなったらどうする?
05:31.530 --> 05:38.010
もちろん、 さらに種類を増やすこともできるし、 数ドルを費やして全データセットに対応することもできる。
05:38.040 --> 05:39.690
とにかく、 私はそれを経験しようと思った。
05:39.690 --> 05:39.930
これだ。
05:39.930 --> 05:45.930
これは、 私たちがどのようにデータをキュレーションしたのか、 またご希望であれば、 より小さなデータセットについて、 人々にとって良い復習になるかもしれない。
05:45.960 --> 05:47.220
その方法を教えてくれる。
05:47.250 --> 05:47.700
分かった。
05:47.700 --> 05:54.750
次のビデオでは、 ウェイトとバイアスに行き、 40万人のビッグランがどのように進んでいるかを見る。
05:54.750 --> 05:59.340
そして、 ウェイトとバイアスの周辺を突いて、 そこでさらに何ができるかを確認する。
05:59.370 --> 06:00.180
そこで会おう