From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
256 lines
9.5 KiB
256 lines
9.5 KiB
WEBVTT |
|
|
|
00:00.050 --> 00:05.030 |
|
そして、 チームPCとチームMacにおかえりなさい。 |
|
|
|
00:05.030 --> 00:07.640 |
|
今回は、 あなたがすることを手短に説明します。 |
|
|
|
00:07.640 --> 00:14.300 |
|
Anacondaが問題を起こしている場合、 それを動作させることができず、 より単純なvirtualenvのアプローチに戻りたい。 |
|
|
|
00:14.300 --> 00:16.820 |
|
これはより迅速でシンプルなアプローチだ。 |
|
|
|
00:16.820 --> 00:19.160 |
|
互換性はあまり保証されていない。 |
|
|
|
00:19.160 --> 00:24.020 |
|
アナコンダ環境に比べると重量級でパワフルではないが、 まったく問題ない。 |
|
|
|
00:24.020 --> 00:27.020 |
|
というわけで、 お望みなら、 ぜひこれをお使いください。 |
|
|
|
00:27.350 --> 00:29.000 |
|
だから、 マックでやろうと思っているんだ。 |
|
|
|
00:29.000 --> 00:41.360 |
|
ただ、 PC用と基本的には同じなのですが、 Readmeにある代替セットアップ手順と書かれているところから説明が始まります。 |
|
|
|
00:41.360 --> 00:51.680 |
|
PCとMacの重要な違いのひとつは、 もしまだインストールしていないのであれば、 ここにいるほとんどの人がPCにPythonをインストールしたことがあるだろうということだ。 |
|
|
|
00:51.950 --> 00:54.050 |
|
しかし、 もしそうでないなら、 そうする必要がある。 |
|
|
|
00:54.260 --> 01:01.790 |
|
PythonはMacにはデフォルトで入っているが、 PCには入っていないので、 ここにPythonのウェブサイトへのリンクを貼っておく。 |
|
|
|
01:01.820 --> 01:07.080 |
|
Pythonのダウンロードサイトに行くと、 最新バージョンのPythonをダウンロードすることができるが、 Python |
|
|
|
01:07.080 --> 01:20.940 |
|
3を選んだ方がいいかもしれない。 11. 9が最新バージョン3である。 11と互換性があるので、 ここに来てウィンドウズ・インストーラーを使ってウィンドウズにインストールすることができる。 |
|
|
|
01:20.970 --> 01:25.890 |
|
もしこのバージョンを持っていなくて、 ウィンドウズにこのバージョンをインストールする時間があるなら、 |
|
|
|
01:25.890 --> 01:27.060 |
|
その方がいいだろう。 |
|
|
|
01:27.210 --> 01:27.990 |
|
オーケー。 |
|
|
|
01:28.020 --> 01:33.060 |
|
それができたら、 マックでPCのターミナル・ウィンドウを立ち上げる。 |
|
|
|
01:33.090 --> 01:39.270 |
|
Anaconda プロンプトではなく、 通常の PowerShell プロンプトを表示し、 先ほど作成した |
|
|
|
01:39.270 --> 01:47.220 |
|
projects ディレクトリに移動し、 プロジェクトが置かれている LM Engineering ディレクトリに移動します。 |
|
|
|
01:47.220 --> 01:49.980 |
|
そして今度は簡単なコマンドを実行する。 |
|
|
|
01:50.340 --> 01:55.110 |
|
まずはPythonのバージョンを確認しよう。 |
|
|
|
01:55.320 --> 01:59.730 |
|
私のコンピューターでは、 デフォルトのバージョンは3だ。 12. 3. |
|
|
|
01:59.760 --> 02:04.200 |
|
私が知る限りではまだすべてにおいて機能するが、 互換性が保証されているわけではない。 |
|
|
|
02:04.200 --> 02:06.480 |
|
それでも、 私はこれを推し進めるつもりだ。 |
|
|
|
02:06.750 --> 02:10.800 |
|
そして、 Pythonのマイナスmを入力する。 |
|
|
|
02:11.410 --> 02:13.450 |
|
ヴェンヴェンヴェン |
|
|
|
02:13.600 --> 02:18.280 |
|
どんな魔法なのか、 どんな奇妙な調合なのかと思うかもしれない。 |
|
|
|
02:18.490 --> 02:28.210 |
|
Pythonは、 新しい仮想環境を作りたいと言っている。 その仮想環境の名前はまたVenvになる。 |
|
|
|
02:28.210 --> 02:37.750 |
|
このディレクトリを見ると、 Venv virtual environmentというフォルダがあり、 この仮想環境用のPythonファイルがすべて入っている。 |
|
|
|
02:37.750 --> 02:40.480 |
|
そして今のところ、 PCを使ってもすべてが同じだ。 |
|
|
|
02:40.720 --> 02:43.960 |
|
これからやることは、 マックとPCでは違う。 |
|
|
|
02:44.170 --> 02:49.510 |
|
マックでは、 この仮想環境をマック上でアクティブにする。 |
|
|
|
02:49.540 --> 02:55.840 |
|
そのためには、 source venv slash bin slash, activateと入力する。 |
|
|
|
02:55.990 --> 02:59.830 |
|
繰り返しになるけど、 もちろん、 これはすべて僕がやったことなんだ。 |
|
|
|
02:59.830 --> 03:02.260 |
|
もちろん、 これらはすべてReadmeに書かれている。 |
|
|
|
03:02.260 --> 03:06.970 |
|
環境を起動させたことを確認する方法は、 左側にヴェンヴが現れることだ。 |
|
|
|
03:07.000 --> 03:11.590 |
|
Anacondaがインストールされているので、 このベースがあるのがわかるだろう。 |
|
|
|
03:11.590 --> 03:16.180 |
|
AnacondaをインストールしていないPCでは表示されないかもしれません。 |
|
|
|
03:16.440 --> 03:18.300 |
|
しかし、 それは無視しても構わない。 |
|
|
|
03:18.300 --> 03:19.620 |
|
私たちはベンチにいる。 |
|
|
|
03:19.650 --> 03:20.610 |
|
環境。 |
|
|
|
03:21.030 --> 03:25.740 |
|
Pythonのパッケージをインストールしたいので、 |
|
|
|
03:25.770 --> 03:29.610 |
|
pip installを行う。 |
|
|
|
03:29.610 --> 03:37.500 |
|
マイナスRとは、 指定したいパッケージの名前を集めたファイルがあり、 それをrequirementsと呼ぶ。 txt。 |
|
|
|
03:38.340 --> 03:42.630 |
|
エンターキーを押すと、 これらのパッケージがインストールされる。 |
|
|
|
03:42.630 --> 03:48.210 |
|
でも、 僕のボックスに付属しているパイソンではインストールできないんだ。 |
|
|
|
03:48.210 --> 03:52.560 |
|
Venvという仮想環境に特別にインストールしているのだ。 |
|
|
|
03:52.560 --> 03:59.130 |
|
だから私は、 Pythonを使って自分の環境を自分のコンピューターでやっている他のことから隔離しているんだ。 |
|
|
|
03:59.340 --> 04:04.110 |
|
そして、 これらすべてのことをこなしながら、 たくさんのことが起こっているのがわかるだろう。 |
|
|
|
04:04.140 --> 04:07.890 |
|
キャッシュを使用していると表示されるからだ。 |
|
|
|
04:08.070 --> 04:12.780 |
|
以前にもやったことがあるので、 おそらくキャッシュされることはないだろう。 |
|
|
|
04:12.780 --> 04:19.920 |
|
だから、 ダウンロードが多くなるけど、 アナコンダのウィンドウをセットアップするよりはずっと早い。 |
|
|
|
04:19.920 --> 04:22.720 |
|
そして最後にビジネスが起こる。 |
|
|
|
04:22.750 --> 04:28.990 |
|
今現在は、 そのすべてをインストールしているところだ。 |
|
|
|
04:29.020 --> 04:32.290 |
|
そして、 ここではさまざまなパッケージを見ることができる。 |
|
|
|
04:32.320 --> 04:36.400 |
|
もちろん、 このコースで実際に使うパッケージはこの中の一部だけだ。 |
|
|
|
04:36.400 --> 04:38.920 |
|
その多くは、 彼らが依存しているものだ。 |
|
|
|
04:38.950 --> 04:43.690 |
|
つまり、 必要なパッケージとその依存関係をすべてインストールしたことになる。 |
|
|
|
04:43.750 --> 04:48.280 |
|
SQLの錬金術のようなものがあるのがわかると思いますが、 これはオブジェクト・データベースを使うことになり、 |
|
|
|
04:48.280 --> 04:51.430 |
|
それに依存することになるからです。 |
|
|
|
04:51.550 --> 04:53.680 |
|
他にもいろいろあるんだ。 |
|
|
|
04:53.680 --> 05:04.150 |
|
Chromaはベクター・データ・ストアで、 素晴らしいオープンソースのベクター・データ・ストアで、 Huggingfaceのコードの一部でTokenizersを使う予定だ。 |
|
|
|
05:04.360 --> 05:12.730 |
|
だから、 この作業をしている間に、 これから使ういくつかのパッケージの名前を見て回ることができる。 |
|
|
|
05:12.760 --> 05:13.360 |
|
分かった。 |
|
|
|
05:13.360 --> 05:14.800 |
|
それが今、 起こった。 |
|
|
|
05:14.830 --> 05:16.660 |
|
しかも、 それほど時間はかからなかった。 |
|
|
|
05:16.660 --> 05:32.730 |
|
最後に、 PCで環境をアクティブにするためのコマンドはvenvとバックスラッシュ・スクリプトであることを簡単に書いておこう。 |
|
|
|
05:32.940 --> 05:34.890 |
|
バックスラッシュが有効。 |
|
|
|
05:34.920 --> 05:41.520 |
|
だから、 まずそれを入力し、 それからpip install r requirementsと入力する。 txt。 |
|
|
|
05:41.520 --> 05:44.010 |
|
もちろん、 それはすべてreadmeに明記されている。 |
|
|
|
05:44.430 --> 05:50.880 |
|
しかし、 マックでもPCでも、 この時点であなたがすることは、 シンプルなJupyterLabを入力することだけだ。 |
|
|
|
05:50.880 --> 05:57.870 |
|
そして運が良ければ、 エンターキーを押すとJupyterLab環境が起動する。 |
|
|
|
05:57.900 --> 05:59.040 |
|
来たぞ。 |
|
|
|
05:59.040 --> 06:03.000 |
|
そして、 ここがこれから数週間の私たちの家になる。 |
|
|
|
06:03.000 --> 06:04.020 |
|
これから8週間。 |
|
|
|
06:04.020 --> 06:07.710 |
|
8週間ごとのフォルダと通常のセットアップ。 |
|
|
|
06:07.710 --> 06:12.270 |
|
唯一の違いは、 仮想環境を含むVenvフォルダがあることだ。 |
|
|
|
06:12.810 --> 06:15.630 |
|
だから、 それが予備のプランなんだ。 |
|
|
|
06:15.630 --> 06:16.530 |
|
ご理解いただけただろうか。 |
|
|
|
06:16.530 --> 06:21.990 |
|
もし、 フォールバック・プランについて何か問題があれば、 どうか、 どうか、 連絡を取ってください。 |
|
|
|
06:21.990 --> 06:22.950 |
|
直します。 |
|
|
|
06:22.980 --> 06:25.080 |
|
私たちは、 あなたをすぐにお連れします。 |
|
|
|
06:25.110 --> 06:31.590 |
|
さて、 次のビデオではOpenAIでAPIキーを設定する。 |
|
|
|
06:31.620 --> 06:32.430 |
|
そこで会おう
|
|
|