From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
274 lines
11 KiB
274 lines
11 KiB
WEBVTT |
|
|
|
00:00.020 --> 00:04.280 |
|
このビデオでは、 Macユーザーのために完全なデータサイエンス環境をセットアップする。 |
|
|
|
00:04.280 --> 00:06.110 |
|
次のビデオでは、 PCユーザーを取り上げます。 |
|
|
|
00:06.110 --> 00:09.080 |
|
PC派の方は次へお進みください。 |
|
|
|
00:09.080 --> 00:12.200 |
|
お望みであれば、 ここで聞くこともできますが、 そうでなければ、 また次回お会いしましょう。 |
|
|
|
00:12.290 --> 00:16.310 |
|
さて、 私のマックの人たちは、 今では私もマック派だ。 |
|
|
|
00:16.310 --> 00:19.520 |
|
僕はいつもマックを所有しているから、 君たちは僕のホームグラウンドなんだ。 |
|
|
|
00:19.580 --> 00:21.740 |
|
君たちは間違いなく僕のお気に入りだ。 |
|
|
|
00:21.770 --> 00:24.050 |
|
他の選手にも同じことを言うつもりはない。 |
|
|
|
00:24.080 --> 00:24.950 |
|
あるいは、 私がそうなのかもしれない。 |
|
|
|
00:24.950 --> 00:33.830 |
|
とにかく、 これは今ChromeブラウザーでGitHubのLMエンジニアリングのレポを見ているところだ。 このリンクは、 |
|
|
|
00:33.830 --> 00:39.440 |
|
この講義の講義ノートを含め、 あちこちに貼られているはずだ。 |
|
|
|
00:39.530 --> 00:45.170 |
|
でも、 ここに来て、 GitHubのレポを見てください。 |
|
|
|
00:45.170 --> 00:51.890 |
|
下にスクロールすると、 Readmeファイルの内容が表示されます。 ここには、 あなたの環境をセットアップするために必要なことが書かれています。 |
|
|
|
00:51.890 --> 00:59.750 |
|
そして、 ステップ・バイ・ステップで物事を整理し、 何か問題が起きた場合にどのような行動を取るべきかを明確にすることで、 ここできちんとした仕事ができたことを願っている。 |
|
|
|
00:59.790 --> 01:04.200 |
|
うまくいけばいいんだけど、 もし何か訂正するところがあれば言ってくれ。 |
|
|
|
01:04.410 --> 01:09.360 |
|
すでに何人かの方がそうしてくださっていて、 とても感謝しています。 |
|
|
|
01:09.390 --> 01:09.960 |
|
オーケー。 |
|
|
|
01:09.960 --> 01:13.470 |
|
でも今は、 この緑色のボタンのコードを押してください。 |
|
|
|
01:13.470 --> 01:16.230 |
|
そして、 この2つのどちらかを選べばいい。 |
|
|
|
01:16.260 --> 01:23.520 |
|
このコピーボタンを選ぶと、 このレポを特定するURLがクリップボードにコピーされる。 |
|
|
|
01:23.520 --> 01:24.990 |
|
そして、 それは終わった。 |
|
|
|
01:25.020 --> 01:25.680 |
|
分かった。 |
|
|
|
01:25.710 --> 01:28.500 |
|
次にターミナル・ウィンドウを表示させる。 |
|
|
|
01:28.500 --> 01:33.030 |
|
もしそれがお望みなら、 MAXファインダーウインドウを使うこともできる。 |
|
|
|
01:33.120 --> 01:36.930 |
|
でも、 私は端末の方が快適だし、 皆さんの多くもそうだと思う。 |
|
|
|
01:37.170 --> 01:39.300 |
|
というわけで、 今はホームディレクトリにいる。 |
|
|
|
01:39.330 --> 01:45.150 |
|
多くの人はprojectsディレクトリを設定し、 そこでプロジェクトを管理していることだろう。 |
|
|
|
01:45.180 --> 01:46.860 |
|
今のところ、 セットアップはしていない。 |
|
|
|
01:46.860 --> 01:48.810 |
|
CDプロジェクトをやっても何もない。 |
|
|
|
01:48.810 --> 01:53.220 |
|
だから、 ディレクトリー・プロジェクトを作って、 その中に入っていくつもりだ。 |
|
|
|
01:53.640 --> 01:54.750 |
|
さあ、 始めよう。 |
|
|
|
01:55.050 --> 01:59.330 |
|
そして、 projectsフォルダの中にいるときに次にすることは、 git |
|
|
|
01:59.330 --> 02:06.770 |
|
cloneと入力し、 レポをクローンしたいので、 そこにレポの名前を貼り付け、 Enterを押すと、 そのとおりに実行される。 |
|
|
|
02:06.770 --> 02:10.670 |
|
そして今、 私はローカルにLMエンジニアリングのフォルダを持っている。 |
|
|
|
02:10.700 --> 02:14.000 |
|
その中に入っていくと、 私たちのすべてのコードがある。 |
|
|
|
02:14.150 --> 02:22.850 |
|
LMエンジニアリング・フォルダーは、 プロジェクトのルート・ディレクトリーと呼ばれることもある。 |
|
|
|
02:22.970 --> 02:25.940 |
|
それが、 このプロジェクトで僕らが今いる場所の名前なんだ。 |
|
|
|
02:25.970 --> 02:28.610 |
|
プロジェクトのルートディレクトリ LM engineering。 |
|
|
|
02:28.670 --> 02:29.540 |
|
分かった。 |
|
|
|
02:29.540 --> 02:33.890 |
|
そこで次にすべきことは、 アナコンダのインストールを検討することだ。 |
|
|
|
02:33.890 --> 02:35.630 |
|
まだインストールしたことがない場合は |
|
|
|
02:35.630 --> 02:44.420 |
|
そしてReadmeには、 anacondaのインストールページへの直接リンクがある。 comでMac OS用に設定できる。 |
|
|
|
02:44.540 --> 02:48.530 |
|
簡単な画面で設定できる。 |
|
|
|
02:48.530 --> 02:50.270 |
|
もう自分のためにやったことだから、 やるつもりはない。 |
|
|
|
02:50.270 --> 02:54.680 |
|
でも、 ここにあるように、 ステップ・バイ・ステップで非常にわかりやすい。 |
|
|
|
02:54.680 --> 03:01.010 |
|
そしていつの間にか、 アナコンダがあなたのボックスにあれば、 アナコンダがあなたのボックスにあることになる。 |
|
|
|
03:01.010 --> 03:02.750 |
|
ターミナル・ウィンドウに戻る。 |
|
|
|
03:02.750 --> 03:03.560 |
|
さあ、 着いたぞ。 |
|
|
|
03:03.590 --> 03:09.650 |
|
このコマンドはconda envで、 |
|
|
|
03:09.650 --> 03:21.260 |
|
environment createからfを引いたものだ。 |
|
|
|
03:21.260 --> 03:26.630 |
|
そして、 そのファイルの名前がenvironmentだ。 ymlはここにある。 |
|
|
|
03:26.630 --> 03:29.630 |
|
これがこの環境を定義するファイルだ。 |
|
|
|
03:29.630 --> 03:32.210 |
|
そうしたらエンターキーを押す。 |
|
|
|
03:32.690 --> 03:41.090 |
|
さて、 これから起こることは、 アナコンダがサーバーに接続し、 必要なことをすべて調べるということだ。 |
|
|
|
03:41.090 --> 03:46.610 |
|
つまり、 完全に互換性のある、 フルスペックの環境を手に入れるために必要な、 |
|
|
|
03:46.610 --> 03:55.400 |
|
さまざまなパッケージのバージョンを割り出すのだ。 |
|
|
|
03:55.400 --> 03:58.780 |
|
そして、 あなたが見たのは、 あれだけのことが起こっている中で、 ただそこでやっていることだった。 |
|
|
|
03:58.780 --> 04:05.590 |
|
いろいろなパッケージをダウンロードし、 ビルドするのに熱中していたんですか? |
|
|
|
04:05.620 --> 04:13.000 |
|
私にとっては高速で、 最初にダウンロードする必要があるときにローカルにキャッシュされるからだ。 |
|
|
|
04:13.000 --> 04:16.300 |
|
私の場合、 インターネット接続がかなり良いので、 5分ほどで終わった。 |
|
|
|
04:16.300 --> 04:21.760 |
|
初めてこれをやったとき、 20分以上かかったという報告があった。 |
|
|
|
04:21.760 --> 04:25.510 |
|
ええと、 それはもちろん、 ええと、 待つには多くの時間が必要です。 |
|
|
|
04:25.510 --> 04:31.690 |
|
だから、 もし時間がかかっているのなら、 それはあなたのインターネット接続が予想以上に遅いのかもしれない。 |
|
|
|
04:31.690 --> 04:37.660 |
|
しかし、 20分以上かかり、 インターネット接続が良好であれば、 アナコンダで何かが機能していないことになる。 |
|
|
|
04:37.660 --> 04:45.280 |
|
そしてコマンドCでそれをキャンセルし、 代わりにもうひとつのアプローチ、 仮想環境を使うことにする。 |
|
|
|
04:45.550 --> 04:52.540 |
|
だから今、 アナコンダはトランザクションの実行と呼ばれることに忙しくしている。 それは基本的に、 |
|
|
|
04:52.660 --> 04:58.090 |
|
必要なもののバージョンを把握した後、 環境全体を構築することだ。 |
|
|
|
04:58.090 --> 05:05.980 |
|
そして最後に、 このことをご存知の方のために、 condaのバージョンがまだないのでpipでインストールするパッケージもあります。 |
|
|
|
05:06.130 --> 05:09.940 |
|
そのため、 最後にpipがインストールされるパッケージがいくつかある。 |
|
|
|
05:09.940 --> 05:14.500 |
|
しかし、 pip installをインストールしているところを見ると、 もう終わりに近づいているようだ。 |
|
|
|
05:14.500 --> 05:15.550 |
|
だから嘘はついていない。 |
|
|
|
05:15.550 --> 05:17.500 |
|
長い時間をかける必要はない。 |
|
|
|
05:17.530 --> 05:21.340 |
|
かなり速いし、 すべてが終わる。 |
|
|
|
05:21.490 --> 05:30.190 |
|
新しい環境をアクティベートする必要がある。 つまり、 現在使われているライブ環境をアクティベートする必要がある。 |
|
|
|
05:30.220 --> 05:35.470 |
|
今、 私のカーソルを見ると、 ベースという言葉が左側にあるのがわかるだろう。 |
|
|
|
05:35.470 --> 05:40.810 |
|
つまり、 現時点ではアナコンダ環境では動いていないということだ。 |
|
|
|
05:40.810 --> 05:48.010 |
|
LM環境を使うために、 環境名をLMSとし、 conda activate |
|
|
|
05:48.130 --> 05:51.460 |
|
LMSと入力する。 |
|
|
|
05:51.460 --> 06:01.150 |
|
これだけで、 Anaconda に、 同じバージョンの Python、 同じバージョンのパッケージで、 この環境を実行したいと伝えることができるのですか? |
|
|
|
06:01.150 --> 06:03.580 |
|
つまり、 私たちは完全に一貫しているということだ。 |
|
|
|
06:03.580 --> 06:07.600 |
|
すぐにそうなったので、 左側にLMSと書かれているのがわかるだろう。 |
|
|
|
06:07.600 --> 06:14.950 |
|
もしそれが表示されたら、 それがうまくいったということであり、 正しいバージョンの Anaconda を実行しているということだ。 |
|
|
|
06:16.180 --> 06:20.800 |
|
そして最後のステップとして、 JupyterLabというコマンドを入力する。 |
|
|
|
06:20.800 --> 06:29.830 |
|
そしてJupyterLabは、 JupyterLabというデータサイエンス環境を起動し、 コードを使って非常にインタラクティブに作業することを可能にするコマンドだ。 |
|
|
|
06:29.830 --> 06:35.710 |
|
そして、 それを実行すると、 目の前のタスクを考える間、 うまくいけばほんの一瞬だけ考えてくれる。 |
|
|
|
06:35.710 --> 06:39.550 |
|
そして新しい画面でJupyterLabを起動する。 |
|
|
|
06:39.550 --> 06:42.850 |
|
そして、 あなたが目にするのは、 おそらくこのようなものだろう。 |
|
|
|
06:43.270 --> 06:43.930 |
|
分かった。 |
|
|
|
06:43.930 --> 06:47.380 |
|
ということで、 ここで一旦中断します。 |
|
|
|
06:47.380 --> 06:53.710 |
|
PCユーザーのためにビデオを録画するから、 2本後にまた会おう。 |
|
|
|
06:53.740 --> 06:54.610 |
|
そこで会おう
|
|
|