From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
493 lines
17 KiB
493 lines
17 KiB
WEBVTT |
|
|
|
00:00.140 --> 00:00.500 |
|
まあね。 |
|
|
|
00:00.530 --> 00:04.550 |
|
こんにちは、 PCの皆さんはセットアップの時間です。 |
|
|
|
00:04.550 --> 00:08.060 |
|
だから、 マックの皆さんはこの映画を見る必要はない。 |
|
|
|
00:08.060 --> 00:12.650 |
|
そして今こそ、 私がマックの人たちに、 私自身がマックユーザーだから、 彼らが私のお気に入りの人たちだと言ったことを、 |
|
|
|
00:12.680 --> 00:15.770 |
|
あなたたちに話すときだ。 |
|
|
|
00:15.770 --> 00:18.350 |
|
でも、 最初はPCから始めたんだ。 |
|
|
|
00:18.350 --> 00:20.480 |
|
実際、 私はIBMで数年間働いていた。 |
|
|
|
00:20.480 --> 00:25.790 |
|
だから本当に心の中では、 私はPCの血を引くIBM出身なんだ。 |
|
|
|
00:25.790 --> 00:26.150 |
|
だから |
|
|
|
00:26.150 --> 00:30.290 |
|
だから、 私が他の人たちに何を言おうと、 あなたたちは本当に私の仲間なんだ。 |
|
|
|
00:30.290 --> 00:38.060 |
|
とにかく、 このコース全体に必要な環境を使うために、 PCをセットアップしましょう。 |
|
|
|
00:38.060 --> 00:50.060 |
|
まずは、 githubにあるこのクラスの私のリポジトリ、 LM engineeringにアクセスしてみよう。 |
|
|
|
00:50.060 --> 00:50.060 |
|
comをスラッシュしてLMエンジニアリングと名乗る。 |
|
|
|
00:50.060 --> 00:56.960 |
|
このリンクは、 コースのいたるところ、 コースのノートやリソースなどに記載されているはずです。 |
|
|
|
00:56.990 --> 00:59.870 |
|
そしてそこに行くと、 GitHubのこのリポジトリが表示される。 |
|
|
|
00:59.870 --> 01:05.440 |
|
下にスクロールすると、 セットアップ手順を書いたReadmeファイルを見ることができる。 |
|
|
|
01:05.440 --> 01:11.020 |
|
あなたの環境をセットアップするのに必要なすべてのステップをきちんと説明できたと思う。 |
|
|
|
01:11.050 --> 01:15.700 |
|
そして、 もしあなたがその方法で指示に従うことを好むなら、 ビデオを見るよりもその方法でやってください。 |
|
|
|
01:15.730 --> 01:17.200 |
|
そして願わくば、 それをうまくやり遂げたい。 |
|
|
|
01:17.200 --> 01:22.240 |
|
そして、 もし問題が見つかったら、 他の人たちのために更新しますので、 どうか私に知らせてください。 |
|
|
|
01:22.570 --> 01:29.890 |
|
いずれにせよ、 この説明書を読んでみると、 まず最初に、 PCの人はgitをインストールする必要があるかもしれないと書かれている。 |
|
|
|
01:29.890 --> 01:31.300 |
|
まだやったことがないのなら。 |
|
|
|
01:31.300 --> 01:36.070 |
|
Gitはコード管理システムだが、 使ったことのある人はほとんどいないだろう。 |
|
|
|
01:36.100 --> 01:40.480 |
|
マックにはデフォルトでインストールされているが、 ウィンドウズにはインストールされていない。 |
|
|
|
01:40.630 --> 01:47.230 |
|
このリンクをたどってgitのダウンロードページに行き、 指示に従ってダウンロードし、 |
|
|
|
01:47.500 --> 01:53.980 |
|
OKを20回ほど言って、 すべてのデフォルトを受け入れるだけだ。 |
|
|
|
01:53.980 --> 01:55.750 |
|
プレスの時に自分でやってみたんだ。 |
|
|
|
01:55.750 --> 02:00.310 |
|
OK、 OK、 OK、 では、 これらのことをすべて実行し、 デフォルトのまま実行すれば、 |
|
|
|
02:00.310 --> 02:03.490 |
|
あなたのコンピューターにgitがインストールされます。 |
|
|
|
02:03.490 --> 02:07.360 |
|
そうしたら、 リポジトリに戻ってくるんだ。 |
|
|
|
02:07.610 --> 02:12.560 |
|
次にすることは、 この一番上にある緑色のボタンコードだ。 |
|
|
|
02:12.650 --> 02:17.540 |
|
緑色のボタンを押すと、 リポジトリへのリンクが表示されます。 |
|
|
|
02:17.540 --> 02:18.980 |
|
そして、 このどちらかを選ぶことができる。 |
|
|
|
02:18.980 --> 02:21.020 |
|
しかし、 我々はこのhttpsの方を選ぶつもりだった。 |
|
|
|
02:21.020 --> 02:27.500 |
|
そして、 これを選んでコピーボタンを押してクリップボードにコピーする。 |
|
|
|
02:27.770 --> 02:32.690 |
|
これから行うのは、 新しいPowerShellを開くことだ。 |
|
|
|
02:32.870 --> 02:34.100 |
|
ええと、 そうだな。 |
|
|
|
02:34.160 --> 02:35.720 |
|
ここにPowerShellと入力する。 |
|
|
|
02:35.750 --> 02:41.510 |
|
久しぶりのPCなので、 ちょっと不器用です。 |
|
|
|
02:41.510 --> 02:42.140 |
|
でも、 これでいい。 |
|
|
|
02:42.170 --> 02:43.640 |
|
PowerShellの登場だ。 |
|
|
|
02:43.910 --> 02:44.210 |
|
うーん。 |
|
|
|
02:44.210 --> 02:53.000 |
|
そして、 まず最初にすべきことは、 すでにあるかもしれないが、 プロジェクト・ディレクトリを作ることだ。 |
|
|
|
02:53.030 --> 02:59.660 |
|
すでにprojectsディレクトリがあるかもしれないが、 CD projectsをやってみると、 ないことがわかった。 |
|
|
|
02:59.660 --> 03:03.200 |
|
こうすることで、 プロジェクト・ディレクトリを作ることができる。 |
|
|
|
03:03.230 --> 03:06.050 |
|
ウィンドウズ・エクスプローラーを使うこともできる。 |
|
|
|
03:06.050 --> 03:08.420 |
|
ファイル・エクスプローラーでもいい。 |
|
|
|
03:08.450 --> 03:12.570 |
|
コマンドプロンプトを使う必要はない。 |
|
|
|
03:12.570 --> 03:15.900 |
|
そこで、 ホーム・ディレクトリに新しいprojectsディレクトリを作った。 |
|
|
|
03:15.900 --> 03:24.870 |
|
CDをダウンロードして、 プロジェクト・ディレクトリーに入ります。 |
|
|
|
03:25.050 --> 03:28.470 |
|
ええと、 私が今打っているのはとてもシンプルなものです。 |
|
|
|
03:28.620 --> 03:35.730 |
|
git cloneというのは、 このリポジトリのローカルコピーを作るという意味です。 そしてリポジトリの名前と、 |
|
|
|
03:35.730 --> 03:40.980 |
|
1秒前にコピーしたリポジトリへのリンクを入れます。 |
|
|
|
03:41.310 --> 03:44.970 |
|
そうすれば、 すぐにダウンロードできる。 |
|
|
|
03:44.970 --> 03:45.780 |
|
もう起きてしまったことだ。 |
|
|
|
03:45.780 --> 03:48.480 |
|
すべてのコードはローカルドライブにクローンした。 |
|
|
|
03:48.480 --> 03:55.590 |
|
ここで見てみると、 確かにLMエンジニアリングというフォルダがあることがわかるだろう。 |
|
|
|
03:55.680 --> 04:00.600 |
|
そして、 これから8週間、 私たちの遊び場となるすべてのコードがある。 |
|
|
|
04:00.600 --> 04:10.650 |
|
また、 プロジェクトのルート・ディレクトリーという表現を、 LMエンジニアリングのこのフォルダーという意味で使うこともある。 |
|
|
|
04:10.650 --> 04:12.810 |
|
このプロジェクトのルート・ディレクトリである。 |
|
|
|
04:12.810 --> 04:18.380 |
|
だから、 もし私が口頭で言ったり、 あるいはReadmeにプロジェクト・ルートについて書いてあったりしたら、 それを読んでください。 |
|
|
|
04:18.380 --> 04:21.620 |
|
このディレクトリーLMエンジニアリングについて話しているんだ。 |
|
|
|
04:21.740 --> 04:22.550 |
|
さあ、 着いた。 |
|
|
|
04:22.580 --> 04:29.150 |
|
次のステップは、 Anacondaをインストールすることだ。 Anacondaは、 私が言ったように、 超強力なので、 |
|
|
|
04:29.180 --> 04:31.190 |
|
それなりにヘビー級のツールだ。 |
|
|
|
04:31.430 --> 04:41.000 |
|
Readmeに、 Anacondaをインストールするためのリンクがある。 |
|
|
|
04:41.030 --> 04:43.430 |
|
それをここにアップしてある。 |
|
|
|
04:43.640 --> 04:45.410 |
|
クッキーを除いてはね。 |
|
|
|
04:45.440 --> 04:50.450 |
|
これはWindowsにインストールするためのAnacondaのドキュメントで、 電子メールアドレスやその他様々なことを教えようとしますが、 |
|
|
|
04:50.450 --> 04:53.600 |
|
望むなら自由にやってください。 |
|
|
|
04:53.600 --> 04:57.590 |
|
でも最後に、 これから何をするかと言って、 ダウンロードを押すこともできる。 |
|
|
|
04:57.590 --> 05:03.140 |
|
Eメールを入力することもできますが、 登録を省略することもできます。 |
|
|
|
05:03.140 --> 05:06.080 |
|
そして、 このDownload Nowのページにたどり着く。 |
|
|
|
05:06.080 --> 05:08.420 |
|
そして、 これがこれから行うダウンロードだ。 |
|
|
|
05:08.870 --> 05:10.550 |
|
アナコンダはかなり大きい。 |
|
|
|
05:10.550 --> 05:13.670 |
|
これは5ギガバイトのダウンロードだ。 |
|
|
|
05:13.820 --> 05:16.730 |
|
だから、 あなたには余裕がないのかもしれない。 |
|
|
|
05:16.730 --> 05:18.740 |
|
また、 これが重すぎると感じるかもしれない。 |
|
|
|
05:18.740 --> 05:24.560 |
|
そして、 この後に記録するvirtualenvを使った別のアプローチもある。 これはよりシンプルなアプローチだが、 |
|
|
|
05:24.560 --> 05:27.290 |
|
互換性が保証されていない。 |
|
|
|
05:27.350 --> 05:28.790 |
|
それに、 ハードコアじゃない。 |
|
|
|
05:28.790 --> 05:32.930 |
|
筋金入りのLMエンジニアになりたいなら、 少なくともアナコンダ・ルートを試すべきだ。 |
|
|
|
05:32.930 --> 05:36.800 |
|
ダウンロードボタンを押す。 |
|
|
|
05:36.830 --> 05:44.930 |
|
すると、 Anacondaをインストールする画面が表示され、 いつものインストールウィザードのように、 「はい」を数回押さなければならない。 |
|
|
|
05:44.930 --> 05:47.300 |
|
インストールする場所を聞いてくる。 |
|
|
|
05:47.330 --> 05:53.750 |
|
容量を確保するために、 別のドライブにインストールすることを選択する人もいる。 |
|
|
|
05:53.900 --> 05:58.310 |
|
それが終わると、 インストールが完了し、 |
|
|
|
05:58.310 --> 06:03.590 |
|
ダウンロードとインストールに数分かかります。 |
|
|
|
06:03.590 --> 06:04.850 |
|
それは何を意味するのか? |
|
|
|
06:04.850 --> 06:10.040 |
|
つまり、 スタートメニューには、 使い慣れたPowerShellがある一方で、 |
|
|
|
06:10.040 --> 06:25.030 |
|
Anaconda PowerShellと呼ばれる新しいものもある。 |
|
|
|
06:25.420 --> 06:26.860 |
|
このウィンドウを広げてみてほしい。 |
|
|
|
06:26.890 --> 06:29.740 |
|
手探り、 手探り、 手探り。 |
|
|
|
06:29.920 --> 06:31.450 |
|
ええと......。 |
|
|
|
06:31.480 --> 06:32.350 |
|
さて、 私は何をしたのだろう? |
|
|
|
06:32.380 --> 06:33.250 |
|
これでよし。 |
|
|
|
06:33.580 --> 06:34.630 |
|
僕はこれがダメなんだ。 |
|
|
|
06:34.660 --> 06:35.590 |
|
これでよし。 |
|
|
|
06:35.620 --> 06:42.490 |
|
Anaconda PowerShellであることを知る方法は、 このbaseという単語が左側に表示されることです。 |
|
|
|
06:42.490 --> 06:49.900 |
|
これは、 私たちが構築した世界、 特に環境の世界ではなく、 基本的な世界にいることを意味します。 |
|
|
|
06:50.020 --> 06:50.680 |
|
分かった。 |
|
|
|
06:50.680 --> 06:57.640 |
|
それでは、 先ほど作ったプロジェクトフォルダーに入って、 LMエンジニアリングに入ります。 |
|
|
|
06:57.670 --> 06:58.570 |
|
あれだ。 |
|
|
|
06:59.020 --> 07:03.880 |
|
というわけで、 プロジェクト・ルート・ディレクトリに入った。 |
|
|
|
07:03.910 --> 07:10.600 |
|
condaはanacondaコマンドを実行するための名前だ。 |
|
|
|
07:10.660 --> 07:13.390 |
|
環境創造を意味するエンブ。 |
|
|
|
07:13.390 --> 07:21.940 |
|
新しい環境マイナスfを作りたいので、 この環境に必要なものすべてを記述したファイルを指定します。 |
|
|
|
07:21.940 --> 07:23.920 |
|
ファイル名はEnvironment。 |
|
|
|
07:23.950 --> 07:25.450 |
|
環境だ。 |
|
|
|
07:25.480 --> 07:26.650 |
|
ドットYAML。 |
|
|
|
07:26.650 --> 07:29.080 |
|
そして、 環境を見ることができる。 ymlはここにある。 |
|
|
|
07:29.080 --> 07:31.810 |
|
だから、 私はそうするつもりだ。 |
|
|
|
07:32.170 --> 07:39.580 |
|
さて、 この時点でコーヒーを買いに行く必要がある。 |
|
|
|
07:39.700 --> 07:45.670 |
|
そのため、 この完全な環境を最初にインストールするには少し時間がかかる。 |
|
|
|
07:45.670 --> 07:50.950 |
|
だから、 僕がやるときは、 前にやったことがあるから、 たぶん数分で終わる。 |
|
|
|
07:50.980 --> 08:00.520 |
|
初回は、 インターネット接続にもよるが、 10分から20分かかるかもしれない。 |
|
|
|
08:00.520 --> 08:02.260 |
|
では、 実際に何をしているのか。 |
|
|
|
08:02.260 --> 08:08.380 |
|
つまり、 データ・サイエンス環境に必要なパッケージのすべてに目を向けているのだ。 |
|
|
|
08:08.380 --> 08:15.520 |
|
そして、 この特定のタイプのシステム、 どんなチップを搭載していても、 さまざまなコンフィギュレーションがあっても、 |
|
|
|
08:15.520 --> 08:21.400 |
|
将来的にオブジェクト・データベースを導入したり、 ラングチェーンを使ったり、 グラディオを使ったりするために必要な、 |
|
|
|
08:21.430 --> 08:28.590 |
|
あらゆるパッケージの互換バージョンを割り出す。 |
|
|
|
08:28.590 --> 08:36.810 |
|
そのため、 互いに互換性があり、 あなたのプロセッサーなどとも互換性のある最新バージョンを選ぶようにしている。 |
|
|
|
08:36.810 --> 08:39.240 |
|
だから今、 環境を解決すると書いてあるんだ。 |
|
|
|
08:39.240 --> 08:45.330 |
|
それは、 さまざまな決断を迫られる方程式を解いているのだ。 |
|
|
|
08:45.960 --> 08:48.360 |
|
だから、 そういう決断を下すことになる。 |
|
|
|
08:48.360 --> 08:53.790 |
|
そして、 それらのパッケージをすべてあなたのコンピューターにインストールする。 |
|
|
|
08:53.940 --> 08:59.820 |
|
そして、 もう少しこの文章を続けて、 終わりに近づくかどうかを確認するつもりだ。 |
|
|
|
08:59.970 --> 09:04.890 |
|
そうでなければ、 ちょっと休憩して、 またすぐに戻ってこなければならないかもしれない。 |
|
|
|
09:06.300 --> 09:06.690 |
|
分かった。 |
|
|
|
09:06.690 --> 09:08.820 |
|
あと2、 3分かかるようだ。 |
|
|
|
09:08.820 --> 09:13.140 |
|
それではビデオを一時停止して、 準備ができたらまた戻ってきます。 |
|
|
|
09:13.320 --> 09:15.690 |
|
まあ、 あそこで頑張らなかっただけマシだよ。 |
|
|
|
09:15.690 --> 09:18.630 |
|
そこから終了までさらに5分かかった。 |
|
|
|
09:18.720 --> 09:23.790 |
|
というわけで、 私のワッフルからあなたを救ったのは、 恥ずかしいことに5分間だったことになる。 |
|
|
|
09:23.940 --> 09:28.140 |
|
とにかく、 この作業には数分かかる。 |
|
|
|
09:28.140 --> 09:31.250 |
|
だから、 あなたにとっては20分30分かもしれない。 |
|
|
|
09:31.340 --> 09:32.870 |
|
だから、 そこで頑張るんだ。 |
|
|
|
09:32.870 --> 09:38.660 |
|
でも、 言いようのないほど時間がかかるようなら、 諦めて次のビデオに進んでください。 |
|
|
|
09:38.660 --> 09:44.120 |
|
しかし、 それが完了すれば、 Anaconda PowerShell プロンプトは以下のようになるはずです。 |
|
|
|
09:44.420 --> 09:46.490 |
|
あそこはまだ最後にベースと書いてある。 |
|
|
|
09:46.640 --> 09:48.620 |
|
そして、 私たちは知られる環境を作り上げた。 |
|
|
|
09:48.650 --> 09:49.880 |
|
LMSと呼ばれるものだ。 |
|
|
|
09:49.880 --> 09:51.110 |
|
それが私がつけた名前だ。 |
|
|
|
09:51.110 --> 10:00.020 |
|
そして今、 その環境を活性化させる。 つまり、 アナコンダが活動するライブの世界にするのだ。 |
|
|
|
10:00.050 --> 10:05.480 |
|
condaと入力してLMSを起動し、 それを実行するだけだ。 |
|
|
|
10:05.600 --> 10:10.370 |
|
コンピュータに戻ってきたらいつでも、 始める前にもう一度すべてを始めたいのであれば、 |
|
|
|
10:10.520 --> 10:16.550 |
|
アナコンダ・プロンプトを開いてcondaを実行することを忘れないようにする必要がある。 |
|
|
|
10:16.580 --> 10:30.770 |
|
LMSをアクティベートし、 プロンプトの左側にLMSと書かれているのが動作している証拠です。 |
|
|
|
10:30.890 --> 10:43.290 |
|
Pythonマイナス・バージョンと入力すると、 今使っているPythonのバージョンが3であることを教えてくれます。 |
|
|
|
10:43.290 --> 10:43.290 |
|
11. バージョンである1か、 少なくとも3だ。 11がこの環境で指定したものだ。 |
|
|
|
10:44.220 --> 10:49.500 |
|
Pythonのバージョンはまったく同じで、 すべて互換性があるはずだ。 |
|
|
|
10:49.500 --> 10:53.670 |
|
そして、 あとは私がJupyter Labという2つの単語を入力するだけだ。 |
|
|
|
10:53.670 --> 11:02.280 |
|
Jupyter環境は、 データサイエンス環境であり、 コード上で効率的に共同作業ができる。 |
|
|
|
11:02.280 --> 11:04.290 |
|
繰り返しになるが、 おそらく皆さんの中には、 このことを裏から表まで知っている人もいるだろう。 |
|
|
|
11:04.290 --> 11:05.940 |
|
人によっては初めてのことかもしれない。 |
|
|
|
11:05.970 --> 11:07.050 |
|
エンターキーを押す。 |
|
|
|
11:07.050 --> 11:09.630 |
|
Jupyter Labが始まる。 |
|
|
|
11:09.810 --> 11:11.490 |
|
あ、 上がってきた。 |
|
|
|
11:11.880 --> 11:17.310 |
|
最初はどのブラウザを開くか聞かれるかもしれないが、 |
|
|
|
11:17.310 --> 11:26.190 |
|
私のコンピュータのJupyter Labが開き、 8週間先の予定が表示される。 |
|
|
|
11:26.220 --> 11:28.410 |
|
それがPCの指示だ。 |
|
|
|
11:28.410 --> 11:30.060 |
|
すべてうまくいっていることを願っている。 |
|
|
|
11:30.060 --> 11:35.520 |
|
そうでなければ、 どうか私に連絡をください。 |
|
|
|
11:35.700 --> 11:37.800 |
|
では、 次のビデオでお会いしましょう。
|
|
|