From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
400 lines
15 KiB
400 lines
15 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:03.140 |
|
Google Colabの世界へようこそ。 |
|
|
|
00:03.140 --> 00:08.660 |
|
すでにGoogle Colabを使いこなしている人もいるかもしれないが、 そうであっても、 あちこちでいくつか紹介できればと思う。 |
|
|
|
00:08.780 --> 00:13.340 |
|
しかし、 そうでない場合は、 素晴らしい道具を用意することだ。 |
|
|
|
00:13.610 --> 00:17.630 |
|
グーグル・コラボには、 似たような競合他社が他にもあります。 |
|
|
|
00:17.750 --> 00:26.990 |
|
でも、 ここから始めるか、 あるいはあなたが選んだクラウド・コンピューティング・プラットフォームで同じようなことをすることをお勧めする。 |
|
|
|
00:26.990 --> 00:33.140 |
|
まず最初に必要なのは、 グーグルアカウントを持っていることだ。 |
|
|
|
00:33.170 --> 00:40.970 |
|
だから、 このURLのcolab. を研究している。 グーグル もしまだグーグルアカウントをお持ちでない場合は、 |
|
|
|
00:40.970 --> 00:43.850 |
|
アカウントを作成するよう促されます。 |
|
|
|
00:43.850 --> 00:44.840 |
|
その価値はある。 |
|
|
|
00:44.840 --> 00:46.880 |
|
それでできることは山ほどあるだろう。 |
|
|
|
00:46.880 --> 00:50.240 |
|
だから、 必要ならそうしてくれ。 |
|
|
|
00:50.510 --> 00:58.010 |
|
でも、 それ以外の人は、 Colabについての情報を見ることができる。 |
|
|
|
00:58.010 --> 01:00.650 |
|
無料のティアと有料のティアがある。 |
|
|
|
01:00.650 --> 01:02.900 |
|
無料ティアだけでできることは非常に多い。 |
|
|
|
01:02.960 --> 01:07.320 |
|
理屈の上では、 フリー・ティアでも僕らのクラスのほとんどのことができるはずなんだ。 |
|
|
|
01:07.320 --> 01:08.820 |
|
ただ、 もっと時間がかかるかもしれない。 |
|
|
|
01:09.060 --> 01:14.430 |
|
そして、 有料ティアでは、 いくら使うかをコントロールすることができ、 それは数ドルの問題で比較的少額にすることができる。 |
|
|
|
01:14.430 --> 01:20.490 |
|
トレーニングに深く打ち込むことができ、 |
|
|
|
01:20.490 --> 01:23.670 |
|
満足感も大きい。 |
|
|
|
01:23.760 --> 01:32.460 |
|
だから、 新しいColabノートを思いついたとき、 すぐに提供されるものと少し似ているんだ。 |
|
|
|
01:32.460 --> 01:34.890 |
|
Jupyterノートブックによく似ている。 |
|
|
|
01:34.920 --> 01:42.840 |
|
セルにはコードもあればテキストもあり、 クリックするだけでコードを実行できる。 |
|
|
|
01:42.840 --> 01:45.990 |
|
そして、 これはデフォルトのようなものだ。 |
|
|
|
01:46.020 --> 01:49.950 |
|
私たちにできることは、 新しいノートをドライブにファイルすることだ。 |
|
|
|
01:49.950 --> 01:56.280 |
|
このノートブックはグーグル・ドライブに作成されるので、 とても便利です。 |
|
|
|
01:56.280 --> 02:06.780 |
|
GoogleドキュメントやGoogleシートを作るのと同じような構成で、 他のものを共有するのと同じように共有することができる。 |
|
|
|
02:06.780 --> 02:08.270 |
|
だから、 ここにいる。 |
|
|
|
02:09.020 --> 02:14.840 |
|
ジュピター・ノートのように見えるのは、 接続ボタンだ。 |
|
|
|
02:14.840 --> 02:19.400 |
|
ランタイムの種類を変更するところから始めましょう。 ランタイムの種類を変更することで、 |
|
|
|
02:19.400 --> 02:23.690 |
|
CPUで実行できるVMの種類がわかります。 |
|
|
|
02:23.690 --> 02:29.480 |
|
言い換えれば、 GPU(グラフィックス・プロセッシング・ユニット)を1つも搭載していない普通の箱で、 |
|
|
|
02:29.480 --> 02:35.900 |
|
ニューラルネットワークの背後にある並列マトリックス計算を実行するのが得意なのだ。 |
|
|
|
02:35.900 --> 02:41.300 |
|
だから、 CPUボックスを選べばいいのだ。 |
|
|
|
02:41.330 --> 02:50.420 |
|
T4と呼ばれるローエンドGPUボックスがあり、 これにはより小さなGPUが取り付けられている。 |
|
|
|
02:50.420 --> 02:58.340 |
|
これは無料プランでも利用可能だが、 使用量に制限がある。 |
|
|
|
02:58.550 --> 03:08.930 |
|
L4はもう少しハイスペックだし、 A100は最強で、 素早くやりたいときに使う。 |
|
|
|
03:08.960 --> 03:12.150 |
|
少し高くつくが、 それでもドルの話だ。 |
|
|
|
03:12.180 --> 03:14.940 |
|
大量ではない。 |
|
|
|
03:14.940 --> 03:16.050 |
|
10ドルがあなたを捕まえる。 |
|
|
|
03:16.050 --> 03:26.580 |
|
10ドルあれば、 24時間から48時間くらいはトレーニングを続けられると思う。 |
|
|
|
03:26.580 --> 03:34.170 |
|
100sを多用するようになれば、 そのようなことも視野に入ってくるでしょう。 |
|
|
|
03:34.830 --> 03:40.020 |
|
ええと、 それで、 ええと、 もちろん、 いくら使っているかはいつでも確認できるし、 安いオプションにするか、 |
|
|
|
03:40.020 --> 03:43.500 |
|
無料のオプションにするかはいつでも好きなように選択できる。 |
|
|
|
03:43.530 --> 03:46.650 |
|
そして、 ボックスを選ぶと、 そのハイラム版を持つことができる。 |
|
|
|
03:46.650 --> 03:48.870 |
|
これはGPUではなくCPUとラムの話だ。 |
|
|
|
03:48.900 --> 03:55.290 |
|
GPUラムはどのインスタンスを選ぶかに関連するが、 高いCPU、 ラムが必要かどうかは選択できる。 |
|
|
|
03:55.290 --> 04:02.730 |
|
そこで、 通常のRAMを搭載したCPUボックスに接続ボタンを押して接続することにしよう。 |
|
|
|
04:02.790 --> 04:07.680 |
|
ボックスを探し出して接続する必要があるため、 接続には少し時間がかかるが、 これでOKだ。 |
|
|
|
04:07.710 --> 04:09.480 |
|
私たちは今、 箱に取り付けられている。 |
|
|
|
04:09.480 --> 04:15.750 |
|
このドロップダウンメニューから「View Resources(リソースを表示)」と選択し、 作業内容を確認する。 |
|
|
|
04:15.780 --> 04:17.040 |
|
システム・ラムを見ることができる。 |
|
|
|
04:17.040 --> 04:24.840 |
|
このボックスには13ギガ近くあり、 225ギガのディスクスペースがある。 |
|
|
|
04:25.290 --> 04:35.910 |
|
そしてここに行き、 print hello Data Science Worldのように入力して実行することができる。 |
|
|
|
04:35.910 --> 04:39.150 |
|
そして衝撃的なことに、 私たちはそのメッセージを印刷される。 |
|
|
|
04:39.330 --> 04:42.990 |
|
ああ、 だから、 サプライズがないことを祈るよ。 |
|
|
|
04:42.990 --> 04:46.530 |
|
クラウド上のCPUで動作するJupyterノートブックだ。 |
|
|
|
04:46.560 --> 04:48.210 |
|
他にもいくつか触れておきたいことがある。 |
|
|
|
04:48.210 --> 04:50.370 |
|
この下を見れば、 役に立つものがある。 |
|
|
|
04:50.370 --> 04:56.520 |
|
これは、 ブラウザーの一種、 ファイル・ブラウザーをローカル・ディスク上に開くものだ。 |
|
|
|
04:56.550 --> 05:01.380 |
|
このローカルディスクは一時的なもので、 このボックスの使用を終えると完全に消去される。 |
|
|
|
05:01.380 --> 05:06.900 |
|
だから、 一時的なものと考えて、 そこにファイルを書き込んで、 モデルやデータをHuggingfaceのハブにアップロードして、 |
|
|
|
05:06.900 --> 05:13.290 |
|
後でどこかにダウンロードするために使うことができる。 |
|
|
|
05:13.290 --> 05:14.880 |
|
しかし、 これは一時的なものだ。 |
|
|
|
05:14.910 --> 05:16.290 |
|
これはとても重要なことだ。 |
|
|
|
05:16.290 --> 05:21.000 |
|
このキーは、 あなたのノートブックに関連する秘密と呼ばれるもののためのものです。 |
|
|
|
05:21.000 --> 05:27.090 |
|
そしてここに、 ノートブック内でアクセスできる環境変数を入れる。 |
|
|
|
05:27.120 --> 05:31.020 |
|
それはノートのコードに含まれるべきではない。 |
|
|
|
05:31.050 --> 05:33.930 |
|
そして、 ここに表示されているのは、 私の擬人化APIキーです。 |
|
|
|
05:33.960 --> 05:37.530 |
|
僕はOpenAIのAPIキーとハグする顔のトークンを持っている。 |
|
|
|
05:37.530 --> 05:43.890 |
|
これは前回のビデオで作成したもので、 このノートブックに関連付けました。 |
|
|
|
05:43.920 --> 05:46.020 |
|
新しいシークレットを追加]を押すだけです。 |
|
|
|
05:46.020 --> 05:48.270 |
|
そして、 それは私のすべてのノートブックに付属している。 |
|
|
|
05:48.450 --> 05:51.870 |
|
ええと、 それは僕のコラボの秘密として設定されているからなんだ。 |
|
|
|
05:51.870 --> 05:56.880 |
|
そこで新しいシークレットを追加を押せば、 新しいシークレットを作成できる。 |
|
|
|
05:57.270 --> 06:01.590 |
|
ノートブックへのアクセスはここで切り替えることができる。 |
|
|
|
06:01.860 --> 06:05.280 |
|
ジェミニ・キーを作成するオプションがあるのを今見たよ。 |
|
|
|
06:05.280 --> 06:11.370 |
|
双子座へのクロスセリングであることは明らかだし、 私が双子座のキーを作るのは難しいと言っていることも知っている。 |
|
|
|
06:11.370 --> 06:15.300 |
|
もしかしたら、 ジェミニのAPIキーを作成するための簡単なパスがそこにあるのかもしれない。 |
|
|
|
06:15.300 --> 06:16.740 |
|
だから、 試してみる価値はあるだろう。 |
|
|
|
06:16.770 --> 06:20.460 |
|
まだGemini APIキーの設定を行っていない場合。 |
|
|
|
06:20.670 --> 06:27.180 |
|
Jupyterノートブックから自分のキーにアクセスする方法は、 後で説明しようと思っていたんだ。 |
|
|
|
06:27.180 --> 06:30.540 |
|
しかし、 素晴らしいことに、 彼らは小さな小さなスクリプトのようなコードを与えてくれた。 |
|
|
|
06:30.540 --> 06:36.690 |
|
これが、 右のコード内の秘密にアクセスするために後でやることだ。 |
|
|
|
06:36.690 --> 06:40.020 |
|
だから、 機会があれば、 これらをセットアップしておくべきだ。 |
|
|
|
06:40.050 --> 06:45.630 |
|
特に実際のノートブックで作業しているときは、 このスイッチをオンにして、 あるセルでこのコードを実行したときに、 |
|
|
|
06:45.630 --> 06:50.820 |
|
そのコードがそのシークレットにアクセスできるようにする。 |
|
|
|
06:51.120 --> 06:59.490 |
|
そしてもちろん、 ご想像のとおり、 これらの秘密が強力なのは、 このノートブックを他の人と共有すれば、 その人があなたのコードをすべて手に入れることができるということだ。 |
|
|
|
06:59.490 --> 07:02.100 |
|
しかしもちろん、 彼らはあなたの秘密を共有することはない。 |
|
|
|
07:02.100 --> 07:07.380 |
|
そのコードを実行できるようにするためには、 彼ら自身の秘密を入力しなければならない。 |
|
|
|
07:07.380 --> 07:12.240 |
|
もちろん、 私が皆さんにノートをお分けするときも同様です。 |
|
|
|
07:12.240 --> 07:18.180 |
|
フロンティアのモデルに対してコードを実行したり、 ハグする顔のハブを使ったりするためには、 |
|
|
|
07:18.180 --> 07:23.850 |
|
独自のトークンを入れる必要がある。 |
|
|
|
07:24.600 --> 07:26.700 |
|
よし、 これで終わりにしよう。 |
|
|
|
07:26.700 --> 07:30.930 |
|
では、 より強力なボックスをいくつか紹介しよう。 |
|
|
|
07:30.930 --> 07:34.500 |
|
ここでランタイム・タイプを変更することができる。 |
|
|
|
07:34.500 --> 07:38.040 |
|
そのボックスを使用するにはT4をクリックする。 |
|
|
|
07:38.040 --> 07:40.080 |
|
さっきもそうだった。 |
|
|
|
07:40.230 --> 07:45.150 |
|
そうしたのは、 いくつかのボックスに接続するのに少し時間がかかることがあるからだ。 |
|
|
|
07:45.150 --> 07:50.700 |
|
A100のような本当にハイスペックなボックスでは、 時々使用できないことがあり、 2分後にもう一度来て試してみると、 |
|
|
|
07:50.700 --> 07:54.180 |
|
使用できるようになっている。 |
|
|
|
07:54.180 --> 08:00.660 |
|
数回トライすれば必ず空くが、 時には定員オーバーで数回トライすることもある。 |
|
|
|
08:00.660 --> 08:02.580 |
|
これがT4ボックスか。 |
|
|
|
08:02.580 --> 08:09.210 |
|
リソースを見ると、 また12と少しシステムラムがある。 |
|
|
|
08:09.210 --> 08:12.780 |
|
ハードディスクは同じで、 少し小さいと思う。 |
|
|
|
08:12.960 --> 08:15.690 |
|
以前は2か5だったと思うが、 今は200だ。 |
|
|
|
08:15.690 --> 08:16.980 |
|
十分なディスク容量だ。 |
|
|
|
08:16.980 --> 08:24.000 |
|
そして、 15GBのラムを搭載したGPUがある。 15GBというと、 GPUにとっては膨大なラムの量に聞こえるかもしれない。 |
|
|
|
08:24.000 --> 08:28.240 |
|
しかし、 ディープ・ニューラル・ネットワークをトレーニングすることになればすぐにわかるように、 これはある意味ちっぽけなGPUだが、 |
|
|
|
08:28.270 --> 08:30.490 |
|
我々の目的には十分だ。 |
|
|
|
08:30.490 --> 08:32.920 |
|
このクラスで使うことができるだろう。 |
|
|
|
08:33.130 --> 08:38.110 |
|
うーん、 でも、 時間がかかるものもあるかもしれない。 |
|
|
|
08:38.260 --> 08:45.100 |
|
これは、 Googleが私たちに促してくれたオリジナル・ラボからコピーしたコードで、 |
|
|
|
08:45.100 --> 08:54.250 |
|
15GBのうちどれだけのメモリーを使用しているかなど、 このGPUの詳細をプリントアウトしてくれる。 |
|
|
|
08:54.280 --> 08:57.040 |
|
もちろん、 こちらでその様子を見ることもできる。 |
|
|
|
08:58.000 --> 09:02.110 |
|
ええと、 これがT4の箱ですね。 |
|
|
|
09:02.110 --> 09:05.410 |
|
これからA100の箱をお見せします。 |
|
|
|
09:05.410 --> 09:11.290 |
|
これは超強力なもので、 時々これを使うかもしれない。 |
|
|
|
09:11.290 --> 09:17.440 |
|
このクラスを早く進め、 皆さんに素晴らしい結果を早くお見せしたいという精神からです。 |
|
|
|
09:17.590 --> 09:21.700 |
|
リソースを見れば、 何が起こっているかわかるだろう。 |
|
|
|
09:21.700 --> 09:29.380 |
|
現在、 40ギガバイトのラム、 GPUを搭載している。 |
|
|
|
09:29.380 --> 09:34.240 |
|
それは、 重たいトレーニングをするために使えるものだ。 |
|
|
|
09:34.480 --> 09:37.750 |
|
そして、 これを使って詳細を印刷することができる。 |
|
|
|
09:37.840 --> 09:49.270 |
|
40GBの空きメモリのうち、 何もしていないときに2メガバイト使っているのがわかるだろう。 |
|
|
|
09:49.870 --> 09:53.200 |
|
というわけで、 Colabの近況をざっとご紹介した。 |
|
|
|
09:53.200 --> 09:57.040 |
|
もうひとつ言っておくと、 ここにシェアボタンがある。 |
|
|
|
09:57.070 --> 10:03.880 |
|
共有ボタンを押すと、 とても見慣れたインターフェイスが表示される。 Googleドライブをまったく使っていない人なら、 |
|
|
|
10:03.880 --> 10:07.600 |
|
Googleドライブの他のものと同じように見えるからだ。 |
|
|
|
10:07.630 --> 10:16.330 |
|
これらのノートブックを、 異なるグループと異なる許可レベルで共有し、 本当に効果的なコラボレーションの方法として使うことができる。 |
|
|
|
10:16.330 --> 10:26.110 |
|
あなたが取り組んでいるジェンのAIプロジェクトの友人、 同僚、 同僚と。 |
|
|
|
10:26.110 --> 10:29.380 |
|
もちろん、 共同作業には超効果的な方法だ。 |
|
|
|
10:29.410 --> 10:32.980 |
|
それが、 グーグルコラボのセットアップを使う大きなメリットのひとつだ。 |
|
|
|
10:33.220 --> 10:33.910 |
|
分かった。 |
|
|
|
10:33.910 --> 10:35.500 |
|
また次の講義でお会いしましょう。
|
|
|