From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
259 lines
9.9 KiB
259 lines
9.9 KiB
WEBVTT |
|
|
|
00:00.050 --> 00:05.660 |
|
これからコースの第1週目をスタートし、 フロンティア・モデル、 |
|
|
|
00:05.690 --> 00:13.310 |
|
つまり可能性の最前線にあるモデルを探求していく。 |
|
|
|
00:13.310 --> 00:17.000 |
|
そして、 これから数週間、 成功のためにどのような態勢を整えればよいかを話していく。 |
|
|
|
00:17.000 --> 00:21.320 |
|
そして、 可能性のフロンティアにあるモデルを比較する。 |
|
|
|
00:21.320 --> 00:23.900 |
|
よくご存知のものもあれば、 初めて耳にするものもあるだろう。 |
|
|
|
00:23.930 --> 00:32.210 |
|
このコースで使用するさまざまなモデル(ほとんどすべてのモデル)の核となるアーキテクチャである。 |
|
|
|
00:32.270 --> 00:40.310 |
|
そして最後に、 皆さんが使えるようなジューシーなコマーシャル・プロジェクトを紹介し、 それを自分のものにするための練習をします。 |
|
|
|
00:40.310 --> 00:44.540 |
|
それをさまざまなビジネス分野に応用し、 もしかしたら本業ですぐに使えるかもしれない。 |
|
|
|
00:44.540 --> 00:49.580 |
|
もしかしたら、 自分のための見本となるプロジェクトとして使えるかもしれない。 |
|
|
|
00:50.240 --> 00:55.910 |
|
だから、 うまくいけば、 すぐに満足のいく結果が得られるだろう。 |
|
|
|
00:55.940 --> 01:00.080 |
|
我々はすでにラマを使って、 コンピューター上でいくつかの楽しいことをやっているが、 |
|
|
|
01:00.080 --> 01:03.890 |
|
今度はAPIを直接呼び出すことで、 さらに一段上のことをやってみよう。 |
|
|
|
01:03.980 --> 01:11.630 |
|
しかし、 その前に必要な最初のステップは、 環境をセットアップすることである。 これから始まる8週間のプログラム全体を乗り切るのに十分な馬力を備えた、 |
|
|
|
01:11.630 --> 01:17.450 |
|
フルスペックのデータサイエンス環境を構築することだ。 |
|
|
|
01:17.450 --> 01:22.190 |
|
そのために必要なものがたくさんあるんだ。 |
|
|
|
01:22.400 --> 01:28.580 |
|
そして時々、 この経験が少々フラストレーションになることもあることも言っておかなければならないだろう。 |
|
|
|
01:28.580 --> 01:32.090 |
|
たいていの場合は本当にスムーズに進み、 すべてが所定の位置に収まる。 |
|
|
|
01:32.090 --> 01:33.560 |
|
そして5分で終わる。 |
|
|
|
01:33.560 --> 01:41.720 |
|
しかし、 時には何らかの理由でスピードバンプにぶつかる人もいる。 |
|
|
|
01:41.780 --> 01:47.720 |
|
少しイライラすることもあるかもしれませんが、 私はここで一歩一歩ステップを踏んでいき、 これがスムーズにいくように、 |
|
|
|
01:47.720 --> 01:50.420 |
|
あなたにとって成功するようにします。 |
|
|
|
01:50.420 --> 01:58.250 |
|
すぐに終わって実際のプロジェクトに移れるし、 今後8週間はもう環境設定について心配する必要はない。 |
|
|
|
01:58.250 --> 02:04.590 |
|
だから、 フルスペックのデータサイエンス環境を構築するのは、 私が望むほど簡単ではない。 |
|
|
|
02:04.950 --> 02:07.860 |
|
やることはいくつかあるけど、 早く終わらせるよ。 |
|
|
|
02:07.860 --> 02:11.910 |
|
まず最初に、 gitに慣れている人のためにレポをクローンしておこう。 |
|
|
|
02:11.910 --> 02:16.500 |
|
それは簡単なことなんだけど、 でも、 これが初めてのことであることを念のために説明しておくよ。 |
|
|
|
02:16.620 --> 02:21.930 |
|
次に、 Readmeの指示に従って環境をセットアップする。 |
|
|
|
02:21.960 --> 02:27.180 |
|
さて、 Anacondaというものを使うことをお勧めする。 すでにAnacondaを使ったことがある人もいるかもしれない。 |
|
|
|
02:27.180 --> 02:30.960 |
|
ハイパワーだし、 かなりヘビー級だ。 |
|
|
|
02:30.960 --> 02:37.140 |
|
このコース専用の隔離された環境をあなたのコンピューター上に構築し、 あなたのコンピューターで行っていることと、 |
|
|
|
02:37.140 --> 02:46.590 |
|
私のコンピューターで行っていること、 そしてこのコースの他の参加者全員の間で高い互換性が保証されるようにするのです。 |
|
|
|
02:46.680 --> 02:48.900 |
|
だから、 その点では非常に優れている。 |
|
|
|
02:49.170 --> 02:50.550 |
|
しかし、 かなりヘビー級だ。 |
|
|
|
02:50.550 --> 02:56.130 |
|
インターネットから多くのものをダウンロードし、 一からすべてを構築するため、 多くのものをインストールする必要がある。 |
|
|
|
02:56.520 --> 02:59.100 |
|
もしそれが問題を引き起こすのであれば、 別の方法がある。 |
|
|
|
02:59.100 --> 03:01.080 |
|
もっとシンプルな方法を使えばいい。 |
|
|
|
03:01.080 --> 03:06.440 |
|
Pipを使った標準的なPython仮想環境でのアプローチ。 |
|
|
|
03:06.470 --> 03:15.740 |
|
より速く、 よりシンプルで、 アナコンダほど互換性が保証されているわけではない。 |
|
|
|
03:15.770 --> 03:17.150 |
|
たいていの場合はうまくいく。 |
|
|
|
03:17.150 --> 03:18.380 |
|
何か問題は? |
|
|
|
03:18.380 --> 03:20.900 |
|
Python仮想環境はあなたの予備だ。 |
|
|
|
03:20.930 --> 03:24.620 |
|
それからOpenAIのキーを設定する必要がありますが、 それについてはまた詳しくお話しします。 |
|
|
|
03:24.620 --> 03:28.310 |
|
APIのコストと、 もしそれがあなたにとって問題ならどうすべきかについてお話しします。 |
|
|
|
03:28.400 --> 03:29.930 |
|
それはその時に確認する。 |
|
|
|
03:29.930 --> 03:35.960 |
|
EMVファイルと呼ばれるものを作成する必要があり、 その中にあなたの秘密鍵が入っている。 |
|
|
|
03:35.960 --> 03:40.460 |
|
そして、 後述するように、 そのファイルが正確にドットEMVと呼ばれていることが重要になる。 |
|
|
|
03:40.460 --> 03:45.410 |
|
説明するが、 キー・ドットEMVやドットEMV・ドット・テキストとは呼べない。 |
|
|
|
03:45.440 --> 03:47.600 |
|
正確にはドットEMVと呼ばなければならない。 |
|
|
|
03:48.050 --> 03:53.840 |
|
そして最後に環境をアクティブにして、 JupyterLabを実行してプログラムを開始する。 |
|
|
|
03:54.560 --> 03:59.720 |
|
だから、 私が言うように、 ほとんどの場合、 このすべてがうまくいくだろう。 |
|
|
|
03:59.930 --> 04:09.460 |
|
ほとんどの人はすべてうまくいったと報告するが、 そうでない場合は、 うまくいくようにするための秘密兵器がある。 |
|
|
|
04:09.490 --> 04:15.490 |
|
その第一は、 GitHubのレポにあるトラブルシューティングノートブックで、 問題を診断し、 |
|
|
|
04:15.520 --> 04:24.340 |
|
何が問題なのかを突き止めるコードを実行し、 それぞれの問題を順番に解決していくというステップを踏むことができる。 |
|
|
|
04:24.340 --> 04:25.900 |
|
だからそれがある。 |
|
|
|
04:25.930 --> 04:31.840 |
|
2つ目のリソースは、 ChatGPTとクロードにある意外なものだ。 |
|
|
|
04:31.870 --> 04:34.840 |
|
不気味なほどうまい。 |
|
|
|
04:34.870 --> 04:45.310 |
|
問題を言って、 スタックトレースみたいなものをそこに貼り付けると、 彼らは非常に、 あー、 何をすべきかについて非常に微妙な答えを出してくれるのが印象的だ。 |
|
|
|
04:45.340 --> 04:49.870 |
|
インフラストラクチャーの問題にぶつかったとき、 これはやりすぎだ、 と油断したことがある。 |
|
|
|
04:49.870 --> 04:52.300 |
|
Stack Overflowでも答えが見つからない。 |
|
|
|
04:52.480 --> 04:55.570 |
|
でも、 クロードに助けられたんだ。 |
|
|
|
04:55.660 --> 04:57.400 |
|
クロードの方が強いと思う。 |
|
|
|
04:57.430 --> 04:57.640 |
|
でもね。 |
|
|
|
04:57.640 --> 04:59.440 |
|
しかし、 2人ともいい答えをしている。 |
|
|
|
04:59.440 --> 05:04.990 |
|
だから、 そこに貼り付けるだけで問題を解決できることが多いということを認識しておく価値がある。 |
|
|
|
05:05.020 --> 05:06.670 |
|
試してみる価値はある。 |
|
|
|
05:06.730 --> 05:12.140 |
|
しかし、 もしこの2つが失敗した場合、 あるいはこの3つ目の選択肢に直行したい場合もある。 |
|
|
|
05:12.140 --> 05:15.770 |
|
第3の選択肢は、 私に連絡することだ。 |
|
|
|
05:15.890 --> 05:17.780 |
|
私はあなたを助けるために待機している。 |
|
|
|
05:17.780 --> 05:19.070 |
|
それが私の仕事だ。 |
|
|
|
05:19.130 --> 05:20.990 |
|
だから、 どうか手を差し伸べてほしい。 |
|
|
|
05:20.990 --> 05:23.900 |
|
私に連絡を取るには、 プラットフォーム上でメッセージを送ってください。 |
|
|
|
05:23.900 --> 05:25.130 |
|
メールでも構いません。 |
|
|
|
05:25.160 --> 05:28.700 |
|
私のメールアドレスはReadmeにあります。 |
|
|
|
05:28.700 --> 05:30.500 |
|
ところで、 私はLinkedInのコネクションを得るのが大好きだ。 |
|
|
|
05:30.560 --> 05:36.650 |
|
LinkedInに登録して、 メッセージも送ってください。 |
|
|
|
05:36.740 --> 05:41.900 |
|
私は通常、 寝ているか旅行中でなければ、 他の回答を見てもらえればわかると思うが、 |
|
|
|
05:41.990 --> 05:47.210 |
|
非常に早く戻ってくる。 |
|
|
|
05:47.210 --> 05:48.320 |
|
そして、 私は一度も失敗したことがない。 |
|
|
|
05:48.320 --> 05:55.340 |
|
しかし、 私は常に5000人の人を通して、 誰もが走る環境を持っていると思う。 |
|
|
|
05:55.340 --> 05:59.570 |
|
だから、 もしスピードバンプにぶつかっても、 他の2つの選択肢を選ぶことができる。 |
|
|
|
05:59.570 --> 06:00.860 |
|
でも、 私のところに直接来てください。 |
|
|
|
06:00.860 --> 06:01.670 |
|
直します。 |
|
|
|
06:01.670 --> 06:03.200 |
|
何が起こっているのか、 私が見つける。 |
|
|
|
06:03.200 --> 06:05.690 |
|
私たちは、 お客様を素早く立ち上げ、 稼動させます。 |
|
|
|
06:05.840 --> 06:06.680 |
|
分かった。 |
|
|
|
06:06.680 --> 06:11.630 |
|
それでは、 あなたの環境をセットアップするために必要なことを、 ウォークスルー形式で説明しよう。
|
|
|