From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
430 lines
17 KiB
430 lines
17 KiB
WEBVTT |
|
|
|
00:00.410 --> 00:06.860 |
|
というわけで、 ハギング・フェイスのメイン・ランディング・ページ、 ハギング・フェイス・コアにやってきた。 |
|
|
|
00:06.890 --> 00:07.790 |
|
あなたの知っているURL。 |
|
|
|
00:07.790 --> 00:11.390 |
|
まあ、 ハギング・フェイスの会社案内を何度か制作したからね。 |
|
|
|
00:11.510 --> 00:14.270 |
|
そして、 あー、 これがご覧のものです。 |
|
|
|
00:14.270 --> 00:16.760 |
|
ログインしていない場合は、 アカウントを持っていません。 |
|
|
|
00:16.760 --> 00:18.530 |
|
このような画面が表示されます。 |
|
|
|
00:18.530 --> 00:20.870 |
|
そして、 まず最初にしなければならないことは、 登録に行くことだ。 |
|
|
|
00:20.870 --> 00:29.210 |
|
まだハギング・フェイスのアカウントをお持ちでない方は、 メールアドレスとパスワードを入力すれば無料で参加できます。 |
|
|
|
00:29.240 --> 00:32.810 |
|
そして中に入れば、 こんなものを見ることができる。 |
|
|
|
00:33.590 --> 00:40.040 |
|
ハギング・フェイスのメイン・ナビゲーションはここにあります。 メイン・ナビゲーションの最初の3つの部分は、 |
|
|
|
00:40.040 --> 00:42.680 |
|
モデル、 データセット、 スペースです。 |
|
|
|
00:42.680 --> 00:45.050 |
|
それが今、 私たちが見ているものだ。 |
|
|
|
00:45.350 --> 00:56.690 |
|
最初のタブでは、 ハギング・フェイス・プラットフォーム、 いわゆるハブで、 利用可能なすべてのモデルを見ることができます。 |
|
|
|
00:56.900 --> 01:02.090 |
|
前に80万人以上と言ったが、 実際は90万人以上だ。 |
|
|
|
01:02.120 --> 01:03.140 |
|
あれを見ろ。 |
|
|
|
01:03.530 --> 01:10.460 |
|
そして、 これはデフォルトでトレンド順にソートされている。 |
|
|
|
01:10.490 --> 01:18.320 |
|
また、 人気度やダウンロード回数、 最近作成または更新された度合いなどでも判断できる。 |
|
|
|
01:19.310 --> 01:26.450 |
|
ここにあるように、 これらの各モデルの名前は通常、 組織名とモデル名の順になっている。 |
|
|
|
01:26.780 --> 01:35.780 |
|
FLUXは、 最新で最もエキサイティングなテキストから画像へのモデルのひとつであり、 いずれはそれを使ってプレーすることになると思う。 |
|
|
|
01:36.110 --> 01:42.170 |
|
クアンタは、 これまで何度か紹介してきたアリババクラウドの強力モデルだ。 |
|
|
|
01:42.170 --> 01:48.590 |
|
そして、 子羊の説明によくあるパラメータの数を見ることができる。 |
|
|
|
01:48.590 --> 02:01.980 |
|
そして最後には、 このインストラクターが、 チャットやインストラクターのようなインプットとの対話の中で最も適用できるように微調整されていることを教えてくれる。 |
|
|
|
02:02.700 --> 02:05.820 |
|
他にもたくさんのモデルを見ることができる。 |
|
|
|
02:05.820 --> 02:07.740 |
|
ここにはもちろんフィルターがある。 |
|
|
|
02:07.740 --> 02:20.400 |
|
だから、 メタのモデルであり、 とても有名で、 とても人気があるラマ・モデルを見るために、 ラマ・モデルのようなものでフィルターをかけることができる。 |
|
|
|
02:20.550 --> 02:21.240 |
|
これだ。 |
|
|
|
02:21.270 --> 02:27.000 |
|
これらはすべて、 メタやラマがこれらの記述のどこかで言及されている、 さまざまなウム、 回である。 |
|
|
|
02:27.000 --> 02:35.220 |
|
しかし、 我々が本当に求めているものは、 ここにあるメタ・ラマ3であることがお分かりいただけるだろう。 180億バージョンモデル。 |
|
|
|
02:35.220 --> 02:39.720 |
|
そして、 それは同じものをインストラクターのユースケースに合わせて微調整したものだ。 |
|
|
|
02:39.750 --> 02:43.500 |
|
このような......チャットのユースケース。 |
|
|
|
02:43.500 --> 02:45.000 |
|
では、 ここに入ろう。 |
|
|
|
02:45.000 --> 02:51.540 |
|
リャマ3. 180億ドルもあれば、 それに関する情報は山ほどある。 |
|
|
|
02:51.540 --> 02:55.170 |
|
何度もダウンロードされているのがわかるだろう。 |
|
|
|
02:55.320 --> 03:00.450 |
|
最近、 僕らもダウンロードするようになったんだ。 |
|
|
|
03:00.570 --> 03:06.990 |
|
モデル・アーキテクチャ、 言語、 ファミリ、 使用方法についての情報があり、 |
|
|
|
03:06.990 --> 03:12.270 |
|
最後にコード例があります。 |
|
|
|
03:12.420 --> 03:15.420 |
|
ええと、 だから、 これはすべて読むと役に立つことなんだ。 |
|
|
|
03:15.420 --> 03:17.550 |
|
また、 どのようにトレーニングされたかについての情報も。 |
|
|
|
03:17.820 --> 03:22.590 |
|
そのほかにも、 読む価値のあることはたくさんある。 |
|
|
|
03:23.100 --> 03:31.380 |
|
ここには「ファイルとバージョン」というタブもあり、 gitリポジトリのようなものを開くことができる。 |
|
|
|
03:31.380 --> 03:36.480 |
|
というのも、 実際にgitリポジトリだからだ。 |
|
|
|
03:36.510 --> 03:44.190 |
|
ハグフェイス・ハブの多くは、 一連のgitリポジトリの上にあるインターフェイスのようなものだ。 |
|
|
|
03:44.190 --> 03:51.330 |
|
モデルをダウンロードしたりデータをダウンロードしたりするとき、 実際にやっているのはgit getからのpullのようなもので、 |
|
|
|
03:51.360 --> 03:56.830 |
|
これらのファイルをローカルに取得することです。 |
|
|
|
03:56.830 --> 04:08.110 |
|
これがmeta llama 3の背後にあるフォルダとファイル構造だ。 180億ドル |
|
|
|
04:08.440 --> 04:12.430 |
|
そして、 いろいろな使い方ができる。 |
|
|
|
04:12.520 --> 04:14.020 |
|
ここにボタンがある。 |
|
|
|
04:14.020 --> 04:18.880 |
|
やるべきことを突き詰めていけば、 より多くの情報が得られるこのモデルを利用しよう。 |
|
|
|
04:18.880 --> 04:21.490 |
|
これは実際のコード例を示している。 |
|
|
|
04:21.490 --> 04:24.370 |
|
このコードは後で使うので、 今は気にしなくていい。 |
|
|
|
04:24.670 --> 04:28.780 |
|
これを読む必要はないが、 このモデルを使うためにいつでも行くことができることを知っておいてほしい。 |
|
|
|
04:28.780 --> 04:34.390 |
|
Transformersを選択し、 抱擁顔Transformersライブラリを使って使用することを意味し、 |
|
|
|
04:34.390 --> 04:38.230 |
|
ユーザーインターフェイスから直接コード例をコピーする。 |
|
|
|
04:38.260 --> 04:39.850 |
|
簡単なことだ。 |
|
|
|
04:40.480 --> 04:43.270 |
|
他にもいろいろあるが、 それはまた別の日にしよう。 |
|
|
|
04:43.300 --> 04:51.940 |
|
もちろん、 タグもあるので、 モデルのさまざまな側面を素早く簡単にフィルタリングすることもできる。 |
|
|
|
04:52.000 --> 04:55.420 |
|
いずれ他のモデルもたくさん見ていくつもりだ。 |
|
|
|
04:55.420 --> 05:01.750 |
|
マイクロソフトのPhiモデルのようなものにも注目しています。 |
|
|
|
05:01.780 --> 05:08.680 |
|
もちろん、 クアンタ(量子)にも注目する。 |
|
|
|
05:08.680 --> 05:14.350 |
|
多分、 グーグルのジェマに言及すると、 ジェマが出てくると思うよ。 |
|
|
|
05:14.590 --> 05:16.750 |
|
確かに出てきたけど、 すぐに消えたよ。 |
|
|
|
05:16.750 --> 05:19.900 |
|
では、 グーグル・スラッシュ・ジェンマをやってみよう。 |
|
|
|
05:19.930 --> 05:21.070 |
|
これでよし。 |
|
|
|
05:21.340 --> 05:30.850 |
|
例えば、 この20億のとても小さなデバイス版Gemmaには、 先ほどと同じように、 説明、 コード例、 |
|
|
|
05:30.850 --> 05:40.360 |
|
ファイル、 バージョン、 そしてこのモデルをクリックするだけで使える機能があります。 |
|
|
|
05:40.870 --> 05:42.280 |
|
それがモデルだ。 |
|
|
|
05:42.280 --> 05:44.080 |
|
データセットに話を移そう。 |
|
|
|
05:44.110 --> 05:50.920 |
|
データセットは、 Hugging Faceハブで利用可能な膨大なデータリソースを表示します。 |
|
|
|
05:50.920 --> 05:53.470 |
|
また、 検索機能もある。 |
|
|
|
05:53.500 --> 05:55.600 |
|
デフォルトではトレンドでソートされている。 |
|
|
|
05:55.870 --> 06:03.250 |
|
そして後ほど、 商品の価格を使った実験を行う予定であることをお伝えしておこう。 |
|
|
|
06:03.250 --> 06:07.810 |
|
そして、 私たちがぜひ見てみたいもののひとつが、 製品データのスクレイピングです。 |
|
|
|
06:07.840 --> 06:15.850 |
|
そして、 実際にアマゾンの価格に関するデータのリポジトリがたくさんあることがわかった。 |
|
|
|
06:15.850 --> 06:17.170 |
|
その一部を紹介しよう。 |
|
|
|
06:17.200 --> 06:21.220 |
|
どれが便利なのか、 その人気ぶりを見て回ることができる。 |
|
|
|
06:21.220 --> 06:29.830 |
|
これは非常に最近のもので、 実に包括的で有用なデータがたくさんある。 |
|
|
|
06:29.950 --> 06:32.950 |
|
だから驚異的なリソースなんだ。 |
|
|
|
06:33.100 --> 06:42.730 |
|
データセットに付属しているデータセット・ビューアなどのツールも利用できる。 |
|
|
|
06:42.760 --> 06:50.360 |
|
先ほどのHuggingfaceのハブスペースの一部は、 Gradioのラジオアプリやその他の種類のアプリを走らせ、 コミュニティの人々が他の人に見せびらかしたい、 |
|
|
|
06:50.360 --> 06:57.470 |
|
あるいはただ使ってもらいたいと思うようなことができる場所だ。 |
|
|
|
06:57.470 --> 07:02.600 |
|
ハグ顔アプリやラジオアプリでも同じことができる。 |
|
|
|
07:02.600 --> 07:05.090 |
|
ここには試してみたいことがたくさんある。 |
|
|
|
07:05.240 --> 07:07.850 |
|
ええと、 週のスペースみたいなものがあるんだ。 |
|
|
|
07:07.850 --> 07:12.230 |
|
トレンドになっているものもありますし、 来週か再来週には、 リーダーボードやさまざまなLMSの比較など、 |
|
|
|
07:12.230 --> 07:20.240 |
|
さらに詳しく見ていくことになるいくつかのタイプのスペースもあります。 |
|
|
|
07:20.480 --> 07:29.870 |
|
興味深いLMSやジェネレーティブAIのアプリケーションを試せる楽しいスペースがたくさんある。 |
|
|
|
07:30.140 --> 07:35.330 |
|
私が感じることのひとつは、 これらの多くが無料ボックスで無料で提供されているため、 |
|
|
|
07:35.330 --> 07:41.120 |
|
人気のあるものだと使いすぎてしまい、 「ただいま混雑しています」と表示されるため、 |
|
|
|
07:41.120 --> 07:45.050 |
|
実行させるのが難しいということです。 |
|
|
|
07:45.200 --> 07:48.750 |
|
うーん、 でも、 フリーソフトにはつきものだと思うよ。 |
|
|
|
07:49.050 --> 07:51.150 |
|
うまくいったときは素晴らしい。 |
|
|
|
07:51.150 --> 07:54.870 |
|
だから、 例えば、 トップ・スペースにあったカップルを試してみたんだ。 |
|
|
|
07:54.870 --> 08:08.340 |
|
このAI Comic Factoryでは、 スタイルやコミックのタイトルを設定することができます。 |
|
|
|
08:08.490 --> 08:15.720 |
|
データサイエンティストがスーパーパワーを発揮するコミックを描いたんだけど、 おそらく悪役と思われる、 とても十字架を背負ったような人物が登場し、 |
|
|
|
08:15.720 --> 08:22.050 |
|
ヒロインと思われる人物が、 データは力だけど、 時にはちょっとした後押しが必要だと言うんだ。 |
|
|
|
08:22.440 --> 08:24.630 |
|
とても楽しいよ。 |
|
|
|
08:24.630 --> 08:32.700 |
|
これは、 あなたが選んだトピックに基づいて想像で作られた漫画です。 |
|
|
|
08:32.700 --> 08:40.410 |
|
あまりの需要の多さに、 これを手に入れるまでに2、 3回トライした。 |
|
|
|
08:40.410 --> 08:45.590 |
|
今、 Most Popularの1ページ目に掲載されていますが、 これか似たようなものを見つけたら試してみてください。 |
|
|
|
08:45.620 --> 08:50.480 |
|
もうひとつ、 こんなものもあったので試してみた。 |
|
|
|
08:50.480 --> 08:51.650 |
|
これはかなり面白い。 |
|
|
|
08:51.710 --> 08:53.360 |
|
自分の画像をアップロードすることができる。 |
|
|
|
08:53.360 --> 08:58.400 |
|
私が選んだのは、 以前から飛行機の前にいる私だ。 |
|
|
|
08:58.790 --> 09:00.800 |
|
しかし、 それでも挑戦することを止めない。 |
|
|
|
09:01.190 --> 09:07.790 |
|
そして、 服を選ぶか、 服をアップロードすると、 その服を着ているあなたの姿が表示されます。 |
|
|
|
09:07.820 --> 09:08.810 |
|
つまり、 大丈夫なんだ。 |
|
|
|
09:08.810 --> 09:09.860 |
|
完璧ではない。 |
|
|
|
09:09.860 --> 09:11.030 |
|
何が起きているのか分からない。 |
|
|
|
09:11.240 --> 09:14.720 |
|
ちょっと猫背になっちゃったけど、 これを見てもらえればわかると思う。 |
|
|
|
09:14.720 --> 09:19.760 |
|
後ろの飛行機で何か奇妙なアーティファクトが起きているのは興味深い。 |
|
|
|
09:19.940 --> 09:23.570 |
|
あー、 でも、 それはさておき、 楽しいよ。 |
|
|
|
09:23.570 --> 09:29.900 |
|
無料だし、 使いやすいし、 AIやLlmsでできる楽しいことについて良いアイディアを持っている人たちが、 |
|
|
|
09:29.900 --> 09:36.050 |
|
他の人たちが遊べるように表に出した典型的な例だ。 |
|
|
|
09:36.080 --> 09:39.590 |
|
スペースにはこのような例がたくさんある。 |
|
|
|
09:40.190 --> 09:49.260 |
|
アバター・メニューで自分自身を見るとどうなるかをお見せしましょう。 |
|
|
|
09:49.260 --> 09:54.390 |
|
だから、 ここで、 ええと、 僕はここにまっすぐ行くんだ。 |
|
|
|
09:54.570 --> 09:57.360 |
|
自分のやったことは自分でわかるんだ。 |
|
|
|
09:57.360 --> 10:05.880 |
|
私は1つのスペースを持っていて、 たくさんの異なるモデルを持っていて、 そのうちのいくつかは私たち自身と一緒にプレーすることになる。 |
|
|
|
10:05.880 --> 10:11.400 |
|
自分だけがアクセスしたい場合は非公開に、 世界中に見てもらいたい場合は公開にすることができる。 |
|
|
|
10:11.610 --> 10:18.720 |
|
ええと、 いろいろなデータセットがあるので、 これから数週間、 これらの多くについてお話しします。 |
|
|
|
10:19.080 --> 10:25.890 |
|
例えば、 私が持っているこのスペースも、 このようなことがいかに簡単にできるかの一例として、 |
|
|
|
10:25.890 --> 10:28.350 |
|
参考にするかもしれない。 |
|
|
|
10:28.440 --> 10:39.540 |
|
しかし、 この場合、 これは公開されており、 私が作ったゲームで、 llm同士が対戦してバトルを試みることができる。 |
|
|
|
10:39.540 --> 10:45.360 |
|
それは、 最初の週にあった戦い、 リーダーシップの戦いに触発されたものだ。 |
|
|
|
10:45.510 --> 10:57.390 |
|
そして、 私はそれを少し強化し、 異なる子羊たちがある意味戦うことができるようにした。 |
|
|
|
10:57.390 --> 10:59.340 |
|
そして、 ゲームをプレーし、 その走りを見ることができる。 |
|
|
|
10:59.340 --> 11:05.370 |
|
来週、 子羊の違いについて話すときにでも、 時間があればやってみようかな。 |
|
|
|
11:05.370 --> 11:16.500 |
|
もしそうでなければ、 ぜひ自分でやってみてください。 私がどのようにやったか、 そしてグラディオのフロントエンドのどちらかを使ってLLMのアプリケーションをどのように取るのが簡単かの例として見ることができます。 |
|
|
|
11:16.500 --> 11:21.120 |
|
この場合、 これはストリームリットと呼ばれ、 別の種類のユーザーインターフェイスなどである。 |
|
|
|
11:21.120 --> 11:25.740 |
|
そして、 huggingfaceのスペースで誰もが利用できるように公開する。 |
|
|
|
11:26.490 --> 11:33.300 |
|
もうひとつ、 このメニューで特筆すべきことは、 自分のプロフィールに行き、 |
|
|
|
11:33.300 --> 11:42.790 |
|
自分の設定、 つまりこの下の設定に行くと、 「アクセストークン」というセクションがあることだ。 |
|
|
|
11:42.790 --> 11:45.910 |
|
これは、 まだやったことがないのであれば、 やらなければならないことだ。 |
|
|
|
11:45.940 --> 11:50.950 |
|
トークンにアクセスし、 新しいトークンを作成するというシンプルなボタンがある。 |
|
|
|
11:50.950 --> 11:59.230 |
|
これを押すと、 新しいトークン(APIトークン)が発行され、 読み取りと書き込みの両方のパーミッションが要求される。 |
|
|
|
11:59.230 --> 12:09.970 |
|
このトークンは、 Jupyterでハブにアクセスしたり、 モデルやデータをダウンロードしたりアップロードしたりするために使用する。 |
|
|
|
12:09.970 --> 12:14.260 |
|
だから、 これがハグする顔のアカウントを設定する重要な部分なのだ。 |
|
|
|
12:14.350 --> 12:18.250 |
|
そして、 これでハグする顔のすべてをめぐる超簡単なツアーは終了だ。 |
|
|
|
12:18.250 --> 12:19.990 |
|
探検することはたくさんある。 |
|
|
|
12:20.050 --> 12:22.420 |
|
あなたのためにすべきことは今、 中に入ることだ。 |
|
|
|
12:22.450 --> 12:26.650 |
|
まだの方は、 アカウントを設定し、 APIキーを設定してください。 |
|
|
|
12:26.650 --> 12:37.990 |
|
そして、 データセットのモデルを探し出し、 いくつかのスペースを見て回り、 コミュニティ全員が試せるように人々が作ったクールな製品を試してみる。 |
|
|
|
12:38.110 --> 12:39.220 |
|
それを楽しんでくれ。
|
|
|