From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
130 lines
4.9 KiB
130 lines
4.9 KiB
WEBVTT |
|
|
|
00:00.830 --> 00:01.940 |
|
ようこそ。 |
|
|
|
00:01.940 --> 00:02.870 |
|
3週目だ。 |
|
|
|
00:02.870 --> 00:03.800 |
|
4日目だ。 |
|
|
|
00:03.830 --> 00:12.890 |
|
私たちはオープンソースの土地での冒険に戻り、 オープンソースのモデル上で推論を実行する方法を調査している。 |
|
|
|
00:13.130 --> 00:17.120 |
|
そして今日は、 『ハギング・フェイス』のモデルクラスを見てみよう。 |
|
|
|
00:17.120 --> 00:20.390 |
|
当初はパイプラインAPI、 つまりハイレベルAPIについて話をした。 |
|
|
|
00:20.420 --> 00:26.090 |
|
その後、 低レベルのAPIについて話し始めた。 トーケナイザーから始まり、 今度はモデルについてだ。 |
|
|
|
00:26.150 --> 00:28.580 |
|
では、 すでに何ができるのか? |
|
|
|
00:28.610 --> 00:33.290 |
|
もちろん、 フロンティアモデルを使ったコーディングに加え、 マルチモーダルAIアシスタントの構築や、 |
|
|
|
00:33.290 --> 00:38.270 |
|
現在できることは、 抱き顔、 パイプライン、 トークナイザーを使うことだ。 |
|
|
|
00:38.300 --> 00:41.270 |
|
新しいスキル、 新しいクラス。 |
|
|
|
00:41.270 --> 00:51.860 |
|
実際にトランスフォーマーを作成し、 それを実行してテキストを生成するのだ。 |
|
|
|
00:51.860 --> 00:56.300 |
|
そして、 5つの異なるモデルの結果を比較する。 |
|
|
|
00:56.300 --> 01:07.910 |
|
そのうちの3つを一緒にやって、 あとの2つで実験してもらうつもりだ。 |
|
|
|
01:08.300 --> 01:10.700 |
|
だから、 とても楽しいはずだよ。 |
|
|
|
01:10.970 --> 01:13.380 |
|
だから、 モデルたちはそれを導入した。 |
|
|
|
01:13.380 --> 01:21.330 |
|
今回もリャマ3世と仕事をすることになる。 1、 metaのフラッグシップで画期的なモデル。 |
|
|
|
01:21.330 --> 01:29.670 |
|
今回は、 マイクロソフトのオープンソースモデルであるファイ3と、 グーグルのジェンマを取り上げる。 |
|
|
|
01:29.670 --> 01:32.190 |
|
小さいよ。 |
|
|
|
01:32.190 --> 01:36.450 |
|
ジェミニのいとこにあたるのがグーグルのジェンマだ。 |
|
|
|
01:36.510 --> 01:41.880 |
|
他にも2つのモデルがあるので、 自分で試してみてほしい。 |
|
|
|
01:41.910 --> 01:49.830 |
|
一人はミストラルのミストラルで、 もう一人はクイン2の強豪だ。 |
|
|
|
01:50.040 --> 01:53.190 |
|
そしてQuantuを楽しんで使ってほしい。 |
|
|
|
01:54.270 --> 02:02.160 |
|
そこで今回は、 ハギング・フェイス・フレームワークでオープンソースのモデルを扱う際の3つの側面についても取り上げます。 |
|
|
|
02:02.430 --> 02:05.610 |
|
その最初のものは量子化と呼ばれるものだ。 |
|
|
|
02:05.640 --> 02:13.080 |
|
そしてこれは、 モデルの重みの精度を下げることで、 メモリに収めやすくし、 ロードしやすくし、 |
|
|
|
02:13.080 --> 02:16.860 |
|
さらに高速に実行できるようにすることである。 |
|
|
|
02:16.860 --> 02:25.290 |
|
量子化というのは、 例えばローエンドのGPUボックスで作業することを可能にする非常に重要なテクニックだ。 |
|
|
|
02:25.330 --> 02:34.480 |
|
そしてトレーニングに入ると、 量子化を使えるかどうか、 大規模なオープンソースモデルをトレーニングできるかどうかが絶対的に重要になる。 |
|
|
|
02:34.510 --> 02:42.040 |
|
実際、 私が言っているのを聞いたことがあると思うが、 今、 Qローラ、 これは数週間後に使うテクニックの名前だ。 |
|
|
|
02:42.040 --> 02:45.460 |
|
そしてQとQ、 ローラは量子化を意味する。 |
|
|
|
02:45.460 --> 02:49.960 |
|
だから、 この旅では量子化に何度か直面することになる。 |
|
|
|
02:50.650 --> 02:54.580 |
|
今日はモデルの内部も見てみよう。 |
|
|
|
02:54.580 --> 03:00.310 |
|
だから、 このクラスは理論的というより実践的なクラスなんだ。 |
|
|
|
03:00.460 --> 03:02.050 |
|
しかし、 これはその瞬間のひとつになるだろう。 |
|
|
|
03:02.050 --> 03:10.750 |
|
そして、 ハグする顔のトランスフォーマーライブラリの後ろにあるPyTorchレイヤーがどのようなものか、 |
|
|
|
03:10.780 --> 03:12.970 |
|
中を覗いてみよう。 |
|
|
|
03:13.720 --> 03:21.520 |
|
そしてまた、 我々はこの時点でストリーミングに慣れ親しんでいるので、 結果をストリーミングできるようにしたいということはほとんど言うまでもない。 |
|
|
|
03:21.520 --> 03:26.290 |
|
そこで、 オープンソースのモデルを使って、 どのように結果を出すことができるかを紹介しよう。 |
|
|
|
03:26.290 --> 03:32.440 |
|
このように、 ハグフェイスのための低レベルのAPI上で推論を実行するための航海の中で、 私たちが調べようとしているのは、 |
|
|
|
03:32.440 --> 03:35.710 |
|
ちょっとした余分な部分なのだ。 |
|
|
|
03:35.740 --> 03:36.940 |
|
話はもう十分だ。 |
|
|
|
03:36.940 --> 03:38.350 |
|
さっそく始めよう。
|
|
|