From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
271 lines
10 KiB
271 lines
10 KiB
WEBVTT |
|
|
|
00:00.050 --> 00:05.810 |
|
さて、 8週間にわたる旅の3日目にようこそ。 |
|
|
|
00:05.810 --> 00:09.470 |
|
そして今日は、 フロンティア・モデルについて見ていこう。 |
|
|
|
00:09.470 --> 00:16.760 |
|
今日の目標は、 これらの異なるモデルを深く理解することで、 どこが強く、 どこが弱いのか、 |
|
|
|
00:16.760 --> 00:21.920 |
|
両者の違いは何なのかを直感的に理解することだ。 |
|
|
|
00:21.920 --> 00:26.840 |
|
その違いを学び、 自分のビジネスや将来のプロジェクトにどのように応用するかを考え、 |
|
|
|
00:26.840 --> 00:35.570 |
|
どのような場合にどのモデルを選ぶかを理解する。 |
|
|
|
00:35.600 --> 00:37.040 |
|
さっそく始めよう。 |
|
|
|
00:37.100 --> 00:44.750 |
|
今日は6社の6つの異なるモデルについてお話しします。 |
|
|
|
00:44.780 --> 00:47.270 |
|
OpenAIは紹介するまでもないだろう。 |
|
|
|
00:47.420 --> 00:50.300 |
|
GPTは最も有名なモデルだ。 |
|
|
|
00:50.300 --> 00:53.090 |
|
もちろん、 0101のプレビューも見る。 |
|
|
|
00:53.240 --> 01:02.150 |
|
彼らの最新モデルとChatGPTは、 ユーザー・インターフェイス、 つまりユーザーが操作できる画面だ。 |
|
|
|
01:02.360 --> 01:05.180 |
|
人類学的なモデルも見てみよう。 |
|
|
|
01:05.210 --> 01:12.510 |
|
AnthropicはOpenAIの一番のライバルで、 同じくサンフランシスコに拠点を置き、 |
|
|
|
01:12.510 --> 01:16.380 |
|
OpenAIを去った人たちによって設立された。 |
|
|
|
01:16.380 --> 01:19.200 |
|
実際、 ご存じかもしれないが、 3つのパワーがある。 |
|
|
|
01:19.200 --> 01:21.300 |
|
一番小さなものは俳句と呼ばれる。 |
|
|
|
01:21.330 --> 01:23.310 |
|
クロード俳句、 そしてソネット。 |
|
|
|
01:23.310 --> 01:24.750 |
|
そしてオパスだ。 |
|
|
|
01:24.810 --> 01:31.770 |
|
しかし、 実際には、 ソネットにはもっと新しいバージョンがあるため、 後述するように、 ソネットの最新バージョンは、 |
|
|
|
01:31.770 --> 01:35.190 |
|
大きくて高価なオーパスよりも強いのだ。 |
|
|
|
01:35.190 --> 01:36.930 |
|
それは後でもっと理解できるだろう。 |
|
|
|
01:37.050 --> 01:42.360 |
|
しかし、 クロード・クロード3. 5ソネットはクロードのモデルの中で最も強力なものである。 |
|
|
|
01:43.050 --> 01:55.530 |
|
グーグルには、 おそらく最新のグーグル双子座があり、 私たちのほとんどは双子座をよく知っている。 |
|
|
|
01:55.650 --> 02:00.720 |
|
Geminiはもちろん、 もともとGoogleのBardと呼ばれていたものの次世代である。 |
|
|
|
02:01.320 --> 02:04.290 |
|
コヒーレはあまり聞いたことがないかもしれない。 |
|
|
|
02:04.290 --> 02:14.220 |
|
カナダのAI企業で、 彼らのモデルは専門知識を持つことを確認するためにラグと呼ばれる技術を使用していることで最もよく知られている。 |
|
|
|
02:14.220 --> 02:15.630 |
|
だから、 それを見ることになる。 |
|
|
|
02:15.720 --> 02:18.930 |
|
そして、 私たちはメタのラマ・モデルを知っている。 |
|
|
|
02:18.930 --> 02:20.940 |
|
私たち自身、 ラマを通じて利用したことがある。 |
|
|
|
02:20.970 --> 02:25.710 |
|
これはオープンソースのモデルで、 皆さんはご存じないかもしれないが、 実はメタはウェブサイト「メタAI」も持っていて、 |
|
|
|
02:25.950 --> 02:30.300 |
|
そこでラマ・モデルと対話することができる。 |
|
|
|
02:30.300 --> 02:32.220 |
|
それを見てみよう。 |
|
|
|
02:32.310 --> 02:39.540 |
|
そしてperplexityは少し違います。 perplexityは実際にAIを搭載した検索エンジンであり、 |
|
|
|
02:39.570 --> 02:43.230 |
|
Llmsを搭載しています。 |
|
|
|
02:43.230 --> 02:50.190 |
|
しかし、 彼らにも独自のモデルがあるので、 少し違うが、 当惑も見ていくことにしよう。 |
|
|
|
02:51.240 --> 02:58.290 |
|
つまり、 全体的に見れば、 これらのLLMの能力は驚くべきものなのだ。 |
|
|
|
02:58.320 --> 03:06.330 |
|
細かい質問、 微妙なニュアンスの質問を取り上げ、 よく研究されたように見える構造化された要約を提供することにおいて、 |
|
|
|
03:06.330 --> 03:10.260 |
|
彼らは実に効果的だ。 |
|
|
|
03:10.260 --> 03:16.470 |
|
導入部と要約のようなものがあることが多いが、 これは私がいつも使っている方法のひとつだ。 |
|
|
|
03:16.660 --> 03:22.900 |
|
そして、 私は、 これらのLLMが全体的に、 いかに優れているかということに衝撃を受けている。 |
|
|
|
03:22.930 --> 03:29.290 |
|
2、 3年前には、 ここまで早く到達できるとは誰も想像していなかったことだ。 |
|
|
|
03:30.040 --> 03:36.010 |
|
また、 本当に良い方法があります。 皆さんの多くは自分でこれをよくやっていると想像しますし、 |
|
|
|
03:36.040 --> 03:41.080 |
|
私も何かについてほんの少し箇条書きやメモを入れて、 これをメールにできないか、 |
|
|
|
03:41.110 --> 03:44.230 |
|
スライドにできないかと言うと、 そうします。 |
|
|
|
03:44.560 --> 03:52.600 |
|
彼らはそれを具体化し、 例えばブログ記事を構築するのがとても上手で、 反復するのがとてもうまい。 |
|
|
|
03:52.600 --> 03:55.360 |
|
だから、 彼らは何かをして、 そのうちのいくつかは気に入るだろう。 |
|
|
|
03:55.360 --> 03:58.330 |
|
そして、 フィードバックを与え、 前進と後退を繰り返すことができる。 |
|
|
|
03:58.330 --> 04:00.340 |
|
そして、 それは本当に効果的な仕事のやり方だ。 |
|
|
|
04:00.340 --> 04:05.260 |
|
それは、 とてもとてもとても効果的な副操縦士の構成だ。 |
|
|
|
04:06.220 --> 04:09.340 |
|
そしてもちろん、 コーディングだ。 |
|
|
|
04:09.340 --> 04:21.010 |
|
そして、 おそらく私たちの多くにとって最も驚異的なことは、 llmsがコードを書くこと、 問題をデバッグして解決することがいかに優れているかということだ。 |
|
|
|
04:21.190 --> 04:24.320 |
|
本当に驚くべきことだ。 |
|
|
|
04:24.320 --> 04:28.610 |
|
私自身、 非常に複雑で、 自分が深い専門知識を持っていると信じていることに取り組んでいて、 |
|
|
|
04:28.610 --> 04:34.040 |
|
かなり複雑なエラーが発生したときに、 詳細とスタックトレースをクロードに入力すると、 |
|
|
|
04:34.040 --> 04:47.750 |
|
何が間違っているのかの非常に正確な説明だけでなく、 クロードの右側にアーティファクトとして表示される修正コードも戻ってきた経験がある。 |
|
|
|
04:47.750 --> 04:50.330 |
|
そして、 それはそれは素晴らしい。 |
|
|
|
04:50.330 --> 04:51.830 |
|
本当に素晴らしいよ。 |
|
|
|
04:52.010 --> 04:57.470 |
|
実際、 スタックオーバーフローで探しても、 答えがないことが多い。 |
|
|
|
04:57.470 --> 05:02.840 |
|
どういうわけか、 Stack Overflowの回答の再掲にとどまらない。 |
|
|
|
05:02.840 --> 05:05.990 |
|
そして、 何が起こっているのかを本当に見抜いているようだ。 |
|
|
|
05:06.020 --> 05:14.120 |
|
だからこそ、 スタック・オーバーフローのトラフィックが大きく落ち込んだとしても、 驚くことではないのだろう。 |
|
|
|
05:14.150 --> 05:22.370 |
|
ChatGPTがリリースされた2022年第4四半期以降、 何かが大きく動き始めたことがわかるだろう。 |
|
|
|
05:22.610 --> 05:33.930 |
|
だから、 テクノロジーに携わる人たちがどのように問題解決に取り組むかというパラダイムを明らかに変えたんだ。 |
|
|
|
05:33.960 --> 05:35.100 |
|
とても効果的だ。 |
|
|
|
05:35.100 --> 05:42.570 |
|
そして、 もし私たちが取り組んでいることに行き詰まったら、 クロードやOpenAI GPTを試してみることをお勧めする。 |
|
|
|
05:43.560 --> 05:45.510 |
|
では、 どこが弱いのか? |
|
|
|
05:45.510 --> 05:47.010 |
|
彼らが苦労していることは何か? |
|
|
|
05:47.010 --> 05:49.230 |
|
この中で人類にまだチャンスがあるのはどこだろうか? |
|
|
|
05:49.260 --> 05:59.190 |
|
まあ、 だからまず、 細かい知識が必要なものであれば、 専門的なテーマにはあまり強くない傾向がある。 |
|
|
|
05:59.280 --> 06:02.250 |
|
ほとんどのLLMはまだ博士号レベルには達していない。 |
|
|
|
06:02.280 --> 06:09.090 |
|
というのも、 10月にクロードの最新バージョン、 |
|
|
|
06:09.090 --> 06:16.620 |
|
クロード3が出たからだ。 5ソネットは、 数学、 物理学、 |
|
|
|
06:16.710 --> 06:23.070 |
|
化学の博士号レベルを超えている。 |
|
|
|
06:23.190 --> 06:29.220 |
|
だから、 このようなモデルが博士号レベルに達するのは非常に早いことなんだ。 |
|
|
|
06:29.220 --> 06:30.360 |
|
今のところクロードだけだ。 |
|
|
|
06:30.360 --> 06:36.540 |
|
しかし、 そのような人たちは、 特定の科学や特定の領域、 例えばビジネスの領域において、 |
|
|
|
06:36.540 --> 06:42.960 |
|
その領域の専門家のような専門的な知識を持っているわけではありません。 |
|
|
|
06:43.530 --> 06:46.260 |
|
そして2つ目は、 最近の出来事だ。 |
|
|
|
06:46.260 --> 06:52.170 |
|
そのため、 モデルはGPTの知識カットオフまでトレーニングされている。 |
|
|
|
06:52.200 --> 06:53.370 |
|
昨年10月のことだ。 |
|
|
|
06:53.370 --> 06:58.470 |
|
だから、 それ以降の情報についての質問には答えられない。 |
|
|
|
06:58.500 --> 07:01.740 |
|
そして、 彼らには奇妙な盲点がある。 |
|
|
|
07:01.740 --> 07:04.260 |
|
間違ってしまう問題もある。 |
|
|
|
07:04.260 --> 07:10.440 |
|
そして、 彼らが間違ったとき、 非常に気になることのひとつは、 自分の回答に自信を持つ傾向があることだ。 |
|
|
|
07:10.440 --> 07:14.550 |
|
彼らはしばしば、 自分が不確かであるという事実を自発的に口にすることはない。 |
|
|
|
07:14.550 --> 07:20.160 |
|
彼らはただ、 正解した場合と同じレベルの確信をもって答えを述べるだけなのだ。 |
|
|
|
07:20.280 --> 07:28.530 |
|
そして、 モデルが幻覚を見たり、 知らない新しい情報を思いついたり、 自信を持ってそうするのを見ると、 |
|
|
|
07:28.530 --> 07:32.190 |
|
もちろん心配になる。 |
|
|
|
07:32.190 --> 07:38.670 |
|
その例をいくつか見て、 盲点の背後にある理由とは何かについて話そう。
|
|
|