From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
175 lines
7.6 KiB
175 lines
7.6 KiB
WEBVTT |
|
|
|
00:00.650 --> 00:06.890 |
|
4週目の2日目へようこそ。 リーダーボードについてより深く掘り下げていきますので、 これが終わるころには、 リーダーボードやメトリクス、 |
|
|
|
00:06.890 --> 00:14.060 |
|
ベンチマーク、 アリーナなどについて、 これまで知りたかったこと、 あるいは知りたいと夢見ていたことよりも多くのことを知ることになるでしょう。 |
|
|
|
00:14.060 --> 00:21.800 |
|
しかし、 目の前の課題に適したLLMを選ぶ方法を理解する上で、 信じられないほど有用で重要なことがわかるだろう。 |
|
|
|
00:21.830 --> 00:31.820 |
|
さて、 今日の計画だが、 前回は基本的な属性とベンチマークを使ってLlmsを比較するという話をした。 |
|
|
|
00:31.850 --> 00:41.750 |
|
今日は、 オープンLLMリーダーボードを超えて、 LLMを比較・評価できる他のリーダーボードやアリーナを見てみましょう。 |
|
|
|
00:42.320 --> 00:53.420 |
|
また、 llmsが商業的な問題を解決している実際の使用例も見ていくつもりだ。 |
|
|
|
00:53.450 --> 00:58.700 |
|
最近、 誰もが多くのLLMに触れていると思うので、 手短に説明するが、 |
|
|
|
00:58.700 --> 01:07.250 |
|
考える材料にはなるだろうし、 要約すれば、 自分のプロジェクトに適したLLMを選択できるようになるはずだ。 |
|
|
|
01:08.000 --> 01:17.360 |
|
そこで今回は、 Huggingfaceで利用できる6つの必須リーダーボードと、 それ以外のリーダーボードを紹介する。 |
|
|
|
01:17.390 --> 01:18.230 |
|
ハギングフェイス |
|
|
|
01:18.260 --> 01:25.190 |
|
Llmsを比較する場合、 その最初のものは、 実はすでにHuggingface OpenAIのリーダーボードで比較されているものだ。 |
|
|
|
01:25.220 --> 01:31.280 |
|
旧バージョンと新バージョンの両方がある。 |
|
|
|
01:31.310 --> 01:38.660 |
|
もちろんオープンソースのモデルだが、 オープンソースのモデルを比較するにはうってつけの場所だ。 |
|
|
|
01:39.230 --> 01:50.420 |
|
また、 HuggingfaceにはBig Codeというリーダーボードがあり、 これは特にコードを生成するように設計されたモデルを比較するリーダーボードである。 |
|
|
|
01:50.420 --> 01:56.060 |
|
そして、 その例とモデルをどのように評価するかを、 すぐに見ていくことになる。 |
|
|
|
01:56.480 --> 02:03.530 |
|
LMパーフボードと呼ばれるものがあり、 これもHuggingfaceのボードで、 |
|
|
|
02:03.530 --> 02:11.090 |
|
性能について、 正確さについて、 実際のスピードと計算コストについて考えている。 |
|
|
|
02:11.090 --> 02:14.720 |
|
だから、 これは違う次元を見る超重要なものなんだ。 |
|
|
|
02:14.720 --> 02:20.040 |
|
これは基本的な属性のいくつかを見ているもので、 特にクローズド・ソースと比較してオープン・ソース・モデルの推論を考えているときに、 |
|
|
|
02:20.040 --> 02:27.180 |
|
あなたにとって頼りになるリソースになるでしょう。 |
|
|
|
02:27.420 --> 02:29.850 |
|
そして、 他のハグ顔ボードもある。 |
|
|
|
02:29.850 --> 02:31.110 |
|
ハグする顔にはたくさんのものがある。 |
|
|
|
02:31.110 --> 02:31.920 |
|
まだまだある。 |
|
|
|
02:31.950 --> 02:37.260 |
|
さまざまな事業分野ごとに設計された特定のリーダーボードがある。 |
|
|
|
02:37.260 --> 02:44.850 |
|
医療用のリーダーボードをご覧いただけますが、 これはもちろん、 医療用にデザインされたものです。 |
|
|
|
02:44.850 --> 02:47.940 |
|
他の言語のリーダーボードを見ることができる。 |
|
|
|
02:47.970 --> 02:49.380 |
|
ポルトガル語は1つだと思う。 |
|
|
|
02:49.380 --> 02:50.190 |
|
今見たところだ。 |
|
|
|
02:50.190 --> 02:50.820 |
|
お見せしましょう。 |
|
|
|
02:50.820 --> 02:57.150 |
|
用途に応じて、 さまざまな言語別のリーダーボードがある。 |
|
|
|
02:57.150 --> 02:59.670 |
|
それがあなたにふさわしいリーダーボードかもしれない。 |
|
|
|
03:00.300 --> 03:02.970 |
|
それからヴァルヘイムのリーダーボードを見に行く。 |
|
|
|
03:02.970 --> 03:06.720 |
|
このことについては、 初期の頃に少し触れたので覚えているかもしれない。 |
|
|
|
03:06.720 --> 03:12.960 |
|
オープンソースとクローズドソースを含む多くのリーダーボードがある、 とても便利なリソースだ。 |
|
|
|
03:12.960 --> 03:17.910 |
|
だから、 モデル・ファミリーを一同に集めることができる場所のひとつなんだ。 |
|
|
|
03:17.910 --> 03:24.990 |
|
また、 コスト、 APIコスト、 コンタクトウインドウの長さといった便利な表もある。 |
|
|
|
03:25.080 --> 03:35.440 |
|
また、 ブックマークに追加しておくといいのは、 最新情報を確実にまとめている数少ない場所のひとつだからだ。 |
|
|
|
03:36.040 --> 03:48.190 |
|
そして、 最後に紹介するのは、 さまざまなエキスパート・スキルを評価する「シール」と呼ばれるリーダーボードで、 このリーダーボード群には常に新しいリーダーボードが追加されている。 |
|
|
|
03:48.190 --> 03:52.210 |
|
というわけで、 これもまたブックマークしておきたい一品だ。 |
|
|
|
03:52.210 --> 04:00.850 |
|
というのも、 これらは素晴らしい情報源であり、 将来これらを使う必要が出てきたときに、 私に感謝することになると思うからだ。 |
|
|
|
04:02.350 --> 04:09.790 |
|
さらに、 チャットボット・アリーナ(LMS Chatbot Arena)と呼ばれるものについても見ていきます。 |
|
|
|
04:09.790 --> 04:12.100 |
|
素晴らしいリソースだ。 |
|
|
|
04:12.100 --> 04:19.390 |
|
特にチャットのユースケース、 モデルのチャット能力に注目している。 |
|
|
|
04:19.390 --> 04:26.080 |
|
しかし、 ある種のベンチマーク・テストを行うのではなく、 |
|
|
|
04:26.080 --> 04:34.840 |
|
どのモデルがより優れているかを人間の判断に頼るという考え方だ。 |
|
|
|
04:34.990 --> 04:46.870 |
|
それに、 Aモデルを選ぶかBモデルを選ぶかは、 人間が両方のモデルと一緒にチャットしながら定性的に決めることなんだ。 |
|
|
|
04:46.870 --> 04:52.810 |
|
しかも、 どのモデルがどのモデルなのかわからないブラインドテストなので、 わからないまま投票しなければならない。 |
|
|
|
04:53.020 --> 05:01.420 |
|
そしてモデルには、 総合的な、 えー、 えー、 多くの人間によるテストでの同業者に対する総合的な順位に基づいて、 |
|
|
|
05:01.420 --> 05:08.500 |
|
先ほど言ったEloレーティングが与えられる。 |
|
|
|
05:08.500 --> 05:10.330 |
|
だから、 これを見よう。 |
|
|
|
05:10.360 --> 05:12.700 |
|
自分たちで投票することになる。 |
|
|
|
05:13.300 --> 05:18.580 |
|
そして最後に、 法律からタレント、 コード、 ヘルスケア、 教育まで、 あらゆる商業的なユースケースを紹介し、 |
|
|
|
05:18.610 --> 05:23.050 |
|
llmsが実際に使われている様子をご覧いただきます。 |
|
|
|
05:23.050 --> 05:26.950 |
|
もちろん、 これは10倍以上になる可能性もある。 |
|
|
|
05:26.980 --> 05:34.060 |
|
Llmsは、 あなたが想像できるあらゆるビジネス分野でインパクトを与えているが、 そのうちのいくつかを見て、 |
|
|
|
05:34.060 --> 05:37.270 |
|
そこに何があるのかを知ることは常に有益だ。 |
|
|
|
05:37.270 --> 05:39.610 |
|
だから、 これからそのすべてを行う。 |
|
|
|
05:39.610 --> 05:45.370 |
|
そして、 準備、 準備、 ブックマークをする準備だ。 これから役に立つものをたくさん見ることになるからね。
|
|
|