WEBVTT

00:00.380 --> 00:13.460
そこで、 オープンソースの世界への旅を続け、 オープンソース・コードを生成する能力を調査するためにどのモデルを選ぶべきかを理解する時が来た。

00:13.460 --> 00:14.420
何から始めようか?

00:14.420 --> 00:17.780
もちろん、 まずは大きなコードモデルのリーダーボードから。 

00:17.780 --> 00:28.820
これは、 以前見た、 抱き合った顔の空間として動いているリーダーボードで、 コード生成タスクにおけるオープンソースモデルのパフォーマンスを比較するものだ。

00:29.270 --> 00:39.530
コード・ラマ、 コード・クワン、 ディープ・シーク・コーダーなど、 本当にうまくいっているベースモデルのいくつかを見ることができる。

00:39.770 --> 00:44.540
というのも、 C++コードのようなタスクのために特別に訓練されたモデルは、

00:44.690 --> 00:55.370
基本モデルよりもはるかに優れたパフォーマンスを発揮するからです。

00:55.520 --> 01:03.080
PythonとCに加えて、 テスト能力も見ていきます。

01:03.440 --> 01:12.350
そして、 これらを見るとき、 ひとつ注目すべきことは、 ここで終了と書かれているものは、 彼らのベンチマークであり、 スコアリングの一部は外部で行われたものだということだ。

01:12.350 --> 01:17.720
だから個人的には、 そのシンボルがないもの、 ハグフェイスの一部としてベンチマークされたもの、

01:17.720 --> 01:33.050
スペース・プラットフォーム、 そしてこのリストのトップにあるコード・クワン1に傾倒する傾向がある。

01:33.050 --> 01:33.050
570億ドル、 まさにトップだ。 

01:33.050 --> 01:35.090
クワンのコードバリエーション。 

01:35.090 --> 01:40.850
チャット用に訓練されているので、 例えばPythonのコードを与えて完了するのを期待するのではなく、

01:40.850 --> 01:43.670
対話することができる。

01:43.670 --> 01:50.870
このPythonのコードを最適化されたC言語に変換してくれない?

01:50.870 --> 01:51.500
プラス?

01:51.500 --> 01:53.150
中に入って見てみよう。 

01:53.630 --> 02:00.710
我々は今、 コード・クワン1を見ている。  570億円のチャットがトップモデル。 

02:00.740 --> 02:04.250
そして、 ここにその機能の一部が記されている。 

02:04.400 --> 02:07.310
そして、 どのようにそれに接することができるのか。 

02:07.340 --> 02:11.270
例えば、 Pythonでクイックソートのアルゴリズムを書けばいい。 

02:11.450 --> 02:18.080
そして、 トークナイザーがチャットテンプレートを適用してトークンに変換し、

02:18.110 --> 02:25.070
それをモデルを通して実行します。

02:25.070 --> 02:34.040
だからこれは、 過去に他の単純な活動、 つまりテキストを生成する活動に対して多くのモデルを実行した方法と非常に一致している。

02:34.310 --> 02:43.760
Codeclanを見ると、 PythonのコーディングとCプラスアルファのコーディングで実に高いスコアを出していることがわかる。

02:43.760 --> 02:51.380
ここで負けているのは、 ほんのわずかしか成績が良くない外部運営のこちらだけだ。 

02:51.380 --> 02:56.780
そして見てみると、 このモデル自体が実はクインの微調整そのものなのだ。 

02:56.780 --> 03:01.040
だから率直に言って、 コードにこだわることでうまくいっていると思う。 

03:01.040 --> 03:01.610
クインだ。 

03:01.640 --> 03:04.250
その後は大きく落ち込む。 

03:04.250 --> 03:13.550
もうひとつは、 コード・ジェンマをお見せしたかったんです。

03:13.610 --> 03:15.590
しかし、 コードを使おうとすると、 そうなってしまう。 

03:15.620 --> 03:23.000
ジェマ......とても簡単なタスクには答えられたけど、 もっと難しいタスクを与えられるとクラッシュしたんだ。

03:23.000 --> 03:25.730
コードを取得できるかどうか、 練習として試してみるのもいいかもしれない。 

03:25.730 --> 03:35.000
Gemmaは動くが、 この特別な問題では動かなかった。 少なくとも、 CプラスプラスでPythonの複雑な翻訳や再実装はできなかった。

03:35.000 --> 03:42.470
しかし、 他のモデルを試してみるのもいい練習になるだろう。

03:42.470 --> 03:46.820
だから、 コード・クアンを選んだんだ。 

03:46.850 --> 03:48.560
もう1度突っ込んでみよう。 

03:48.680 --> 03:52.970
ええと、 次にやるべきことは、 どうやってこれをいろいろな方法で走らせるかを考えることだ。 

03:52.970 --> 03:53.450
私たちならできる。 

03:53.450 --> 03:54.770
そのうちの一人はすでにご存じだろう。 

03:54.770 --> 04:01.460
Google Colabにアクセスして、 Hugging Face Transformersライブラリを使ってCodexコードに直接アクセスし、

04:01.460 --> 04:07.280
それを読み込んで推論時に実行するコードを書けばいいのだ。

04:07.610 --> 04:08.810
それは素晴らしいことだ。 

04:08.810 --> 04:14.810
問題は、 コンパイルしたコードを自分のマシンで実行したいので、 ちょっと不便だということだ。 

04:14.840 --> 04:21.500
そのコードをJupyterで実行し、 Google Colabで実行し、 私のボックスにコピー&ペーストしなければならない。

04:21.650 --> 04:25.250
そして、 そのすべてを1つの素敵なユーザーインターフェイスで行えることを望んでいた。 

04:25.250 --> 04:30.230
だから基本的には、 このモデルをそのまま、 でも自分のボックスから実行できるようにしたいんだ。 

04:30.260 --> 04:34.370
その方法はいくつかあるので、 そのすべてを紹介するつもりはないが、

04:34.370 --> 04:41.990
超便利な方法がある。

04:41.990 --> 04:50.000
そしてそれは、 あなたのためにこのモデルを実行し、 あなたのコードからリモートでモデルを呼び出すために使用できるエンドポイントを与えてくれるよう、

04:50.000 --> 04:53.540
hugging faceに依頼することである。

04:53.540 --> 04:59.690
つまり、 このモデルのようなモデルや、 あなたが望むオープンソースのモデルを実行するためのホスティング・ソリューションのようなもので、

04:59.690 --> 05:02.810
自分で実行するためのエンドポイントを提供する。

05:02.840 --> 05:04.790
そして、 それは超高度に聞こえる。 

05:04.880 --> 05:07.340
こんなことをするのは大変だと思うかもしれない。 

05:07.430 --> 05:09.680
全然難しくないことがわかった。 

05:09.680 --> 05:12.740
ここにあるデプロイボタンをクリックするだけだ。 

05:12.740 --> 05:19.130
そして最初の選択肢は、 本番用の推論専用の推論エンドポイントだ。 

05:19.130 --> 05:24.380
そして、 このモデルを独自に展開することができる方法だと言っているのだ。 

05:24.380 --> 05:30.350
そして、 どこからでも自分で電話をかけ、 このモデルを自分で使うことができるようになる。 

05:30.350 --> 05:32.900
もちろん、 そのための費用は支払わなければならない。 

05:33.230 --> 05:37.310
タダではないが、 決して高くはない。 

05:37.310 --> 05:39.260
でも、 これはちょっと高いんだ。 

05:39.290 --> 05:41.480
確かに注意すべきことだ。 

05:41.630 --> 05:48.890
これらの推論エンドポイントを使用する場合、 AWS、 Azure、 GCP、 Google

05:48.890 --> 05:53.450
Cloudのどれで実行するかを選択します。

05:53.660 --> 05:57.440
また、 CPUボックスかGPUボックスかを選ぶこともできる。 

05:57.440 --> 06:07.100
このモデルの場合、 GPUボックスが必要で、 少なくともNvidia L4が必要だ。

06:07.130 --> 06:13.820
少なくとも、 GPUに24GBのラムを搭載している私たちには、 それが推奨されている。 

06:14.210 --> 06:23.870
これを選択し、 いくつかの項目を入力し、 エンドポイントの作成をクリックします。

06:23.870 --> 06:25.190
それはとても簡単なことだ。 

06:25.190 --> 06:34.070
私たちは、 あなたの個人的な使用のために私たち自身の専用エンドポイントを持っている抱擁顔0ドルを支払って実行している。

06:34.070 --> 06:34.070
時給80円。 

06:34.070 --> 06:36.860
米国にお住まいの方は、 価格が異なるかもしれません。 

06:36.860 --> 06:41.360
だから、 超安くはないけれど、 いつでも好きなときにオフにしたりオンにしたりできるんだ。 

06:41.390 --> 06:46.070
もし予算が許すのであれば、 実験することをお勧めするが、

06:46.070 --> 06:55.340
もしそうでなければ、 心配はいらない。

06:55.370 --> 06:57.560
どんなものか、 一緒に見てみるといい。 

06:57.680 --> 07:01.700
このメニューを使って、 専用のエンドポイントに移動します。 

07:01.700 --> 07:05.780
そして、 2つの専用エンドポイントを設定したことがわかるだろう。 

07:05.780 --> 07:09.110
そのひとつがコードクランである。 

07:09.110 --> 07:15.560
私は基本的にその画面に従い、 推奨されたL4ボックスで動作している。 

07:15.590 --> 07:21.410
というわけで、 現在の支出は0ドルだ。  このエンドポイントを走らせる喜びのために1時間80ドル。 

07:21.440 --> 07:23.390
私があなたのために何もしないとは言わせない。 

07:23.930 --> 07:27.740
そして、 ジェンマのコードも試した。 

07:28.070 --> 07:29.690
アルファボックスで試してみた。 

07:29.690 --> 07:31.310
私はこれを実行させることができなかった。 

07:31.310 --> 07:35.960
簡単なことはできるけど、 複雑すぎるとクラッシュするんだ。 

07:36.200 --> 07:39.950
でも、 私はこれを練習の場として使ってほしい。 

07:39.950 --> 07:46.040
コード・ジェンマを使えるようにしてみて、 それがコードとどう一致するのか興味がある。 

07:46.490 --> 07:52.100
しかし、 リーダーボードを見ればわかるように、 コーデクランがこの種のタスクにおいて非常に優れており、

07:52.100 --> 07:59.450
非常に有能であることに疑いの余地はないだろう。

07:59.540 --> 08:05.210
だから、 この時点で、 あなたは願わくば、 この通りにしてほしい。 

08:05.240 --> 08:10.550
codeclanエンドポイントが立ち上がって実行されるまで、 コーヒーを買いに行って5分待つ必要がある。

08:10.550 --> 08:19.190
その後、 このエンドポイントを呼び出してコード生成を試すために、 私たちのボックスで実行されているJupyterLabに戻る準備ができる。

08:19.190 --> 08:20.360
すぐに会おう。