You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

463 lines
12 KiB

WEBVTT
00:00.350 --> 00:05.540
다시 오신 걸 환영합니다 모든 걸 아름다운 사용자 인터페이스로 통합할 시간이네요
00:05.540 --> 00:10.880
하지만 먼저 한 번 더 살펴보죠 추론 엔드포인트 스크린에서 제 실행 중인 코드를
00:10.880 --> 00:12.260
볼 수 있어요
00:12.260 --> 00:15.380
퀴네 1요 570억 개의 채팅 추론이죠
00:15.680 --> 00:16.640
할 수 있어요
00:16.670 --> 00:23.060
보여드리고 싶은 게 있는데 여기로 오셔서 여러분의 추론 엔드포인트가 어떻게 실행되고 있는지 살펴보세요
00:23.060 --> 00:28.850
분석 보기 같은 걸 할 수 있어요 어떻게 되고 있는지, 요청 수를 볼 수 있죠 제가 만들긴 했지만
00:28.850 --> 00:32.090
레이더에 잡히기엔 충분하지 않아요
00:32.210 --> 00:34.430
대기 시간과 CPU 사용도요
00:34.460 --> 00:34.940
저기 있네요
00:34.970 --> 00:38.930
CPU 사용량과 GPU 사용량에 작은 변화가 있네요
00:38.960 --> 00:39.920
좋아요
00:40.010 --> 00:51.020
원가를 보시면 3달러가 사용된 걸 알 수 있어요 이 모델은 지금까지 64,000달러예요
00:51.380 --> 00:53.150
00:53.180 --> 01:00.770
그걸 염두에 두고 분석은 그만두고 주피터 연구소로 돌아가죠
01:01.010 --> 01:09.070
코드 콴을 호출하기 위해 이 코드를 마무리하죠 멋진 스트림 메서드로요 GPT 4와 Clude
01:09.070 --> 01:14.620
스트림 Quen에서 이미 했던 다른 스트림 메서드처럼요
01:14.650 --> 01:17.200
같은 종류의 메서드지만 물론 같은 함수죠
01:17.200 --> 01:18.700
아주 다르게 할 거예요
01:18.910 --> 01:21.370
토큰라이저를 생성할 거예요
01:21.370 --> 01:27.700
파이썬 을 일반적인 메시지 리스트로 바꿔줄 거예요
01:27.700 --> 01:29.710
채팅 템플릿을 적용할 거예요
01:29.710 --> 01:34.420
이제 텍스트에서 토큰화 준비가 됐어요
01:34.420 --> 01:41.590
그런 다음 수증 클라이언트를 위해 URL을 이용해 수증하는 마법을 부립니다 H깅페이스 토큰을
01:41.590 --> 01:43.120
넘기기 위해서요
01:43.120 --> 01:47.020
클라이언트 텍스트 생성을 하고 있는데요
01:47.020 --> 01:49.570
여기 우리가 스트리밍할 텍스트가 있어요
01:49.570 --> 01:52.930
최대 새 토큰이에요
01:52.930 --> 01:55.900
그리고 결과가 나오죠
01:55.900 --> 02:03.400
지금까지 우리가 준 토큰을 스트리밍하면서 지금까지의 총액을 확인하죠 그라디오가 기대하는 게
02:03.400 --> 02:05.740
그거란 걸 기억하시길 바라요
02:05.740 --> 02:13.280
지금까지 받은 모든 정보가 누적되어야 해요 모든 덩어리가요
02:13.280 --> 02:21.080
저 스트림 컬렉션은 전에 만든 다른 스트림 GPT와 컴패니언 기능이에요
02:21.080 --> 02:23.030
스트림 클로드요
02:23.030 --> 02:29.600
이제 최적화된 메서드를 가질 수 있습니다 코드를 최적화하는 이전의 최적화된 메서드를 대체할 수 있죠
02:29.600 --> 02:34.010
GPT Clude나 Code K콴 세 모델 사이에서 바꿀 수 있어요
02:34.400 --> 02:34.910
02:34.910 --> 02:41.900
사용자 인터페이스 그라디오 코드의 총합이 여기 있네요
02:41.930 --> 02:43.400
이거 꼭 돌려야 해요
02:43.820 --> 02:46.520
얼마나 간단한지 기억하시라고요
02:46.520 --> 02:47.720
말도 안 돼요
02:47.960 --> 02:54.710
작지만 멋진 타이틀이 있고요 파이썬 코드와 C++ 코드가 있는 행도 있네요
02:54.710 --> 02:57.140
모델을 선택할 행이 있어요
02:57.140 --> 03:03.200
이제 코드 권을 3개에 추가했어요 이전 두 모델 사이에서 선택할 수 있었던 것에 대해서요
03:03.320 --> 03:08.750
코드를 변환하는 버튼과 파이썬을 실행하는 버튼 C++를 실행하는 버튼이 있습니다
03:08.750 --> 03:13.600
파이썬 결과와 C플러스플러스 결과의 출력 상자도 있고요
03:13.600 --> 03:17.500
세 가지 액션이 있어요
03:17.500 --> 03:22.870
버튼을 클릭하면 어떤 행동을 취하는 세 장소요
03:22.870 --> 03:26.290
단순히 영어처럼 읽히는 게 마음에 들어요
03:26.290 --> 03:31.000
누군가 변환을 원한다면 변환 버튼을 누르면 최적화 함수를 호출해요
03:31.000 --> 03:33.550
이게 입력이고 이게 출력이죠
03:33.550 --> 03:37.120
파이썬 실행 버튼을 누르면 파이썬을 실행하죠
03:37.120 --> 03:44.080
입력은 파이썬 코드이고 출력은 파이썬 아웃입니다 C++ 버튼도 마찬가지고요
03:44.080 --> 03:47.020
아주 간단해 보여야 해요
03:47.020 --> 03:48.880
아주 간단하기 때문이죠
03:49.300 --> 03:51.310
이제 시작할 거예요
03:51.340 --> 03:54.730
예쁘게 나오길 기도해 보죠
03:55.060 --> 03:58.840
자, 이게 사용자 인터페이스예요
03:59.080 --> 04:08.050
그리고 여기 보이는 것은 파이썬 코드입니다 간단한 파이 계산을 위한 코드죠
04:08.050 --> 04:09.280
왜 안 되죠?
04:09.280 --> 04:12.490
GPT를 위해 한번 해 보죠
04:14.750 --> 04:17.720
C 플러스 플러스 등가라는 걸 기억하세요
04:17.750 --> 04:21.080
파이썬 변형을 실행해보죠
04:21.110 --> 04:23.240
제 기억이 맞는다면 8초 정도 걸렸어요
04:23.240 --> 04:25.220
8까지 셀 때까지 기다려야 해요
04:25.250 --> 04:27.140
파이썬 결과가 Get in get으로 나올 거예요
04:27.170 --> 04:29.810
8번 나왔네요 6초요
04:29.810 --> 04:34.820
원주율은 소수점 이하 자리까지 있어요
04:34.820 --> 04:36.410
이제 C+를 실행할게요
04:36.410 --> 04:38.630
GPT 4에서도 연락이 왔고요
04:38.630 --> 04:47.630
0년에도 잘했고요 06초면 100 엑스 이상 향상된 거죠
04:47.810 --> 04:50.630
클로드를 위해 한 번 더 불러보죠
04:50.750 --> 04:55.340
클로드의 코드를 변환하는 거죠
04:55.820 --> 04:57.380
저기 있네요
04:57.410 --> 05:00.080
클로드의 C 플러스도 해 볼게요
05:00.080 --> 05:00.680
더 있어요
05:00.680 --> 05:05.480
GPT 4를 다시 한번 간발의 차로 이기죠
05:05.480 --> 05:10.940
하지만 이 선 때문에 속도가 약간 빨라진 것 같아요
05:10.940 --> 05:13.610
클로드의 코드가 더 빠를지도 몰라요
05:13.790 --> 05:16.400
너무 비슷해서 의심스러워요
05:16.400 --> 05:16.810
맞아요
05:16.840 --> 05:19.480
컴파일러에 의해 최적화돼요
05:19.600 --> 05:22.570
하지만 이게 일정하게 약간 더 빠를 수도 있어요
05:22.570 --> 05:24.880
C 플러스 전문가일 수도 있겠네요
05:24.880 --> 05:25.540
그걸 보면 알 수 있죠
05:25.540 --> 05:31.030
직접 해 보고 만족할 수도 있겠죠. 당신의 구조가 빠르든 느리든
05:31.030 --> 05:31.960
간에요.
05:31.960 --> 05:33.880
어쨌든 중요한 건 그게 아니에요
05:33.910 --> 05:38.260
코드 품질이 어떻게 측정되는지 알아보려고 해요
05:38.290 --> 05:39.220
전환이 가능한가요?
05:39.250 --> 05:42.130
말이 되는지, 다른 점이 있는지요
05:42.160 --> 05:45.430
코드 변환 버튼을 눌러 어떻게 되는지 보죠
05:45.430 --> 05:49.780
우선, 알다시피 수다스러운 느낌이 더 강하죠
05:49.810 --> 05:53.920
설명이 정확히 나오지 않았어요
05:53.920 --> 05:55.720
그러니 삭제해야 해요
05:55.720 --> 05:57.880
하지만 그렇게 하도록 놔두죠 get it
05:57.910 --> 06:03.790
추가적인 것을 추가하는 코드 모델을 치지 않을게요.
06:05.320 --> 06:11.530
기억하세요, 이건 지금 모두 스트리밍 중입니다 엔드포인트에서부터 보고 있으니까요
06:11.560 --> 06:15.070
여기로 가면 새로 고침이 필요할지도 몰라요
06:15.070 --> 06:17.290
그걸 봐야 해요
06:17.320 --> 06:22.820
결과를 스트리밍할 때 CPU와 GPU 현상이 보여요
06:23.240 --> 06:29.990
이제 여기 아래를 보시면... 죄송합니다, 그라데이션 스크린으로요
06:29.990 --> 06:30.860
시작할게요
06:30.860 --> 06:35.690
완벽한 해결책을 찾았어요
06:35.690 --> 06:42.260
이제 상단에 있는 걸 제거하겠습니다 끝에 있는 설명도
06:42.260 --> 06:46.400
제거할게요 필요 없으니까요
06:46.430 --> 06:51.980
이 C++ 코드를 실행해 퀸 코드가 어떻게 됐는지 보죠
06:52.250 --> 06:53.780
한번 해 보죠
06:56.060 --> 06:58.670
아주 빠르게 달렸죠
06:58.700 --> 07:00.140
GPT 4와 거의 비슷했어요
07:00.170 --> 07:02.720
아마 비슷할 거예요
07:02.900 --> 07:09.170
실용적인 느낌이 나진 않지만 아주 잘 만든 것 같아요
07:09.170 --> 07:10.640
답은 같아요
07:10.640 --> 07:15.290
그게 코드에 있어서는 확실히 성공이라고 생각해요
07:15.290 --> 07:16.010
퀸이에요
07:16.340 --> 07:24.130
코드 퀸이 실행 중인 모델 매개 변수는 70억 개로 다른
07:24.130 --> 07:33.730
모델과 비교하면 죄송합니다 GPT 4와 클로드에는 2조 개 이상의
07:33.730 --> 07:37.660
매개 변수가 있죠
07:38.170 --> 07:44.200
그럼 다시 돌아가서 수준을 높여 보죠
07:44.230 --> 07:46.000
더 어려운 과제를 내 보죠
07:46.030 --> 07:57.580
이 값을 파이썬 하드 으로 바꾸겠습니다 최대 서브-러레이 합을 계산하는 코드죠
07:57.580 --> 08:05.110
이제 오픈 소스 모델이 이 복잡한 케이스를 어떻게 처리하는지 보죠
08:08.260 --> 08:11.590
뭘 하는 거죠?
08:13.240 --> 08:15.970
벌써 문제가 생겼네요
08:15.970 --> 08:16.840
문제가 있어요
08:16.840 --> 08:24.790
그 문제는 임의의 숫자를 생성하는 접근법을 보류하기로 결정했다는
08:24.790 --> 08:33.440
거예요 LCG라는 기술로 구현마다 반복적이고 일관된 임의의 숫자를
08:33.440 --> 08:36.380
생성하는 거죠
08:36.410 --> 08:41.270
제가 분명히 시스템 프롬프트에 난수 생성 주변의 기능성 변경을 금한다고
08:41.270 --> 08:43.760
입력했는데도 말이죠.
08:43.790 --> 08:50.990
그 전략을 바꾸라고 코텡을 설득할 수 없었어요
08:51.050 --> 08:53.960
이걸로 실험해 보세요 더 잘할 수 있는지 보죠
08:53.960 --> 08:58.580
하지만 실험만으로는 그렇게 할 수 없었어요
08:59.000 --> 09:00.950
거의 다 됐어요
09:01.160 --> 09:01.940
됐어요
09:01.940 --> 09:02.540
다 됐어요
09:02.570 --> 09:07.640
그래서 끝에 나오는 것도 빼고 처음에 나오는 것도 뺄 거예요
09:07.640 --> 09:09.680
이제 진실의 순간이에요
09:09.680 --> 09:15.230
콴 코드부터 C 플러스 플러스 코드를 실행하고 스크롤을 내리죠
09:15.770 --> 09:21.380
물론 그 숫자가 일치하지 않는다는 걸 알게 됐죠
09:21.410 --> 09:23.930
예전 결과를 기억한다면요
09:23.930 --> 09:30.220
그래서 안타깝게도 코드 콴이 숫자를 복제하는 데 실패했는데 놀랄 일도 아니죠
09:30.220 --> 09:37.420
왜냐하면 이 차에는 무작위 번호 생성기가 있거든요
09:37.720 --> 09:42.850
흥미로운 일이 좀 있었어요
09:42.850 --> 09:49.930
더 효율적인 방법론을 잠재적으로 인정한 것 같지만 숫자가 일치하지 않으니
09:49.930 --> 09:56.230
모든 게 제대로 작동하고 숫자가 맞는지 확인할 수 없어요
09:56.230 --> 10:00.970
그래서 정말 안타깝지만 희망을 걸었어요
10:00.970 --> 10:08.830
코드클런은 파이 테스트 즉, 간단한 테스트를 통과했지만 더
10:08.830 --> 10:16.930
어려운 테스트에 실패하고 말았습니다 파이썬 부호와 같은 답을
10:16.930 --> 10:19.060
내지 못했죠
10:19.060 --> 10:24.850
그런 관점에서 보면 안타깝게도 개척자 모델이 우세해요
10:24.850 --> 10:27.370
다시 한 번 승리를 거머쥐었죠
10:27.370 --> 10:30.340
코드클랜은 성공하지 못했죠
10:31.240 --> 10:33.250
그럼 다음 시간에 마무리하죠