From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
463 lines
12 KiB
463 lines
12 KiB
WEBVTT |
|
|
|
00:00.350 --> 00:05.540 |
|
다시 오신 걸 환영합니다 모든 걸 아름다운 사용자 인터페이스로 통합할 시간이네요 |
|
|
|
00:05.540 --> 00:10.880 |
|
하지만 먼저 한 번 더 살펴보죠 추론 엔드포인트 스크린에서 제 실행 중인 코드를 |
|
|
|
00:10.880 --> 00:12.260 |
|
볼 수 있어요 |
|
|
|
00:12.260 --> 00:15.380 |
|
퀴네 1요 570억 개의 채팅 추론이죠 |
|
|
|
00:15.680 --> 00:16.640 |
|
할 수 있어요 |
|
|
|
00:16.670 --> 00:23.060 |
|
보여드리고 싶은 게 있는데 여기로 오셔서 여러분의 추론 엔드포인트가 어떻게 실행되고 있는지 살펴보세요 |
|
|
|
00:23.060 --> 00:28.850 |
|
분석 보기 같은 걸 할 수 있어요 어떻게 되고 있는지, 요청 수를 볼 수 있죠 제가 만들긴 했지만 |
|
|
|
00:28.850 --> 00:32.090 |
|
레이더에 잡히기엔 충분하지 않아요 |
|
|
|
00:32.210 --> 00:34.430 |
|
대기 시간과 CPU 사용도요 |
|
|
|
00:34.460 --> 00:34.940 |
|
저기 있네요 |
|
|
|
00:34.970 --> 00:38.930 |
|
CPU 사용량과 GPU 사용량에 작은 변화가 있네요 |
|
|
|
00:38.960 --> 00:39.920 |
|
좋아요 |
|
|
|
00:40.010 --> 00:51.020 |
|
원가를 보시면 3달러가 사용된 걸 알 수 있어요 이 모델은 지금까지 64,000달러예요 |
|
|
|
00:51.380 --> 00:53.150 |
|
네 |
|
|
|
00:53.180 --> 01:00.770 |
|
그걸 염두에 두고 분석은 그만두고 주피터 연구소로 돌아가죠 |
|
|
|
01:01.010 --> 01:09.070 |
|
코드 콴을 호출하기 위해 이 코드를 마무리하죠 멋진 스트림 메서드로요 GPT 4와 Clude |
|
|
|
01:09.070 --> 01:14.620 |
|
스트림 Quen에서 이미 했던 다른 스트림 메서드처럼요 |
|
|
|
01:14.650 --> 01:17.200 |
|
같은 종류의 메서드지만 물론 같은 함수죠 |
|
|
|
01:17.200 --> 01:18.700 |
|
아주 다르게 할 거예요 |
|
|
|
01:18.910 --> 01:21.370 |
|
토큰라이저를 생성할 거예요 |
|
|
|
01:21.370 --> 01:27.700 |
|
파이썬 을 일반적인 메시지 리스트로 바꿔줄 거예요 |
|
|
|
01:27.700 --> 01:29.710 |
|
채팅 템플릿을 적용할 거예요 |
|
|
|
01:29.710 --> 01:34.420 |
|
이제 텍스트에서 토큰화 준비가 됐어요 |
|
|
|
01:34.420 --> 01:41.590 |
|
그런 다음 수증 클라이언트를 위해 URL을 이용해 수증하는 마법을 부립니다 H깅페이스 토큰을 |
|
|
|
01:41.590 --> 01:43.120 |
|
넘기기 위해서요 |
|
|
|
01:43.120 --> 01:47.020 |
|
클라이언트 텍스트 생성을 하고 있는데요 |
|
|
|
01:47.020 --> 01:49.570 |
|
여기 우리가 스트리밍할 텍스트가 있어요 |
|
|
|
01:49.570 --> 01:52.930 |
|
최대 새 토큰이에요 |
|
|
|
01:52.930 --> 01:55.900 |
|
그리고 결과가 나오죠 |
|
|
|
01:55.900 --> 02:03.400 |
|
지금까지 우리가 준 토큰을 스트리밍하면서 지금까지의 총액을 확인하죠 그라디오가 기대하는 게 |
|
|
|
02:03.400 --> 02:05.740 |
|
그거란 걸 기억하시길 바라요 |
|
|
|
02:05.740 --> 02:13.280 |
|
지금까지 받은 모든 정보가 누적되어야 해요 모든 덩어리가요 |
|
|
|
02:13.280 --> 02:21.080 |
|
저 스트림 컬렉션은 전에 만든 다른 스트림 GPT와 컴패니언 기능이에요 |
|
|
|
02:21.080 --> 02:23.030 |
|
스트림 클로드요 |
|
|
|
02:23.030 --> 02:29.600 |
|
이제 최적화된 메서드를 가질 수 있습니다 코드를 최적화하는 이전의 최적화된 메서드를 대체할 수 있죠 |
|
|
|
02:29.600 --> 02:34.010 |
|
GPT Clude나 Code K콴 세 모델 사이에서 바꿀 수 있어요 |
|
|
|
02:34.400 --> 02:34.910 |
|
네 |
|
|
|
02:34.910 --> 02:41.900 |
|
사용자 인터페이스 그라디오 코드의 총합이 여기 있네요 |
|
|
|
02:41.930 --> 02:43.400 |
|
이거 꼭 돌려야 해요 |
|
|
|
02:43.820 --> 02:46.520 |
|
얼마나 간단한지 기억하시라고요 |
|
|
|
02:46.520 --> 02:47.720 |
|
말도 안 돼요 |
|
|
|
02:47.960 --> 02:54.710 |
|
작지만 멋진 타이틀이 있고요 파이썬 코드와 C++ 코드가 있는 행도 있네요 |
|
|
|
02:54.710 --> 02:57.140 |
|
모델을 선택할 행이 있어요 |
|
|
|
02:57.140 --> 03:03.200 |
|
이제 코드 권을 3개에 추가했어요 이전 두 모델 사이에서 선택할 수 있었던 것에 대해서요 |
|
|
|
03:03.320 --> 03:08.750 |
|
코드를 변환하는 버튼과 파이썬을 실행하는 버튼 C++를 실행하는 버튼이 있습니다 |
|
|
|
03:08.750 --> 03:13.600 |
|
파이썬 결과와 C플러스플러스 결과의 출력 상자도 있고요 |
|
|
|
03:13.600 --> 03:17.500 |
|
세 가지 액션이 있어요 |
|
|
|
03:17.500 --> 03:22.870 |
|
버튼을 클릭하면 어떤 행동을 취하는 세 장소요 |
|
|
|
03:22.870 --> 03:26.290 |
|
단순히 영어처럼 읽히는 게 마음에 들어요 |
|
|
|
03:26.290 --> 03:31.000 |
|
누군가 변환을 원한다면 변환 버튼을 누르면 최적화 함수를 호출해요 |
|
|
|
03:31.000 --> 03:33.550 |
|
이게 입력이고 이게 출력이죠 |
|
|
|
03:33.550 --> 03:37.120 |
|
파이썬 실행 버튼을 누르면 파이썬을 실행하죠 |
|
|
|
03:37.120 --> 03:44.080 |
|
입력은 파이썬 코드이고 출력은 파이썬 아웃입니다 C++ 버튼도 마찬가지고요 |
|
|
|
03:44.080 --> 03:47.020 |
|
아주 간단해 보여야 해요 |
|
|
|
03:47.020 --> 03:48.880 |
|
아주 간단하기 때문이죠 |
|
|
|
03:49.300 --> 03:51.310 |
|
이제 시작할 거예요 |
|
|
|
03:51.340 --> 03:54.730 |
|
예쁘게 나오길 기도해 보죠 |
|
|
|
03:55.060 --> 03:58.840 |
|
자, 이게 사용자 인터페이스예요 |
|
|
|
03:59.080 --> 04:08.050 |
|
그리고 여기 보이는 것은 파이썬 코드입니다 간단한 파이 계산을 위한 코드죠 |
|
|
|
04:08.050 --> 04:09.280 |
|
왜 안 되죠? |
|
|
|
04:09.280 --> 04:12.490 |
|
GPT를 위해 한번 해 보죠 |
|
|
|
04:14.750 --> 04:17.720 |
|
C 플러스 플러스 등가라는 걸 기억하세요 |
|
|
|
04:17.750 --> 04:21.080 |
|
파이썬 변형을 실행해보죠 |
|
|
|
04:21.110 --> 04:23.240 |
|
제 기억이 맞는다면 8초 정도 걸렸어요 |
|
|
|
04:23.240 --> 04:25.220 |
|
8까지 셀 때까지 기다려야 해요 |
|
|
|
04:25.250 --> 04:27.140 |
|
파이썬 결과가 Get in get으로 나올 거예요 |
|
|
|
04:27.170 --> 04:29.810 |
|
8번 나왔네요 6초요 |
|
|
|
04:29.810 --> 04:34.820 |
|
원주율은 소수점 이하 자리까지 있어요 |
|
|
|
04:34.820 --> 04:36.410 |
|
이제 C+를 실행할게요 |
|
|
|
04:36.410 --> 04:38.630 |
|
GPT 4에서도 연락이 왔고요 |
|
|
|
04:38.630 --> 04:47.630 |
|
0년에도 잘했고요 06초면 100 엑스 이상 향상된 거죠 |
|
|
|
04:47.810 --> 04:50.630 |
|
클로드를 위해 한 번 더 불러보죠 |
|
|
|
04:50.750 --> 04:55.340 |
|
클로드의 코드를 변환하는 거죠 |
|
|
|
04:55.820 --> 04:57.380 |
|
저기 있네요 |
|
|
|
04:57.410 --> 05:00.080 |
|
클로드의 C 플러스도 해 볼게요 |
|
|
|
05:00.080 --> 05:00.680 |
|
더 있어요 |
|
|
|
05:00.680 --> 05:05.480 |
|
GPT 4를 다시 한번 간발의 차로 이기죠 |
|
|
|
05:05.480 --> 05:10.940 |
|
하지만 이 선 때문에 속도가 약간 빨라진 것 같아요 |
|
|
|
05:10.940 --> 05:13.610 |
|
클로드의 코드가 더 빠를지도 몰라요 |
|
|
|
05:13.790 --> 05:16.400 |
|
너무 비슷해서 의심스러워요 |
|
|
|
05:16.400 --> 05:16.810 |
|
맞아요 |
|
|
|
05:16.840 --> 05:19.480 |
|
컴파일러에 의해 최적화돼요 |
|
|
|
05:19.600 --> 05:22.570 |
|
하지만 이게 일정하게 약간 더 빠를 수도 있어요 |
|
|
|
05:22.570 --> 05:24.880 |
|
C 플러스 전문가일 수도 있겠네요 |
|
|
|
05:24.880 --> 05:25.540 |
|
그걸 보면 알 수 있죠 |
|
|
|
05:25.540 --> 05:31.030 |
|
직접 해 보고 만족할 수도 있겠죠. 당신의 구조가 빠르든 느리든 |
|
|
|
05:31.030 --> 05:31.960 |
|
간에요. |
|
|
|
05:31.960 --> 05:33.880 |
|
어쨌든 중요한 건 그게 아니에요 |
|
|
|
05:33.910 --> 05:38.260 |
|
코드 품질이 어떻게 측정되는지 알아보려고 해요 |
|
|
|
05:38.290 --> 05:39.220 |
|
전환이 가능한가요? |
|
|
|
05:39.250 --> 05:42.130 |
|
말이 되는지, 다른 점이 있는지요 |
|
|
|
05:42.160 --> 05:45.430 |
|
코드 변환 버튼을 눌러 어떻게 되는지 보죠 |
|
|
|
05:45.430 --> 05:49.780 |
|
우선, 알다시피 수다스러운 느낌이 더 강하죠 |
|
|
|
05:49.810 --> 05:53.920 |
|
설명이 정확히 나오지 않았어요 |
|
|
|
05:53.920 --> 05:55.720 |
|
그러니 삭제해야 해요 |
|
|
|
05:55.720 --> 05:57.880 |
|
하지만 그렇게 하도록 놔두죠 get it |
|
|
|
05:57.910 --> 06:03.790 |
|
추가적인 것을 추가하는 코드 모델을 치지 않을게요. |
|
|
|
06:05.320 --> 06:11.530 |
|
기억하세요, 이건 지금 모두 스트리밍 중입니다 엔드포인트에서부터 보고 있으니까요 |
|
|
|
06:11.560 --> 06:15.070 |
|
여기로 가면 새로 고침이 필요할지도 몰라요 |
|
|
|
06:15.070 --> 06:17.290 |
|
그걸 봐야 해요 |
|
|
|
06:17.320 --> 06:22.820 |
|
결과를 스트리밍할 때 CPU와 GPU 현상이 보여요 |
|
|
|
06:23.240 --> 06:29.990 |
|
이제 여기 아래를 보시면... 죄송합니다, 그라데이션 스크린으로요 |
|
|
|
06:29.990 --> 06:30.860 |
|
시작할게요 |
|
|
|
06:30.860 --> 06:35.690 |
|
완벽한 해결책을 찾았어요 |
|
|
|
06:35.690 --> 06:42.260 |
|
이제 상단에 있는 걸 제거하겠습니다 끝에 있는 설명도 |
|
|
|
06:42.260 --> 06:46.400 |
|
제거할게요 필요 없으니까요 |
|
|
|
06:46.430 --> 06:51.980 |
|
이 C++ 코드를 실행해 퀸 코드가 어떻게 됐는지 보죠 |
|
|
|
06:52.250 --> 06:53.780 |
|
한번 해 보죠 |
|
|
|
06:56.060 --> 06:58.670 |
|
아주 빠르게 달렸죠 |
|
|
|
06:58.700 --> 07:00.140 |
|
GPT 4와 거의 비슷했어요 |
|
|
|
07:00.170 --> 07:02.720 |
|
아마 비슷할 거예요 |
|
|
|
07:02.900 --> 07:09.170 |
|
실용적인 느낌이 나진 않지만 아주 잘 만든 것 같아요 |
|
|
|
07:09.170 --> 07:10.640 |
|
답은 같아요 |
|
|
|
07:10.640 --> 07:15.290 |
|
그게 코드에 있어서는 확실히 성공이라고 생각해요 |
|
|
|
07:15.290 --> 07:16.010 |
|
퀸이에요 |
|
|
|
07:16.340 --> 07:24.130 |
|
코드 퀸이 실행 중인 모델 매개 변수는 70억 개로 다른 |
|
|
|
07:24.130 --> 07:33.730 |
|
모델과 비교하면 죄송합니다 GPT 4와 클로드에는 2조 개 이상의 |
|
|
|
07:33.730 --> 07:37.660 |
|
매개 변수가 있죠 |
|
|
|
07:38.170 --> 07:44.200 |
|
그럼 다시 돌아가서 수준을 높여 보죠 |
|
|
|
07:44.230 --> 07:46.000 |
|
더 어려운 과제를 내 보죠 |
|
|
|
07:46.030 --> 07:57.580 |
|
이 값을 파이썬 하드 으로 바꾸겠습니다 최대 서브-러레이 합을 계산하는 코드죠 |
|
|
|
07:57.580 --> 08:05.110 |
|
이제 오픈 소스 모델이 이 복잡한 케이스를 어떻게 처리하는지 보죠 |
|
|
|
08:08.260 --> 08:11.590 |
|
뭘 하는 거죠? |
|
|
|
08:13.240 --> 08:15.970 |
|
벌써 문제가 생겼네요 |
|
|
|
08:15.970 --> 08:16.840 |
|
문제가 있어요 |
|
|
|
08:16.840 --> 08:24.790 |
|
그 문제는 임의의 숫자를 생성하는 접근법을 보류하기로 결정했다는 |
|
|
|
08:24.790 --> 08:33.440 |
|
거예요 LCG라는 기술로 구현마다 반복적이고 일관된 임의의 숫자를 |
|
|
|
08:33.440 --> 08:36.380 |
|
생성하는 거죠 |
|
|
|
08:36.410 --> 08:41.270 |
|
제가 분명히 시스템 프롬프트에 난수 생성 주변의 기능성 변경을 금한다고 |
|
|
|
08:41.270 --> 08:43.760 |
|
입력했는데도 말이죠. |
|
|
|
08:43.790 --> 08:50.990 |
|
그 전략을 바꾸라고 코텡을 설득할 수 없었어요 |
|
|
|
08:51.050 --> 08:53.960 |
|
이걸로 실험해 보세요 더 잘할 수 있는지 보죠 |
|
|
|
08:53.960 --> 08:58.580 |
|
하지만 실험만으로는 그렇게 할 수 없었어요 |
|
|
|
08:59.000 --> 09:00.950 |
|
거의 다 됐어요 |
|
|
|
09:01.160 --> 09:01.940 |
|
됐어요 |
|
|
|
09:01.940 --> 09:02.540 |
|
다 됐어요 |
|
|
|
09:02.570 --> 09:07.640 |
|
그래서 끝에 나오는 것도 빼고 처음에 나오는 것도 뺄 거예요 |
|
|
|
09:07.640 --> 09:09.680 |
|
이제 진실의 순간이에요 |
|
|
|
09:09.680 --> 09:15.230 |
|
콴 코드부터 C 플러스 플러스 코드를 실행하고 스크롤을 내리죠 |
|
|
|
09:15.770 --> 09:21.380 |
|
물론 그 숫자가 일치하지 않는다는 걸 알게 됐죠 |
|
|
|
09:21.410 --> 09:23.930 |
|
예전 결과를 기억한다면요 |
|
|
|
09:23.930 --> 09:30.220 |
|
그래서 안타깝게도 코드 콴이 숫자를 복제하는 데 실패했는데 놀랄 일도 아니죠 |
|
|
|
09:30.220 --> 09:37.420 |
|
왜냐하면 이 차에는 무작위 번호 생성기가 있거든요 |
|
|
|
09:37.720 --> 09:42.850 |
|
흥미로운 일이 좀 있었어요 |
|
|
|
09:42.850 --> 09:49.930 |
|
더 효율적인 방법론을 잠재적으로 인정한 것 같지만 숫자가 일치하지 않으니 |
|
|
|
09:49.930 --> 09:56.230 |
|
모든 게 제대로 작동하고 숫자가 맞는지 확인할 수 없어요 |
|
|
|
09:56.230 --> 10:00.970 |
|
그래서 정말 안타깝지만 희망을 걸었어요 |
|
|
|
10:00.970 --> 10:08.830 |
|
코드클런은 파이 테스트 즉, 간단한 테스트를 통과했지만 더 |
|
|
|
10:08.830 --> 10:16.930 |
|
어려운 테스트에 실패하고 말았습니다 파이썬 부호와 같은 답을 |
|
|
|
10:16.930 --> 10:19.060 |
|
내지 못했죠 |
|
|
|
10:19.060 --> 10:24.850 |
|
그런 관점에서 보면 안타깝게도 개척자 모델이 우세해요 |
|
|
|
10:24.850 --> 10:27.370 |
|
다시 한 번 승리를 거머쥐었죠 |
|
|
|
10:27.370 --> 10:30.340 |
|
코드클랜은 성공하지 못했죠 |
|
|
|
10:31.240 --> 10:33.250 |
|
그럼 다음 시간에 마무리하죠
|
|
|