From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
196 lines
5.9 KiB
196 lines
5.9 KiB
WEBVTT |
|
|
|
00:00.140 --> 00:02.960 |
|
인공지능 회사인 베룸을 언급했었죠 |
|
|
|
00:03.530 --> 00:08.780 |
|
다른 질문들에 대해 이야기할 때 파충류의 비늘에 대한 질문이 |
|
|
|
00:08.780 --> 00:16.850 |
|
나왔는데요 GPT 400과 01 미리 보기 벨럼은 리더보드를 만들었습니다 나중에 다시 |
|
|
|
00:16.850 --> 00:23.660 |
|
살펴보도록 하죠 다양한 llm의 순위와 비교를 하는 흥미로운 정보가 많이 |
|
|
|
00:23.660 --> 00:25.520 |
|
있어요 |
|
|
|
00:25.520 --> 00:29.030 |
|
당면한 작업에 맞는 LLM을 고르는 것에 대해 얘기할 때 다양한 leaderboard가 |
|
|
|
00:29.060 --> 00:30.650 |
|
있어요 |
|
|
|
00:30.680 --> 00:35.720 |
|
즐겨찾기에 좋고 특히 피지 웹사이트에 유용한 게 있어요 다른 곳에선 |
|
|
|
00:35.720 --> 00:39.500 |
|
못 찾을 것 같은데 원하시면 다운로드도 가능해요 |
|
|
|
00:39.530 --> 00:45.890 |
|
팝업 창에 따르면 바로 여기 있네요 Valimai LLM leaderboard |
|
|
|
00:45.890 --> 00:54.050 |
|
웹사이트의 중간쯤에 있어요 컨텍스트 창과 다른 프론티어 모델의 비용을 비교하는 테이블이죠 |
|
|
|
00:54.080 --> 00:58.550 |
|
직접 하는 게 정말 유용해요 특히 비용에 관해서요 |
|
|
|
00:58.580 --> 01:02.390 |
|
먼저, 아까 얘기했던 컨텍스트 창을 언급하죠 |
|
|
|
01:02.390 --> 01:11.910 |
|
문맥상 창문이 가장 큰 모델은 제미니 1호예요 5 플래시, 그리고 문맥상 충격적인 창문이 있어요 |
|
|
|
01:11.940 --> 01:12.900 |
|
말도 안 돼요 |
|
|
|
01:12.900 --> 01:15.210 |
|
백만 토큰요 |
|
|
|
01:15.210 --> 01:22.410 |
|
토큰 백만 개는 일반적인 영어에서 약 750,000단어의 뜻입니다 셰익스피어 |
|
|
|
01:22.410 --> 01:25.350 |
|
작품과 크게 다르지 않죠 |
|
|
|
01:25.380 --> 01:29.040 |
|
1편인 줄 알았던 것 같아요 2백만 토큰 정도요 |
|
|
|
01:29.280 --> 01:39.210 |
|
셰익스피어의 모든 작품을 제미니 1호에 끼워 맞출 수 있었죠 |
|
|
|
01:39.210 --> 01:39.210 |
|
5번 섬광이에요 |
|
|
|
01:39.210 --> 01:43.560 |
|
컨텍스트 창이 아주 넓어요 |
|
|
|
01:43.590 --> 01:57.360 |
|
클로드 시리즈 모델은 200,000 토큰 컨텍스트 창을 가지고 있고 GPT는 대부분 128,000 토큰 컨텍스트 창을 |
|
|
|
01:57.390 --> 01:59.250 |
|
가지고 있네요 |
|
|
|
01:59.280 --> 02:06.450 |
|
다시 한 번 기억하세요 하나의 대화에 모든 프롬프트, 대화 안의 입력 응답 |
|
|
|
02:06.450 --> 02:11.910 |
|
다음 입력, 응답 그리고 시작 부분에 있는 시스템도요 |
|
|
|
02:11.910 --> 02:14.730 |
|
전부 그 문맥에 맞아야 해요 |
|
|
|
02:14.730 --> 02:21.150 |
|
그리고 출력된 모든 토큰들도 마찬가지입니다 각각의 토큰은 한 번에 하나씩 |
|
|
|
02:21.150 --> 02:27.630 |
|
생성되어 전달되고 다음 토큰을 생성합니다 이전의 모든 입력과 출력 결과에 |
|
|
|
02:27.630 --> 02:28.770 |
|
의해서요 |
|
|
|
02:29.250 --> 02:32.280 |
|
컨텍스트 창에 맞아야 해요 |
|
|
|
02:32.280 --> 02:36.930 |
|
하지만 128,000 토큰으로 만들기엔 공간이 너무 많아요 |
|
|
|
02:36.930 --> 02:39.570 |
|
100,000단어 정도 되겠네요 |
|
|
|
02:39.780 --> 02:44.670 |
|
컨텍스트 창 크기를 보는 방법이었어요 |
|
|
|
02:44.670 --> 02:48.480 |
|
Get up! Get up! 이제 여기서 그 비용을 알 수 있죠 |
|
|
|
02:48.480 --> 02:53.880 |
|
얼핏 보면 저렴해 보이지 않을 수도 있습니다 |
|
|
|
02:53.880 --> 03:01.770 |
|
클로드 3 같은 경우라면요 지구상에서 가장 강력한 LLM에서 자주 사용하는 소네트 5편이죠 |
|
|
|
03:01.770 --> 03:10.410 |
|
입력 토큰 하나에 3달러 출력 토큰 하나에 15달러죠 |
|
|
|
03:10.440 --> 03:15.760 |
|
꽤나 비쌀 것 같지만 아닙니다 입력 토큰 당 3달러가 아니기 때문이죠 |
|
|
|
03:15.760 --> 03:21.580 |
|
백만당 3달러 입력 토큰 백만당 3달러 입력 토큰이죠 |
|
|
|
03:21.580 --> 03:27.400 |
|
입력 프롬프트에 셰익스피어 전집을 입력하면 3달러보다 조금 더 많은 |
|
|
|
03:27.400 --> 03:29.200 |
|
비트를 내야 해요 |
|
|
|
03:29.200 --> 03:34.570 |
|
이 숫자들이 의미 있고 주의 깊게 봐야 할 실제 숫자일 때 대시보드를 |
|
|
|
03:34.570 --> 03:41.290 |
|
불러와서 API 비용을 조심스럽게 모니터링하세요. |
|
|
|
03:41.320 --> 03:46.690 |
|
이 과정에서 저희가 주로 하는 건 숏 비즈니스 질문입니다 |
|
|
|
03:46.690 --> 03:51.160 |
|
요약하고 빠른 결론을 내리려고 하죠 |
|
|
|
03:51.220 --> 03:58.720 |
|
비용은 대부분 1센트 이하로 들 겁니다 1달러도 안 되는 비율로요 |
|
|
|
03:58.750 --> 04:08.140 |
|
주로 사용할 모델은 GPT 4 미니인데 비용은 0달러예요 입력 토큰 1500만 개와 |
|
|
|
04:08.170 --> 04:12.910 |
|
0달러예요 출력 토큰은 6천만 대 1이에요 |
|
|
|
04:12.910 --> 04:19.060 |
|
상상하셨다시피 상당한 양의 콘텐츠를 생성해야 실제 가격의 표면을 |
|
|
|
04:19.060 --> 04:25.930 |
|
긁어낼 수 있습니다 이런 대형 모델들을 실행하고 결과의 품질을 전달하려면 |
|
|
|
04:25.930 --> 04:31.780 |
|
많은 컴퓨팅이 필요하다는 걸 염두에 두고요 |
|
|
|
04:31.840 --> 04:37.060 |
|
API 비용은 제가 보기엔 아주 합리적인 것 같아요 |
|
|
|
04:37.060 --> 04:42.220 |
|
이 일을 계기로 좀 더 명확해졌으면 좋겠어요 비용이 얼마나 드는지 어떤 의미인지 |
|
|
|
04:42.220 --> 04:42.850 |
|
말이죠 |
|
|
|
04:42.850 --> 04:50.320 |
|
합계 비용은 입력 토큰에 대한 비용의 합을 이 숫자로 나눈 것입니다. 거기에 생성된 모든 출력 |
|
|
|
04:50.320 --> 04:52.570 |
|
토큰의 비용을 더하죠. |
|
|
|
04:52.570 --> 04:58.960 |
|
API에서 최대 출력 토큰의 수를 지정하여 생성하여 너무 멀리 가는 것을 막을 |
|
|
|
04:59.020 --> 04:59.890 |
|
수 있죠 |
|
|
|
05:00.070 --> 05:03.340 |
|
그래서 비용이 어느 정도인지 알 수 있죠 |
|
|
|
05:03.340 --> 05:08.170 |
|
이 페이지를 즐겨찾기 해서 언제든 원할 때 다시 보도록 해두세요 |
|
|
|
05:08.200 --> 05:11.620 |
|
비트에 대해 좀 더 명확하게 생각할 수 있죠 |
|
|
|
05:11.620 --> 05:15.760 |
|
말씀드렸듯이 정말 의미있는 때는 모델에 천 개의 호출을 하는 |
|
|
|
05:15.790 --> 05:21.280 |
|
시스템을 구축할 때입니다 그러면 정말 염두에 두어야 합니다 이런 비용이 어떻게 |
|
|
|
05:21.280 --> 05:22.600 |
|
증가할까요?
|
|
|