You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

196 lines
5.9 KiB

WEBVTT
00:00.140 --> 00:02.960
인공지능 회사인 베룸을 언급했었죠
00:03.530 --> 00:08.780
다른 질문들에 대해 이야기할 때 파충류의 비늘에 대한 질문이
00:08.780 --> 00:16.850
나왔는데요 GPT 400과 01 미리 보기 벨럼은 리더보드를 만들었습니다 나중에 다시
00:16.850 --> 00:23.660
살펴보도록 하죠 다양한 llm의 순위와 비교를 하는 흥미로운 정보가 많이
00:23.660 --> 00:25.520
있어요
00:25.520 --> 00:29.030
당면한 작업에 맞는 LLM을 고르는 것에 대해 얘기할 때 다양한 leaderboard가
00:29.060 --> 00:30.650
있어요
00:30.680 --> 00:35.720
즐겨찾기에 좋고 특히 피지 웹사이트에 유용한 게 있어요 다른 곳에선
00:35.720 --> 00:39.500
못 찾을 것 같은데 원하시면 다운로드도 가능해요
00:39.530 --> 00:45.890
팝업 창에 따르면 바로 여기 있네요 Valimai LLM leaderboard
00:45.890 --> 00:54.050
웹사이트의 중간쯤에 있어요 컨텍스트 창과 다른 프론티어 모델의 비용을 비교하는 테이블이죠
00:54.080 --> 00:58.550
직접 하는 게 정말 유용해요 특히 비용에 관해서요
00:58.580 --> 01:02.390
먼저, 아까 얘기했던 컨텍스트 창을 언급하죠
01:02.390 --> 01:11.910
문맥상 창문이 가장 큰 모델은 제미니 1호예요 5 플래시, 그리고 문맥상 충격적인 창문이 있어요
01:11.940 --> 01:12.900
말도 안 돼요
01:12.900 --> 01:15.210
백만 토큰요
01:15.210 --> 01:22.410
토큰 백만 개는 일반적인 영어에서 약 750,000단어의 뜻입니다 셰익스피어
01:22.410 --> 01:25.350
작품과 크게 다르지 않죠
01:25.380 --> 01:29.040
1편인 줄 알았던 것 같아요 2백만 토큰 정도요
01:29.280 --> 01:39.210
셰익스피어의 모든 작품을 제미니 1호에 끼워 맞출 수 있었죠
01:39.210 --> 01:39.210
5번 섬광이에요
01:39.210 --> 01:43.560
컨텍스트 창이 아주 넓어요
01:43.590 --> 01:57.360
클로드 시리즈 모델은 200,000 토큰 컨텍스트 창을 가지고 있고 GPT는 대부분 128,000 토큰 컨텍스트 창을
01:57.390 --> 01:59.250
가지고 있네요
01:59.280 --> 02:06.450
다시 한 번 기억하세요 하나의 대화에 모든 프롬프트, 대화 안의 입력 응답
02:06.450 --> 02:11.910
다음 입력, 응답 그리고 시작 부분에 있는 시스템도요
02:11.910 --> 02:14.730
전부 그 문맥에 맞아야 해요
02:14.730 --> 02:21.150
그리고 출력된 모든 토큰들도 마찬가지입니다 각각의 토큰은 한 번에 하나씩
02:21.150 --> 02:27.630
생성되어 전달되고 다음 토큰을 생성합니다 이전의 모든 입력과 출력 결과에
02:27.630 --> 02:28.770
의해서요
02:29.250 --> 02:32.280
컨텍스트 창에 맞아야 해요
02:32.280 --> 02:36.930
하지만 128,000 토큰으로 만들기엔 공간이 너무 많아요
02:36.930 --> 02:39.570
100,000단어 정도 되겠네요
02:39.780 --> 02:44.670
컨텍스트 창 크기를 보는 방법이었어요
02:44.670 --> 02:48.480
Get up! Get up! 이제 여기서 그 비용을 알 수 있죠
02:48.480 --> 02:53.880
얼핏 보면 저렴해 보이지 않을 수도 있습니다
02:53.880 --> 03:01.770
클로드 3 같은 경우라면요 지구상에서 가장 강력한 LLM에서 자주 사용하는 소네트 5편이죠
03:01.770 --> 03:10.410
입력 토큰 하나에 3달러 출력 토큰 하나에 15달러죠
03:10.440 --> 03:15.760
꽤나 비쌀 것 같지만 아닙니다 입력 토큰 당 3달러가 아니기 때문이죠
03:15.760 --> 03:21.580
백만당 3달러 입력 토큰 백만당 3달러 입력 토큰이죠
03:21.580 --> 03:27.400
입력 프롬프트에 셰익스피어 전집을 입력하면 3달러보다 조금 더 많은
03:27.400 --> 03:29.200
비트를 내야 해요
03:29.200 --> 03:34.570
이 숫자들이 의미 있고 주의 깊게 봐야 할 실제 숫자일 때 대시보드를
03:34.570 --> 03:41.290
불러와서 API 비용을 조심스럽게 모니터링하세요.
03:41.320 --> 03:46.690
이 과정에서 저희가 주로 하는 건 숏 비즈니스 질문입니다
03:46.690 --> 03:51.160
요약하고 빠른 결론을 내리려고 하죠
03:51.220 --> 03:58.720
비용은 대부분 1센트 이하로 들 겁니다 1달러도 안 되는 비율로요
03:58.750 --> 04:08.140
주로 사용할 모델은 GPT 4 미니인데 비용은 0달러예요 입력 토큰 1500만 개와
04:08.170 --> 04:12.910
0달러예요 출력 토큰은 6천만 대 1이에요
04:12.910 --> 04:19.060
상상하셨다시피 상당한 양의 콘텐츠를 생성해야 실제 가격의 표면을
04:19.060 --> 04:25.930
긁어낼 수 있습니다 이런 대형 모델들을 실행하고 결과의 품질을 전달하려면
04:25.930 --> 04:31.780
많은 컴퓨팅이 필요하다는 걸 염두에 두고요
04:31.840 --> 04:37.060
API 비용은 제가 보기엔 아주 합리적인 것 같아요
04:37.060 --> 04:42.220
이 일을 계기로 좀 더 명확해졌으면 좋겠어요 비용이 얼마나 드는지 어떤 의미인지
04:42.220 --> 04:42.850
말이죠
04:42.850 --> 04:50.320
합계 비용은 입력 토큰에 대한 비용의 합을 이 숫자로 나눈 것입니다. 거기에 생성된 모든 출력
04:50.320 --> 04:52.570
토큰의 비용을 더하죠.
04:52.570 --> 04:58.960
API에서 최대 출력 토큰의 수를 지정하여 생성하여 너무 멀리 가는 것을 막을
04:59.020 --> 04:59.890
수 있죠
05:00.070 --> 05:03.340
그래서 비용이 어느 정도인지 알 수 있죠
05:03.340 --> 05:08.170
이 페이지를 즐겨찾기 해서 언제든 원할 때 다시 보도록 해두세요
05:08.200 --> 05:11.620
비트에 대해 좀 더 명확하게 생각할 수 있죠
05:11.620 --> 05:15.760
말씀드렸듯이 정말 의미있는 때는 모델에 천 개의 호출을 하는
05:15.790 --> 05:21.280
시스템을 구축할 때입니다 그러면 정말 염두에 두어야 합니다 이런 비용이 어떻게
05:21.280 --> 05:22.600
증가할까요?