WEBVTT 00:00.140 --> 00:02.960 인공지능 회사인 베룸을 언급했었죠 00:03.530 --> 00:08.780 다른 질문들에 대해 이야기할 때 파충류의 비늘에 대한 질문이 00:08.780 --> 00:16.850 나왔는데요 GPT 400과 01 미리 보기 벨럼은 리더보드를 만들었습니다 나중에 다시 00:16.850 --> 00:23.660 살펴보도록 하죠 다양한 llm의 순위와 비교를 하는 흥미로운 정보가 많이 00:23.660 --> 00:25.520 있어요 00:25.520 --> 00:29.030 당면한 작업에 맞는 LLM을 고르는 것에 대해 얘기할 때 다양한 leaderboard가 00:29.060 --> 00:30.650 있어요 00:30.680 --> 00:35.720 즐겨찾기에 좋고 특히 피지 웹사이트에 유용한 게 있어요 다른 곳에선 00:35.720 --> 00:39.500 못 찾을 것 같은데 원하시면 다운로드도 가능해요 00:39.530 --> 00:45.890 팝업 창에 따르면 바로 여기 있네요 Valimai LLM leaderboard 00:45.890 --> 00:54.050 웹사이트의 중간쯤에 있어요 컨텍스트 창과 다른 프론티어 모델의 비용을 비교하는 테이블이죠 00:54.080 --> 00:58.550 직접 하는 게 정말 유용해요 특히 비용에 관해서요 00:58.580 --> 01:02.390 먼저, 아까 얘기했던 컨텍스트 창을 언급하죠 01:02.390 --> 01:11.910 문맥상 창문이 가장 큰 모델은 제미니 1호예요 5 플래시, 그리고 문맥상 충격적인 창문이 있어요 01:11.940 --> 01:12.900 말도 안 돼요 01:12.900 --> 01:15.210 백만 토큰요 01:15.210 --> 01:22.410 토큰 백만 개는 일반적인 영어에서 약 750,000단어의 뜻입니다 셰익스피어 01:22.410 --> 01:25.350 작품과 크게 다르지 않죠 01:25.380 --> 01:29.040 1편인 줄 알았던 것 같아요 2백만 토큰 정도요 01:29.280 --> 01:39.210 셰익스피어의 모든 작품을 제미니 1호에 끼워 맞출 수 있었죠 01:39.210 --> 01:39.210 5번 섬광이에요 01:39.210 --> 01:43.560 컨텍스트 창이 아주 넓어요 01:43.590 --> 01:57.360 클로드 시리즈 모델은 200,000 토큰 컨텍스트 창을 가지고 있고 GPT는 대부분 128,000 토큰 컨텍스트 창을 01:57.390 --> 01:59.250 가지고 있네요 01:59.280 --> 02:06.450 다시 한 번 기억하세요 하나의 대화에 모든 프롬프트, 대화 안의 입력 응답 02:06.450 --> 02:11.910 다음 입력, 응답 그리고 시작 부분에 있는 시스템도요 02:11.910 --> 02:14.730 전부 그 문맥에 맞아야 해요 02:14.730 --> 02:21.150 그리고 출력된 모든 토큰들도 마찬가지입니다 각각의 토큰은 한 번에 하나씩 02:21.150 --> 02:27.630 생성되어 전달되고 다음 토큰을 생성합니다 이전의 모든 입력과 출력 결과에 02:27.630 --> 02:28.770 의해서요 02:29.250 --> 02:32.280 컨텍스트 창에 맞아야 해요 02:32.280 --> 02:36.930 하지만 128,000 토큰으로 만들기엔 공간이 너무 많아요 02:36.930 --> 02:39.570 100,000단어 정도 되겠네요 02:39.780 --> 02:44.670 컨텍스트 창 크기를 보는 방법이었어요 02:44.670 --> 02:48.480 Get up! Get up! 이제 여기서 그 비용을 알 수 있죠 02:48.480 --> 02:53.880 얼핏 보면 저렴해 보이지 않을 수도 있습니다 02:53.880 --> 03:01.770 클로드 3 같은 경우라면요 지구상에서 가장 강력한 LLM에서 자주 사용하는 소네트 5편이죠 03:01.770 --> 03:10.410 입력 토큰 하나에 3달러 출력 토큰 하나에 15달러죠 03:10.440 --> 03:15.760 꽤나 비쌀 것 같지만 아닙니다 입력 토큰 당 3달러가 아니기 때문이죠 03:15.760 --> 03:21.580 백만당 3달러 입력 토큰 백만당 3달러 입력 토큰이죠 03:21.580 --> 03:27.400 입력 프롬프트에 셰익스피어 전집을 입력하면 3달러보다 조금 더 많은 03:27.400 --> 03:29.200 비트를 내야 해요 03:29.200 --> 03:34.570 이 숫자들이 의미 있고 주의 깊게 봐야 할 실제 숫자일 때 대시보드를 03:34.570 --> 03:41.290 불러와서 API 비용을 조심스럽게 모니터링하세요. 03:41.320 --> 03:46.690 이 과정에서 저희가 주로 하는 건 숏 비즈니스 질문입니다 03:46.690 --> 03:51.160 요약하고 빠른 결론을 내리려고 하죠 03:51.220 --> 03:58.720 비용은 대부분 1센트 이하로 들 겁니다 1달러도 안 되는 비율로요 03:58.750 --> 04:08.140 주로 사용할 모델은 GPT 4 미니인데 비용은 0달러예요 입력 토큰 1500만 개와 04:08.170 --> 04:12.910 0달러예요 출력 토큰은 6천만 대 1이에요 04:12.910 --> 04:19.060 상상하셨다시피 상당한 양의 콘텐츠를 생성해야 실제 가격의 표면을 04:19.060 --> 04:25.930 긁어낼 수 있습니다 이런 대형 모델들을 실행하고 결과의 품질을 전달하려면 04:25.930 --> 04:31.780 많은 컴퓨팅이 필요하다는 걸 염두에 두고요 04:31.840 --> 04:37.060 API 비용은 제가 보기엔 아주 합리적인 것 같아요 04:37.060 --> 04:42.220 이 일을 계기로 좀 더 명확해졌으면 좋겠어요 비용이 얼마나 드는지 어떤 의미인지 04:42.220 --> 04:42.850 말이죠 04:42.850 --> 04:50.320 합계 비용은 입력 토큰에 대한 비용의 합을 이 숫자로 나눈 것입니다. 거기에 생성된 모든 출력 04:50.320 --> 04:52.570 토큰의 비용을 더하죠. 04:52.570 --> 04:58.960 API에서 최대 출력 토큰의 수를 지정하여 생성하여 너무 멀리 가는 것을 막을 04:59.020 --> 04:59.890 수 있죠 05:00.070 --> 05:03.340 그래서 비용이 어느 정도인지 알 수 있죠 05:03.340 --> 05:08.170 이 페이지를 즐겨찾기 해서 언제든 원할 때 다시 보도록 해두세요 05:08.200 --> 05:11.620 비트에 대해 좀 더 명확하게 생각할 수 있죠 05:11.620 --> 05:15.760 말씀드렸듯이 정말 의미있는 때는 모델에 천 개의 호출을 하는 05:15.790 --> 05:21.280 시스템을 구축할 때입니다 그러면 정말 염두에 두어야 합니다 이런 비용이 어떻게 05:21.280 --> 05:22.600 증가할까요?