인공지능 회사인 베룸을 언급했었죠
다른 질문들에 대해 이야기할 때 파충류의 비늘에 대한 질문이
나왔는데요 GPT 400과 01 미리 보기 벨럼은 리더보드를 만들었습니다 나중에 다시
살펴보도록 하죠 다양한 llm의 순위와 비교를 하는 흥미로운 정보가 많이
있어요
당면한 작업에 맞는 LLM을 고르는 것에 대해 얘기할 때 다양한 leaderboard가
있어요
즐겨찾기에 좋고 특히 피지 웹사이트에 유용한 게 있어요 다른 곳에선
못 찾을 것 같은데 원하시면 다운로드도 가능해요
팝업 창에 따르면 바로 여기 있네요 Valimai LLM leaderboard
웹사이트의 중간쯤에 있어요 컨텍스트 창과 다른 프론티어 모델의 비용을 비교하는 테이블이죠
직접 하는 게 정말 유용해요 특히 비용에 관해서요
먼저, 아까 얘기했던 컨텍스트 창을 언급하죠
문맥상 창문이 가장 큰 모델은 제미니 1호예요 5 플래시, 그리고 문맥상 충격적인 창문이 있어요
말도 안 돼요
백만 토큰요
토큰 백만 개는 일반적인 영어에서 약 750,000단어의 뜻입니다 셰익스피어
작품과 크게 다르지 않죠
1편인 줄 알았던 것 같아요 2백만 토큰 정도요
셰익스피어의 모든 작품을 제미니 1호에 끼워 맞출 수 있었죠
5번 섬광이에요
컨텍스트 창이 아주 넓어요
클로드 시리즈 모델은 200,000 토큰 컨텍스트 창을 가지고 있고 GPT는 대부분 128,000 토큰 컨텍스트 창을
가지고 있네요
다시 한 번 기억하세요 하나의 대화에 모든 프롬프트, 대화 안의 입력 응답
다음 입력, 응답 그리고 시작 부분에 있는 시스템도요
전부 그 문맥에 맞아야 해요
그리고 출력된 모든 토큰들도 마찬가지입니다 각각의 토큰은 한 번에 하나씩
생성되어 전달되고 다음 토큰을 생성합니다 이전의 모든 입력과 출력 결과에
의해서요
컨텍스트 창에 맞아야 해요
하지만 128,000 토큰으로 만들기엔 공간이 너무 많아요
100,000단어 정도 되겠네요
컨텍스트 창 크기를 보는 방법이었어요
Get up! Get up! 이제 여기서 그 비용을 알 수 있죠
얼핏 보면 저렴해 보이지 않을 수도 있습니다
클로드 3 같은 경우라면요 지구상에서 가장 강력한 LLM에서 자주 사용하는 소네트 5편이죠
입력 토큰 하나에 3달러 출력 토큰 하나에 15달러죠
꽤나 비쌀 것 같지만 아닙니다 입력 토큰 당 3달러가 아니기 때문이죠
백만당 3달러 입력 토큰 백만당 3달러 입력 토큰이죠
입력 프롬프트에 셰익스피어 전집을 입력하면 3달러보다 조금 더 많은
비트를 내야 해요
이 숫자들이 의미 있고 주의 깊게 봐야 할 실제 숫자일 때 대시보드를
불러와서 API 비용을 조심스럽게 모니터링하세요.
이 과정에서 저희가 주로 하는 건 숏 비즈니스 질문입니다
요약하고 빠른 결론을 내리려고 하죠
비용은 대부분 1센트 이하로 들 겁니다 1달러도 안 되는 비율로요
주로 사용할 모델은 GPT 4 미니인데 비용은 0달러예요 입력 토큰 1500만 개와
0달러예요 출력 토큰은 6천만 대 1이에요
상상하셨다시피 상당한 양의 콘텐츠를 생성해야 실제 가격의 표면을
긁어낼 수 있습니다 이런 대형 모델들을 실행하고 결과의 품질을 전달하려면
많은 컴퓨팅이 필요하다는 걸 염두에 두고요
API 비용은 제가 보기엔 아주 합리적인 것 같아요
이 일을 계기로 좀 더 명확해졌으면 좋겠어요 비용이 얼마나 드는지 어떤 의미인지
말이죠
합계 비용은 입력 토큰에 대한 비용의 합을 이 숫자로 나눈 것입니다. 거기에 생성된 모든 출력
토큰의 비용을 더하죠.
API에서 최대 출력 토큰의 수를 지정하여 생성하여 너무 멀리 가는 것을 막을
수 있죠
그래서 비용이 어느 정도인지 알 수 있죠
이 페이지를 즐겨찾기 해서 언제든 원할 때 다시 보도록 해두세요
비트에 대해 좀 더 명확하게 생각할 수 있죠
말씀드렸듯이 정말 의미있는 때는 모델에 천 개의 호출을 하는
시스템을 구축할 때입니다 그러면 정말 염두에 두어야 합니다 이런 비용이 어떻게
증가할까요?