모두 다 알아요
함께 여정을 시작하던 게 엊그제 같은데 벌써 4주 차가
시작됐고 여정의 절반이 빠르게 다가오고 있어요
이번엔 어떤 일이 벌어질까요?
이번 주에는 핵심 지식을 쌓는 중요한 단계에 들어갈 거예요
우리 모두에게 닥치는 어려운 질문에 관한 내용일 거예요 우리는 선택권이 너무 많다는
거죠
llm이 너무 많아요
오픈 소스냐 폐쇄 소스냐 결정할 게 너무 많아요
각 카테고리에 정말 많아요
당장의 문제에 맞는 LLM을 어떻게 고르죠?
그게 이번 주의 주요 주제죠
추가로 오픈 소스 랜드에서 코드를 작성하는 llms를 생성할 거예요
재미있을 거예요
오늘 우리가 할 일은 작업에 적합한 모델을 어떻게 고르느냐에
관한 거예요
특성과 벤치마크에 대해 얘기하고 오픈ml leaderboard라는
걸 사용할 겁니다 얼굴을 끌어안고 오픈 소스 모델 비교를 돕는 놀라운 리소스죠
그 전에 먼저 8주간의 여정을 돌아보죠
왼쪽에서부터 시작했어요
오른쪽을 마무리할 거예요
첫 주에요
프런티어 모델에 관해 얘기하면서 프런티어 LMS를 6대나 비교했어요
2주차에선 그래디오 에이전트화와 함께 UI를 소개했고 3주차엔 다중 양상을
다뤘죠
지난주엔 얼굴 맞대고 오픈 소스나 찍었잖아요
허브와 상위 레벨 API 파이프라인, 토큰라이저 모델도 살펴봤습니다
많은 도움이 됐기를 바랍니다 채팅 인터페이스가 어떻게 작동하고
이런 종류의 사전 목록이 어떻게 토큰이 되는지에 대해서요 특별한 토큰을 llms나
LMS에 공급해 다음 예상 토큰을 결과로 내놓는 거죠
LMS 선택에 관한 4주 차에 접어들었죠 코드 생성 문제도 있어요 아주 흥미로울
거예요
5주 차가 누더기였으면 좋겠어요
6주 차에는 조율을 잘해야 해요
훈련 시작부터요
개척지에서 훈련하고 오픈 소스를 훈련해서 전부 합쳤어요
그게 8주 계획이에요
오늘은 모델과 LMS 비교에 대해 얘기해보죠
이번 세션에서 얻은 교훈이 있다면 가장 중요한 점은 이 LLM이 다른 것보다
낫다는 간단한 답이 없다는 거예요
이건 순위를 매기는 문제가 아니에요
무엇을 이루고 싶은지가 중요하죠
작업에 적합한 LLM을 고르는 것도 중요하죠
다른 LMS를 저울질하고 요구 사항과 비교하는 게 게임 이름입니다
모델을 쌍으로 연결하는 두 가지 다른 방법이 있어요
첫 번째는 모델에 대한 기본적인 사실이죠
모델 가격 같은 뻔한 것들이요
그러면 선택할 공간이 줄어들어요 선택지가 줄어들죠
다양한 모델의 기본 속성과 기본 측면을 조사하고 나면
상세한 결과를 보기 시작하죠
벤치마크, 리더보드 경기장을 살펴봐야 해요
이 모든 걸 기반으로 여러분은 소수의 후보 llms를 갖게 됩니다 시제품
제작에 사용하여 당면한 작업에 최적의 LLM을 선택할 수 있도록 하죠
그럼 기본 비트부터 살펴보죠
제가 기초를 비교한다고 했을 때 다른 모델에서 평가해야 할 가장 명백한
점을 말하는 거예요
먼저 여러분이 오픈 소스 모델을 볼 건지 비공개 소스 모델을 볼 건지 이해해야
해요
물론 장단점이 있고 다른 기본 속성에 영향을 미치겠죠
최종 목록을 만들 때 가장 먼저 기억해야 할 건 소스 공개냐, 폐쇄냐죠
언제 출시됐죠?
개봉일이 언제고 아마 같은 날짜일 거예요
하지만 중요한 건 지식의 제한이 얼마냐는 거죠
날짜가 언제죠?
훈련 데이터의 마지막 날짜입니다 그 이후에는 현재 사건에 대한 지식이 전혀 없죠
사용 사례에 따라 중요할 수도 있고 아닐 수도 있죠
다음은 매개 변수의 수죠
모델의 힘이 느껴질 거예요
또한 앞으로의 비용에 대한 확신을 줄 수 있고 훈련 데이터가 얼마나 필요한지
알 수 있죠
모델을 조정하고 싶다면 잠시 후에 다시 이야기하도록 하죠
모델의 크기 같은 매개변수의 개수는 훈련에서 사용된
패의 개수를 기록하는 것과 같죠
훈련 데이터셋의 크기는 중요한 겁니다 모델의 힘과 수준, 전문성의
깊이를 다시 한 번 느끼게 될 겁니다 물론 컨텍스트 길이 컨텍스트 창의 크기도요
예전에 자주 얘기했던 거요
메모리에 효과적으로 저장할 수 있는 토큰의 총량을 계산하고 다음 토큰을 예측할 수 있습니다.
이 토큰에는 기존 시스템인 입력 프롬프트가 있어야 하는데요.
채팅방 사용 사례를 보면 사용자와 보조 사이의 모든 익스체인지가
컨텍스트 길이에 맞아야 하죠
Multi Shot PRpting을 사용할 때 모델을 추론할 시간에
여러 개의 예제를 제공한다면 이 예제들을 받아들이기에
충분한 컨텍스트 길이를 가지고 있는지 확인해야 해요
오늘 컨텍스트 길이가 가장 긴 모델이 뭐였죠?
제미니 1호요 지금은 백만 개 크기의 연락처 창이 있지만 곧
살펴볼 거예요 모든 컨텍스트 길이를 비교할 수 있죠
이게 기본이고요
여러분이 살펴볼 만한 기본으로 넘어가 보죠
고려해야 할 비용이 아주 많아요
조사 비용, 훈련 비용 건축 비용으로 나눴어요
추론 비용은 물론 프로덕션에서 이 모델을 실행할 때마다 입력된 산출물을 생성하기
위해 드는 비용은 얼마일까요?
간단히 말하자면요. 추측성으로 말하는 거예요.
오픈 소스를 다루느냐 폐쇄 소스를 다루느냐 상호 작용 방식에 따라 비용이 여러 가지
유형으로 발생할 수 있어요
물론 프런티어 모델에서는 API 비용을 고려합니다 입력 토큰과
출력 토큰의 개수로 구성되어 있는데 API 비용에 들어가는 것이죠
Pro 사용자 인터페이스나 채팅 UI를 사용하는 것에 대해 얘기할 때 구독을
생각하게 됩니다 월간 구독 비용이죠
여러분이 직접 실행하는 오픈 소스 모델에 관해 얘기한다면 런타임
계산 비용이 있을 겁니다 Colab 비용과 비슷하죠 프로덕션으로 배포하는
방법에 관해 이 과정의 마지막 주에 얘기할 거예요
GPU 박스에서 프로덕션에서 모델을 실행하게 해주는 Modal 같은 플랫폼을
생각해보면 클라우드에서 계산 상자를 실행하는 데 약간의 비용을 지불하게 되죠
오픈 소스를 위한 계산 런타임도 또 다른 요소죠
일반적으로 여러분이 여러분이 직접 훈련한 오픈 소스 모델로 작업하는 경우 추론 비용은
낮아집니다 여러분 모델이니까요
매번 API 비용을 지불하지 않아도 돼요
하지만 명확한 계산은 아니에요
사용 사례에 따라 다르죠
모델 선택과 매개 변수 개수에 따라 달라요
훈련 비용도 있고요
틀에 박히지 않은 개척자 모델을 사용하면 훈련비가 안 들어요
7주 차에 할 건데 더 세밀하게 조정하지 않으면요
하지만 여러분의 도메인에 특화하고 싶은 오픈 소스 모델을 구축하는데
거기에 교육 비용을 추가한다면 그에 따른 비용이 발생하겠죠
그것도 고려해야 해요
공사비요
이 솔루션을 만드는 데 얼마나 많은 일이 필요할까요?
다음 제품과 밀접한 관련이 있어요 다음 제품은 출시까지 얼마나 걸릴까요?
개척지 모델을 쓰는 것의 장점 중 하나죠
지금이 시장철인가요?
건축 비용은 아주 낮을 수 있죠
개척 시대 모델을 이용한 강력한 해결책을 실행하려면 시간이 아주 오래 걸리지 않아요
일반적으로, 여러분 고유의 오픈 소스 모델을 세밀하게 조정하려는 경우 더 오래 걸리고
더 어려워지죠
그게 선구 모델의 속도 제한을 높이는 데 중요한 요소입니다 제한에 부딪힐
수도 있어요
구독 플랜의 전형적인 경우죠
요금 제한도 포함해서요
API를 통한 프론티어 모델을 사용할 때도 신뢰성을 강조하죠
이런 경험을 한 모델들이 있어요 GPT
4와 클로드 3 둘 다요 5개의 소네트 API가 에러에 반응하는데 과부하가 걸렸다는 거죠
당시엔 생산하느라 너무 바빴거든요
속도 한계에 관한 것이고 안정점과 속도도 있습니다 처리량과 관련된 것입니다 전체
응답을 생성하는 데 얼마나 걸릴까요? 새 토큰을 생성하는 데 얼마나 걸릴까요?
아주 비슷하죠
속도와 대기 시간 사이에는 미묘한 차이가 있어요 요청 응답 시간 같은
거죠
토큰 하나에 얼마나 빨리 반응하는지 물으면요?
기억하실지 모르겠지만 저희 항공사의 인공지능 보조 멀티모달에서 저희에게 말을 걸었어요
대기 시간이 문제였어요 비트
그때 언급 안 한 것 같은데 어색한 침묵이 흘렀어요 텍스트가
뜨면 모델로 가니까요
개척자 모델을 불러내서 음향을 생성하고 돌아와서 재생하죠
이미지를 생성할 때는 더 힘들었어요 이미지가 돌아오는 데 시간이 좀 걸렸고
우리는 앉아서 이미지를 기다려야 했거든요
물론 프로토타입보다 더 우아하게 다룰 방법은 있지만 반드시
그래야만 하는 요소죠
자신의 오픈 소스 모델을 다루고 있다면 여러분이 더 통제할 수 있다는
걸 기억하세요
마지막으로 기본이지만 가장 중요한 건 라이선스예요
오픈 소스든 비공개 소스든 말이에요
라이선스 제한을 잘 아셔야 합니다 여러분이 있는 곳과 사용 금지라는 측면에서요
많은 오픈 소스 모델은 오픈 라이선싱을 갖고 있어요
작은 글씨가 있는 것도 있어요
안정적인 확산이라는 건 상업적으로 어느 정도 사용할 수 있다는
뜻인데요
귀사의 수입이 일정 수준을 넘으면 안정적으로
확산하는 일종의 계약 사업 협약이 필요한 시점이죠
라마 3과 함께 서비스 약관에 서명하는 경험을 했어요 메타 1이요
좋은 목적으로 사용하고 있는지 확인하기 위한 것이지만 라이선스의
일부라는 걸 알아야 해요
자, 기본은 다 됐고요
성능을 더 자세히 분석하기 전에 기록해야 할 것들이죠 작업에 필요한
모델의 정확성도 마찬가지고요
다음 시간에 계속하죠