네, 순위표에 오신 걸 환영합니다 여러분의 컬렉션에 필요한 필수 순위표를 살펴보고 있는데요
그 중 첫 번째는 빅 코드 모델의 leaderboard죠
URL 보이시죠? 하지만 안는 얼굴에서 검색할 수도 있어요
다른 것들처럼 스페이스 앱으로 실행되고 있어요
클래스 리소스에 링크도 포함시킬 거예요
여기 보시는 건 모형 세트예요
베이스 모델에서 필터링부터 할게요
우리 모두 아는 이름이죠
그리고 점수를 보면 앞서 언급했던 인체 평가 시험 세트인 파이썬 테스트와
자바스크립트 테스트 C 플러스 테스트가 있죠
이 모델의 성능을 다른 프로그래밍 언어와 비교할 수 있어요
승률은 전체의 평균과 비슷하다고 할 수 있죠
get each 페이지로 가시면 더 많은 정보를 얻을 수 있습니다. 이 열을 계산하는
방식을 보면 코딩의 가장 윗부분이 코드를 작성하기 위한 퀸의 특수 버전인 것을 볼 수 있습니다.
이것을 코드 퀸이라고 부르죠.
근처에 라마 코드도 있어요
심해 코더는 아주 잘 나가는 모델이에요
코드 라마의 변종이죠
스타 코더 2는 초기에 우리가 사용한 모델이죠
스타 코더 2의 기능도 여기 있고요
다음은 코드 젬마 구글의 오픈 소스 코드 생성 모델이죠
전부를 포함하면 좀 더 구체적인 데이터 세트에 맞춰 조정된 일부도
포함할 거예요
점수를 비교해 보면 알 수 있어요
요즘 코드는 훨씬 더 낮아졌고 많은 것들이 더 잘 튜닝되었어요
좀 놀랍지만 코드 콴 1이에요 채팅 5개가 1을 능가하는 것 같아요 여기에는 50억 70억 명이 있어요
하지만 여러 가지 이유가 있을 수 있죠
그 목적으로 데이터를 훈련하는 데 사용된 방식 때문일 수도 있고 여기서
제기되는 질문 때문일 수도 있어요
여러분이 풀어야 할 문제가 대형 코드 모델 코딩과 관련 있다면 leaderboard가
딱이죠
다음은 LM 향기 리더보드입니다 속도나 메모리 소비량
같은 것에 관련된 다양한 모델의 성능을 살펴보는 거죠
leaderboard를 보면 다양한 변형이 있는 모델들이 나와 있습니다
속도, 에너지 소비량 메모리 사용량 등 정보도 있고요
하지만 제가 권하고 싶은 것은 그 페이지에서 시작하지 말고 이 페이지로 넘어가서
최고의 모델을 찾는 것입니다. 당신이 보고 있는 하드웨어 구조를
선택하고, 최고의 모델을 고릅니다. 여기 보이는 것은 매우 흥미로운
도표입니다. 다이어그램으로 적어도 세 가지의 양을 보여주고 있죠.
그렇지 않다면 엑스 축을 따라야겠죠
여기서 속도에 대한 뭔가를 보게 되죠
이 모델이 토큰 64개를 생성하는 데 걸리는 시간이죠
왼쪽으로 더 기울일수록 좋아요
시간이 단축되니까요
왼쪽으로 오는 모델을 찾고 있어요 성능, 속도, 성능에 신경 쓴다면요
정확성에 신경 쓰신다면, 성능에 신경 쓰신다면 합계를 이용하실 수 있어요
오픈 LM 점수요 모델 정확도의 척도로써의 총점이죠
메모리 공간 측면에서 비용을 고려하고 이 모델을 실행하기 위해 필요한 하드웨어의
크기를 고려한다면 blob의 크기를 봐야 해요
큰 덩어리는 더 많은 메모리 수요를 나타내요 여러분이 필요한 게 뭔지 감을 잡게 해주죠
저희가 찾는 모델은 작은 점으로 왼쪽 위쪽에 있는 게 이상적이죠
높은 곳만 아니면 좋은 결과가 나올 거예요
특히 이런 모델이 아주 잘 되고 있는 걸 볼 수 있어요 Quan the Quan
1이죠 5가지 변형이 있어요
여길 보시면 가장 신경 쓰이는 건 성능이 뛰어나고
정확하며 벤치마킹 점수 면에서 빠른 기술이죠
그리고 이 제품으로 오세요 라마 라마 3 모델이에요
여기서 마지막 요점이 등장합니다 이 도표에 표현된 또
다른 정보는 모델의 가족인데 비트의 색깔로 표현되죠
여기 보시면 노란색은 파이나 훈련을 받은 모델이란 뜻이에요
저기 노란색 파이 모델이 보일 거예요
속도와 정확도, 메모리 풋프린트의 양면성에 있어서 오픈 소스 모델의
실행 비용에 영향을 미칠 텐데 이건 환상적인 리소스예요
leaderboard를 눌러보세요. 여기로 오세요. 항상 당신의 가장 좋은 모델 찾기 탭을 누르세요.
그리고 당신의 옵션이 뭔지 살펴보세요.
예를 들어 T4 하드웨어를 이야기할 때 T4 탭으로 가서 어떤
옵션이 있는지 볼 수 있어요
보세요, 01I 청음이에요
콴은 잘 지내고 있나요?
다른 모델도 볼 수 있어요 사용 사례에 따라 가장 적절한 모델이죠
제가 말씀드리고 싶은 것은 빈 공간이 있는데 빈 공간으로 가서 leaderboard를
검색할 수 있어요
여기서 한 건 공간에서 leaderboard를 검색한 것뿐입니다
다양한 leaderboard를 볼 수 있죠 LMS 벤치마크에 대한 보다 상세한 정보를 볼 수 있어요
여기 있는 정보의 양에 압도되지 않으셨다면 제가 조금 전에 언급한 이 다양한 leaderboard를 보는
데에 아주 훌륭한 유틸리티가 있어요
포르투갈이 집중해서 순위를 매기고 있어요
많은 언어가 독자적인 순위표를 갖고 있어요 능력을 평가하기 위해서요
오픈 메디컬 리더보드를 언급했죠
이걸 띄워 보면 여러 의학적 벤치마크가 있습니다 임상 지식, 대학
생물학 의학 유전학, 그리고 퍼브메드 QA 같은 것들이죠
의학 모델과 비교해서 점수를 매겨요
의료 유스 케이스용으로 설계된 솔루션을 개발하려 한다면 바로 이 순위표를
봐야 해요
어바웃 페이지는 추가 정보를 제공합니다 데이터 집합과 어떻게 사용되고
어떻게 계산되는지에 대해서요
이걸 보면 문제가 발생했을 때 올바른 오픈 소스 모델을 어떻게 선택할지
감이 올 거예요
유용한 순위표를 어떻게 찾고 다양한 지표를 어떻게 해석하고 다양한 모델을 어떻게 순위
매길지 말이죠
다음 시간에는 오픈 소스와 폐쇄 소스를 결합한 리더보드를 살펴보죠