다시 리더보드 페스티벌입니다 리더보드를 더 살펴보죠
하지만 이번에는 상위 리더보드에서 믹스 오픈 소스와 비공개 소스 모델을 함께
가지고 올 거예요.
밖에서 얼굴이나 안아주고요
이제 포옹은 안 할 거예요
첫 번째 리더보드를 보여드릴게요 이것도 분명히 여러분 책갈피에 들어갈
거예요 피지 리더보드죠
과거에 잠깐 언급한 적이 있죠
피지 인공지능 회사는 LM 종사자들을 위한 필수 자료를 발표했고 페이지 맨 위에 있는
다른 모델을 비교했어요
비교 차트가 있는데 기본 벤치마크에 관한 거죠 요즘엔 쉬운 벤치마크예요
MLU는 추론이고 Pro는 아니고 기본 수치예요 소금 한 꼬집이지만
여전히 많이 인용되죠
파이썬 코딩과 수학에 대한 인간 평가예요
여기서 보시는 건 일반적으로 비공개 소스 모델입니다 여러분이 잘 알고
사랑하는 GPT 4, 소넷 3처럼요 5번 소네트와 GPT 터보 그리고 4번요
저것 좀 보세요
혼합물에 llama 3 형태의 오픈 소스 모델이 있어요 1분 4초 5억 5천만 달러요
지구상에서 가장 큰 오픈 소스 모델이죠
보다시피 일부 비공개 소스 모델과 호의적으로 경쟁하고 있어요
현재 가장 강력한 팀이 선두를 달리고 있습니다 GPT 40, MLU가
압도적으로 앞섰죠
하지만 라마는 405B에 살짝 뒤처져 있어요
다들 막상막하예요
정말요?
라마는 40억 혹은 50억 개로 오픈 소스 모델이 강력한 경쟁자죠
코딩을 할 때는 이 순서가 보이시죠
3항을 보세요 5 소네트가 선두 그다음은 GPT 405 그 뒤는 라마 405 미니
버전 GPT 405가 3위죠
얼마 안 되는 것 같아요 훨씬 저렴하니까요
GPT 터보도 있죠
GPT 수학 문제 순위표입니다 GPT는 4-0이었고 그 뒤에는 라마가 4,050억
달러였죠 그 뒤로는 다른 순위표들이 나왔고 클로드가 4위를 차지했어요
그런 톱모델을 위해 아주 유용한 실적 차트를 보여드릴게요
얼굴 안기 때 봤던 다차원 차트보다 해석하기가 좀 더 쉽죠 물론 비트는
더 적지만요
속도 측면에서 보면 초당 토큰으로 토큰을 가장 빨리 생성하는 건 라마다 80억 오픈
소스 모델이에요
당연하죠, 매개 변수가 적을수록 작업량도 less니까요 그러니 이해할 가치가 있죠
네
그렇군요
그래서요?
최대한 일관되게 달리려고 노력하는 게 중요해요
비트에 대한 정보가 조금 더 설명해줘요
라마 8 다음은 더 큰 모델인 라마 70 그리고 제미니 1호예요 5번 섬광이에요
클로드, 하이쿠 3개 GPT 4개요
미니예요
미니 변형요
작은 모델이 더 빠르죠
놀랍지도 않네요
대기 시간 때문에요
첫 번째 토큰이 도착하기까지 남은 시간을 의미하죠
그걸 포착하는 좋은 방법이죠
아까 말씀드렸던 걸 설명하기에 좋은 방법이네요 기본 속성에 대한 대기 시간을 보여드렸을 때요
작은 모델도 빠르게 반응하는 게 놀랍지 않죠
GPT 4는 놀랍게도 4보다 대기 시간이 개선됐어요
0명요
하드웨어 셋업과 관련 있는 게 많아요
잘은 모르지만 둘이 친해요
가장 싼 모델은 백만 달러당 달러로 계산하죠
라마 80억 달러는 제미니 1호에서 가장 싼 가격에 나온 거예요 5 플래시도 잘 팔리고 GPT 4와 미니는 물론 아주 저렴하죠
클로드 3 하이쿠와 GPT 3도 있어요 5 터보로 바꿨죠
두 개의 다른 막대로서 보여지고 있습니다 하나는 입력 비용, 하나는 출력 비용이죠
두 모델을 비교할 수 있는 상호 작용적 기능이 있어요 다른 측정법에 따라
나란히 볼 수 있죠
이건 클로드 3점 아니, 클로드 3점이에요 GPT 4에 맞서는 클로드 3집이에요
비트를 좀 바꿔서 픽 3을 선택해 보죠 소네트 5번과 GPT 4번요
우리가 보고 싶어 하는 얼굴이죠
자, 시작하죠
두 사람이 막상막하인 것처럼 보여요
뭐라는 거예요?
88살요 클로드는 3%고요 5살, 88살요 GPT 4는 7%예요
네
클로드가 코딩을 더 잘하는 이유가 GPT 4 때문이군요
클로드는 계산을 더 잘하지만 도구 사용은 형편없어요
2주 차에 겪은 일요
클로드가 더 잘해요 다국어를 잘하는 클로드
정말 좋아요
이렇게 모델을 나란히 비교할 수 있다니 흥미롭네요
이 테이블에는 여러 모델이 한 줄씩 있어요
클로드 3 같은 비공개 소스의 모델을 볼 수 있어요 5 소네트요
평균 점수와 비교해서 1위에 오른 선수는 바로 이 선수예요
다시 MLU를 보고 계시는데요 모든 점수가 아주 좋은 수치예요
파이썬에 대한 인간 평가 지표에서 얘기했던 거죠
이게 제가 말씀드린 벤치마크입니다 모델의 능력 이상의 미래 역량을 시험하기
위해 고안된 벤치마크죠
이 클라우드 스리를 보면 믿겨지세요? 5점, 소네트가 벌써 93점을 득점했어요 B 하드에서 1%로 향후
역량을 평가하는 기준이 아니라는 뜻이죠
현재의 기능이라고 할 수 있죠
클라우드 스리도요 5번 소네트가 끝내줬어요
초등학교 수학이랑 더 어려운 수학 문제요
여기 보시면 다양한 모델에서 나온 결과가 있어요
앞서 제가 좀 아리송한 걸 언급했는데요 클라우드 3 비트는 5분
소네트가 클로드 3세보다 잘하네요
오퍼스요
클로드 3권은 여전히 API로도 제공되고 가격도 3백 달러가 훨씬 넘어요
5 소네트요
왜 클로드를 골랐는지 모르겠어요
3부작 이상이에요 특별한 게 없다면 소네트 5편요
논리에 관한 문제라면 클로드 3집이 더 잘했네요
어떤 면에서는 더 잘 팔리지만 추가 가격 포인트를 받을 가치가 있는지는
모르겠어요
그리고 라마가 이 비교 모델에 등장하는 것도 보실 수 있어요
라마 4,050억 달러는 안 보이네요 상상이 안 돼요
아직 라마 4의 모든 검사를 수행하지 못했기 때문이죠 50억 달러요, 왜냐하면
700억 라마 3 변종보다 훨씬 뛰어나다고 상상할 수 있거든요
네
이 테이블로 내려오면 전에 보여드린 건데요
다양한 모델을 볼 수 있는 유일한 장소예요
컨텍스트, 창 크기, 입력 및 출력 토큰 당 비용은 얼마일까요?
물론 데이터가 있는 모델을 비교하는 거지만 굉장히
유용해요
온라인에서 여러 페이지를 찾아볼 수도 있고 여기 와서 한곳에 다 볼 수도 있어요
그래서 책갈피에 적어두셔야 해요
제미니 1호를 강조하죠 5번 플래시는 백만 가지 문맥을 보여주는 놀라운 창이 있죠
일반적인 영어로는 750,000단어 정도 됩니다 셰익스피어 작품의
거의 전부죠 문맥상 아주 큰 창이에요
클로드 가족은 200,000살이에요
GPT 가족은 128,000살이었죠
제미니 1호의 백만 대에 비하면 다소 적은 숫자죠 5번 섬광이에요
하지만 컨텍스트 창에서 소화해야 할 정보가 여전히 많아요 좋은 반응도
주고요
네
오픈 소스 모델도 보이실 거예요
혼합 평가판과 컨텍스트 창의 크기가 보입니다 llama 3 모델은 8000 토큰 컨텍스트 창을 가지고
있네요
오픈 소스 모델과 비공개 소스 모델을 비교할 때 명심할 가치가 있어요
이런 거대한 컨텍스트 창문이 필요하다면 비공개 소스 경로로 가야겠죠
코딩 리더보드가 있는데 사람 평가를 비교할 수 있어요 그게 피지
웹페이지의 리더보드를 마무리하죠
한 명 더 있어요
비즈니스 사이트들인데 실 리더보드라고 해요 스케일이라는 회사에서 제공하죠
컴 앤 스케일의 전문 분야는 맞춤형 데이터 세트 생성이죠
특정 문제를 작업 중이라면 자신의 문제에 맞는 데이터 세트를 제작하고 큐레이팅해야 합니다
스케일 컴이 비즈니스를 하는 게 바로 그런 거죠
데이터 발생기를 사용할 수 없다면 지난주 과제의 일부로 만든 것이길 바라요
이 leaderboard에는 여러 가지 작업에 대한 아주 구체적인 leaderboard가 있어요
그리고 대립적 견고성에 관한 것도 있습니다 이 강의에서 잘 설명했듯이 시험
학습 프롬프트에 대한 것도 큰 언어 모델에서 해로운 반응을 촉발하도록 설계됐죠
그래서 문제가 되는 질문의 구체적인 예가 있어요
예를 들어, 당신이∙∙∙ 미안해요, 일부러 그런 건 아니에요
예를 들어 이걸 항공사 고객 지원 챗봇으로 나타내고 싶다면
이게 궤도를 벗어나거나 뭔가 크게 잘못되지 않도록 한다는
걸 명심해야 해요
그 목적을 위한 유용한 벤치마크죠
코딩은 코딩 기술의 더 상세한 척도를 제공합니다 클로드 3을 보세요 소네트 5편이 길을 인도하죠
미스트랄도 마찬가지로 닫힌 소스와 오픈 소스를 결합한 회로죠
미스트랄 라지 투가 3위 안에 들어요 오픈 소스로서 참가 강좌죠 여기
보시면 라마 3이 있어요 1억 4,500억 달러요
지시를 따르지 않고도 이를 시험할 수 있었죠
2위에 올랐죠
GPT 40보다 앞섰어요
클로드 3호 바로 뒤예요 5 소네트요
오픈 소스 세계와 메타에 있어서 놀라운 결과입니다 2위를 차지했어요
수학 문제도 풀었고요
라마 3요 1 405 B가 3위 GPT 40, 2위는 클로드 3이죠 5분
소네트가 수학을 이끌고 있어요
스페인어 순위표도 있어요 여기 결과를 보여주죠
오픈 소스의 선두 주자 미스트랄은 4위입니다 GPT가 4위인 가운데 선두를 달리고
있죠
Qxl도요 비즈니스 특정 리더보드를 늘 추가하고 있어요
다시 돌아와서 추가된 다른 것이 있는지 보고 비즈니스 문제에 대한 보다 구체적인 leaderboard를 위한 훌륭한 리소스로
이걸 사용하세요