여러분이 순위표에 질릴 위험이 있다는 걸 압니다 순위표에
대해 많은 얘기를 나눴는데 벤치마크와 순위표만 보는 데 지쳤을 수도 있어요
다 즐겨찾기 해놨잖아요
Get it, get it, get.라고 생각하죠
LMS를 선택할 때 훌륭한 리소스가 많아요
리더보드를 보고 나서 그렇게 할게요
하지만 그만하죠
순위표는 그만 봐요
잠깐만요, 하나 더 있어요
정말 재미있어요
여러분도 좋아하실 거예요
그러니 순위표는 신경 쓰지 않아도 되겠죠
사실 평범한 순위표는 아니에요
LMS 챗봇 아레나라는 아레나예요
이미 들어봤을 거예요 아주 인기 있고 재미있고 많은 사람이 얘기하니까요
이미 알고 계신다면 조금만 더 기다려 주세요 함께 사용해 보면서 재밌게 해 볼
테니까요
LMS 챗봇 아레나는 아주 인기가 많은데 채팅 능력을 평가하는
참가자들이 모델을 평가하는 곳이죠
크라우드소싱한 오픈 플랫폼이라고 하죠
100만 개가 넘는 인권 투표를 모아 llms의 순위를 매기고 결과를 표시합니다 체스 선수들에게
익숙한 Elo 평가 방식이죠
헤드 라이딩의 결과에 따라 전체 순위표를 평가하는 방식이에요
여기 결과를 좀 보세요
지금부터 살펴볼 것은 1위에 오른 GPT 4의 변종입니다 챗GPT 4라고 하죠 최근에 나온 0개요
이 영상은 2024년 8월 초에 공개됐는데 이전 GPT 4는 순위표에서 조금 더 아래였어요
비트 코어링
하지만 최신식 정교하게 훈련된 모델 챗GPT 4가 Elo 1을 기록하며 이 경기장의
선두를 차지했죠 316번요
네
여기서 유용한 건 지식이 차단된 부분이 오른쪽에 인용됐다는 거죠
모든 지식을 단절된 곳을 한 군데서 보고 싶다면요
LMS 챗봇 아레나도 좋은 곳이니까 알아두면 좋죠
그게 주요한 이유가 될 의도는 아니었을 거예요 하지만 유용한 정보죠
제미니 1호가 보일 거예요 5프로 이즈는 인체 평가에서 아주 잘하고 있어요
그록 2는 트위터였던 엑스 사의 최신 모델로 현재 강세를 보이고
있죠
그록 1은 잘하지 못했어요
그록 2는 아주 잘하고 있어요
5월 GPT 40 기록을 앞섰어요
네, 맞아요
ELO에서는 차이가 별로 안 나지만 현재 1위인 클로드
3과는 상당히 큰 차이가 있어요 5 소넷은 한때 선두주자였어요
제 기억으로는 출시 당시만 해도요 지금은 거의 6위까지 올라왔고요
여기 아래는 1270이고 위쪽은 1316이에요 GPT 채팅방은 1316이고
그다음은 제미니 1호죠 5 플래시요 물론 좀 더 작은 모델이죠
라마 3이 나오네요 1266에 1억 4,500억 달러요
이 라인업을 보는 게 아주 흥미로워요
좋아하는 모델을 계속 찾을 수 있어요
클로드 3백작은 이 아래에 있어요
그리고 여긴 사용법이 정립된 다양한 챗봇과 채팅하는 경험을 인간이 어떻게 생각하는지
알 수 있는 좋은 곳이에요 Get it
아까 봤던 명령 r이 보일 거예요
명령어 R이 여기 어디 있는 걸 봤어요
그건 스스로 찾아야 해요
이제 못 하겠어요
저기 있네요
커맨드 R 플러스예요
12시 13분이에요
첫째 주에 시작할 때부터 계속 살펴본 부분이에요
여기는 그 유명한 LMS 챗봇 아레나입니다 이 링크를 클릭하면 투표할 수 있어요 그럼
이 투표 화면이 나오죠
이렇게 하는 거예요
모델 A와 B가 두 가지씩 준비돼 있어요. Get it.
누가 누군지 모르고 둘 다와 대화를 해야 해요
우리가 좋아하는 간단한 대화를 해보죠
가벼운 농담 하나 해 주세요 데이터 과학자들이 가득한 방에 어울리는 거로요
두 모델이 동시에 이 질문을 받고 어떻게 대답하는지 보죠
모델 A는 왜 과학자들이 컴퓨터와 분리하는 걸까요?
아무 가치도 없는 가치 때문에 헌신에 문제가 많았거든요
과학적이긴 했지만 재미는 없었어요
재미있었나 보죠
모델 B, 농담 하나 해 주세요
가벼운 농담이 있어요
과학자들은 왜 라이브러리에 가죠?
양이 많다고 들었거든요
네, 꽤 괜찮죠?
그건 이중적 의미의 볼륨을 사용하는 거예요
설명이 나오죠
농담은 간단해요
데이터 과학자들이 좋아하는 말장난이죠 기술적 전문성과 약간의 말장난이 합쳐진
거니까요 비트
튼튼한 것 같아요
탄탄하네요
B가 더 나은 것 같아요
동의하시길 바라요
그게 아니라면 경기장에 들어가서 비슷한 질문을 하고 투표하세요
하지만 제가 여러분을 대신해 투표하겠습니다 B가 더 낫다 버튼을 누르면
모델이 공개될 거예요
어디 보죠
흥미롭게도 클로드 3 하이쿠와 그록 2를 대조했어요
제 기억이 맞는다면 그록 2가 클로드 3 하이쿠보다 훨씬 높았어요
투표를 통해 균형이 약간 흔들린 거죠
즐겁게 보셨길 바라요
물론 비과학적인 방법이긴 하지만 상호 작용에 근거해 인간이 결정해야
한다는 게 핵심이죠
지금 당신에게 필요한 건 가서 이걸 하는 거예요
지역 사회에 다시 기여하는 중요한 방법이죠
사용될 데이터는 데이터죠
게다가 정말 재미있어요
다양한 모델의 기능과 스코프를 알게 되고 직접 체험해 보는 경험을
통해 데이터 과학계에 비트를 더할 수 있죠
챗봇 아레나에서 즐거운 시간 보내시고 다음 시간에는 상업적 용도에 대해 얘기
나누죠