벤치마크를 계속 조사할 겁니다 실제로 행동을 보면 더 실감이 날 거예요
그러니 참고 들으세요 아주 중요하고 유용한 배경 정보니까요
더 특별한 기술을 시험할 때 사용되는 세 가지 벤치마크를 살펴볼
거예요
첫 번째는 모델들 간의 채팅을 평가하는 데 사용해요 특히 인 페이스오프에서요
아레나 같은 곳에서요
평가 기준은 Elo예요
체스 선수라면 Elo 평가라는 게 있는데 Elo는 다른 스포츠의
경쟁자들에게 주는 평가예요 승자마다 패자가 있는 제로 섬 게임이죠
이런 게임의 결과에 따라 사람들에게 체력에 영향을 주는
상대적인 척도를 줄 수 있어요 헤드 투 헤드 대결의 성적을 토대로요
나중에 아레나에서 예제를 보여드릴 텐데 그럼 활기가 생기죠
제가 보여드릴 이 모듈은 채팅 기능을 평가할 때 사용됩니다
이 모델의 지시 기능을 평가할 때요
다음 두 개는 코딩에 관한 거예요
인간 평가는 파이썬 코딩 테스트로 아주 유명하죠
164개예요
파이썬 문서 문자열에 기반한 코드 작성하기예요
이런 모델은 점점 더 효과적으로 변하고 있습니다. 여러 번이라고 발음할 수도
있겠네요.
여러 개라는 건 같은 거지만 18개의 다른 프로그래밍 언어로 번역된 거죠
다양한 영역에 걸친 프로그래밍 기술이 더 폭넓게 사용되는 거죠
잠시 언급할 게 있어요 이런 벤치마크의 한계를요 아주 중요한 점이죠
아무리 강조해도 지나치지 않아요
벤치마크는 비교에 유용합니다 각 모델이 돋보이는 부분과 사용 의도가
아닌 부분을 비교하죠
하지만 벤치마크에는 문제가 있어요 그걸 볼 때 인식해야 하죠
그 중 하나는 일관되게 적용되지 않는다는 거죠
기준점이 어디인지에 따라 달라요 특히 회사의 언론 자료라면
기준점을 어떻게 측정했는지 어떤 하드웨어를 사용했는지 그런 건 해당
기업에 달렸죠
Let's go 금 기준이 있는 것도 아니고 레일에 치수를 재는 것도 아니잖아요
그러니 모든 걸 염두에 둬야 해요
타사에 의해 게시된 경우 그 범위가 너무 좁을 수 있어요 특히 객관식 스타일
문제 같은 경우에요 아주 유사한 관점이죠
이런 벤치마크를 이용해 뉘앙스를 측정하는 건 어렵죠 객관식이나
아주 특정한 답을 다루는 문제라면요 그건 정말 어려운 일이에요
또 다른 문제는 훈련 데이터 유출인데 확신하기 어렵습니다 훈련에 사용되는
데이터에서 이런 해답을 찾을 방법이 없다는 것을요 특히 모델이 최근 데이터로 훈련될수록
이런 기준점에 관한 많은 정보가 포함될 테니까요
훈련 데이터 유출을 통제하기가 점점 더 어려워져요
다음은 아주 중요한 과잉 설정입니다 전통적인 데이터 과학에서 흔히 쓰이는
용어죠
문제는 비트가 좀 미묘하다는 거예요
벤치 마크에서 모델을 정말 정말 잘 만들도록 관리하는 지점에 도달할 수 있습니다 부분적으로 많은 걸 시도해
봤기 때문이죠 많은 hyperpaameter를 변경한 것처럼요 모델과
관련된 많은 종류의 설정들이요 모든 hyperpaameter를 변경할 때까지
계속 다시 실행해 이제 이 벤치 마크를 박살내고 있어요
우연의 일치일 수도 있어요
다양한 노브들이 있기 때문에 특정 방식으로
돌려서 벤치마크를 아주 잘 해결한 거죠
그게 뭐가 문제죠?
문제는 이 특정 기준 테스트에 대해 방금 해결했다는 거죠
다른 질문을 할 때 같은 테스트의 핵심을 전달하려고 하지만 질문이
다르거나 수학이 다른 질문일 경우 모델이 대폭 실패할 수 있어요
너무 완벽해서죠 훈련시키고 다양한 채널을 설정해서 특정 벤치마크
문제에서 잘 작동하게 했어요 하지만 샘플에서
나올 때는 잘 작동하지 않죠 벤치마크 문제에서 다른 질문으로 나갈 때는
같은 걸 테스트하도록 설계됐어요
다시 말해 기준 결과가 오도될 수 있다는 거죠
파이썬 코딩이나 수학 문제에 아주 잘 맞는 것처럼 보이게 할 수 있습니다
벤치마크에 있는 특정 질문에 대한 답변을 아주 잘 하는 것처럼 보일 수도 있어요
그게 과잉복지의 문제예요
이를 인지하고 벤치마크를 검토하는 건전한 회의론을 갖는 것이 매우
중요해요
최근에 새로운 흥미로운 관점이 제기됐는데 아직 증명되진 않았어요
아직 잘 이해되지 않았어요
아직은 추측이지만 최신 프론티어 모델인 GPT 4 클로드
3이 비트코인이라는 증거가 있어요 5개의 소네트 수준 모델은 자신이 평가받는다는 걸 어느 정도
인지하고 있습니다 다양한 기준이 되는 질문을 받을 때 그들의 답변은 그들이 전후 사정을
알고 있다는 걸 나타내죠 그들이 이런 질문을 받는 건 평가받고 있기 때문이에요
그러면 일부 답변이 왜곡될 수 있어요
수학을 얼마나 잘하는지 테스트하는 건데 그게 왜 중요한지 궁금하실 거예요
그들이 평가받는다는 걸 알든 모르든 상관없어요
평가받는다는 걸 알 수 있겠죠
수학 문제를 잘 푸는지 못 푸는지가 중요하죠
중요한 게 뭔지 보여드리죠
안전과 정렬에 관한 질문을 한다고 가정해 보죠 적대적인 상황에서 진실하게
대응하는 것에 관한 질문도요
그걸 평가하려는 거라면 모델이 평가되고 있다는 걸 인식한다면 그 질문에
대한 답변에 대한 접근 방식이 바뀔 수도 있죠
예를 들어 모델이 매우 진실하거나 정렬이 잘 맞는 것처럼 보이게 하는 거죠 실제로는 그렇지
않은데도요
따라서 이것이 진짜 문제라고 단정 짓기엔 시기상조죠
아직은 실제 문제인지 알 수 없지만 사람들이 분석하고 연구하고 있는 위험 요소예요
하지만 현재로서는 확실히 고려하고 있는 문제죠
좋아요
그게 흥미로웠길 바라요
벤치마크의 한계를 보여 주죠
이제 다음 단계로 넘어가죠