WEBVTT 00:00.650 --> 00:06.650 벤치마크를 계속 조사할 겁니다 실제로 행동을 보면 더 실감이 날 거예요 00:06.650 --> 00:11.480 그러니 참고 들으세요 아주 중요하고 유용한 배경 정보니까요 00:11.480 --> 00:18.230 더 특별한 기술을 시험할 때 사용되는 세 가지 벤치마크를 살펴볼 00:18.230 --> 00:19.130 거예요 00:19.310 --> 00:27.920 첫 번째는 모델들 간의 채팅을 평가하는 데 사용해요 특히 인 페이스오프에서요 00:27.950 --> 00:31.430 아레나 같은 곳에서요 00:31.430 --> 00:34.730 평가 기준은 Elo예요 00:34.850 --> 00:43.280 체스 선수라면 Elo 평가라는 게 있는데 Elo는 다른 스포츠의 00:43.280 --> 00:51.080 경쟁자들에게 주는 평가예요 승자마다 패자가 있는 제로 섬 게임이죠 00:51.080 --> 00:58.370 이런 게임의 결과에 따라 사람들에게 체력에 영향을 주는 00:58.370 --> 01:08.140 상대적인 척도를 줄 수 있어요 헤드 투 헤드 대결의 성적을 토대로요 01:08.140 --> 01:16.000 나중에 아레나에서 예제를 보여드릴 텐데 그럼 활기가 생기죠 01:16.090 --> 01:21.460 제가 보여드릴 이 모듈은 채팅 기능을 평가할 때 사용됩니다 01:21.460 --> 01:26.770 이 모델의 지시 기능을 평가할 때요 01:27.400 --> 01:30.130 다음 두 개는 코딩에 관한 거예요 01:30.220 --> 01:34.480 인간 평가는 파이썬 코딩 테스트로 아주 유명하죠 01:34.480 --> 01:37.180 164개예요 01:37.180 --> 01:41.050 파이썬 문서 문자열에 기반한 코드 작성하기예요 01:41.110 --> 01:48.310 이런 모델은 점점 더 효과적으로 변하고 있습니다. 여러 번이라고 발음할 수도 01:48.340 --> 01:49.720 있겠네요. 01:50.590 --> 01:57.280 여러 개라는 건 같은 거지만 18개의 다른 프로그래밍 언어로 번역된 거죠 01:57.280 --> 02:03.700 다양한 영역에 걸친 프로그래밍 기술이 더 폭넓게 사용되는 거죠 02:04.870 --> 02:12.890 잠시 언급할 게 있어요 이런 벤치마크의 한계를요 아주 중요한 점이죠 02:12.890 --> 02:16.940 아무리 강조해도 지나치지 않아요 02:17.030 --> 02:24.050 벤치마크는 비교에 유용합니다 각 모델이 돋보이는 부분과 사용 의도가 02:24.050 --> 02:26.300 아닌 부분을 비교하죠 02:26.300 --> 02:30.350 하지만 벤치마크에는 문제가 있어요 그걸 볼 때 인식해야 하죠 02:30.560 --> 02:33.710 그 중 하나는 일관되게 적용되지 않는다는 거죠 02:33.710 --> 02:38.690 기준점이 어디인지에 따라 달라요 특히 회사의 언론 자료라면 02:38.690 --> 02:44.510 기준점을 어떻게 측정했는지 어떤 하드웨어를 사용했는지 그런 건 해당 02:44.510 --> 02:46.310 기업에 달렸죠 02:46.520 --> 02:52.190 Let's go 금 기준이 있는 것도 아니고 레일에 치수를 재는 것도 아니잖아요 02:52.190 --> 02:55.400 그러니 모든 걸 염두에 둬야 해요 02:55.400 --> 03:01.820 타사에 의해 게시된 경우 그 범위가 너무 좁을 수 있어요 특히 객관식 스타일 03:01.820 --> 03:05.930 문제 같은 경우에요 아주 유사한 관점이죠 03:05.960 --> 03:12.390 이런 벤치마크를 이용해 뉘앙스를 측정하는 건 어렵죠 객관식이나 03:12.390 --> 03:18.720 아주 특정한 답을 다루는 문제라면요 그건 정말 어려운 일이에요 03:18.900 --> 03:25.290 또 다른 문제는 훈련 데이터 유출인데 확신하기 어렵습니다 훈련에 사용되는 03:25.290 --> 03:33.150 데이터에서 이런 해답을 찾을 방법이 없다는 것을요 특히 모델이 최근 데이터로 훈련될수록 03:33.150 --> 03:39.480 이런 기준점에 관한 많은 정보가 포함될 테니까요 03:39.480 --> 03:44.490 훈련 데이터 유출을 통제하기가 점점 더 어려워져요 03:44.970 --> 03:50.880 다음은 아주 중요한 과잉 설정입니다 전통적인 데이터 과학에서 흔히 쓰이는 03:50.880 --> 03:51.480 용어죠 03:51.480 --> 03:54.360 문제는 비트가 좀 미묘하다는 거예요 03:54.360 --> 04:01.050 벤치 마크에서 모델을 정말 정말 잘 만들도록 관리하는 지점에 도달할 수 있습니다 부분적으로 많은 걸 시도해 04:01.050 --> 04:05.850 봤기 때문이죠 많은 hyperpaameter를 변경한 것처럼요 모델과 04:05.850 --> 04:10.890 관련된 많은 종류의 설정들이요 모든 hyperpaameter를 변경할 때까지 04:10.890 --> 04:14.910 계속 다시 실행해 이제 이 벤치 마크를 박살내고 있어요 04:14.930 --> 04:17.720 우연의 일치일 수도 있어요 04:17.720 --> 04:22.610 다양한 노브들이 있기 때문에 특정 방식으로 04:22.610 --> 04:27.980 돌려서 벤치마크를 아주 잘 해결한 거죠 04:27.980 --> 04:29.480 그게 뭐가 문제죠? 04:29.480 --> 04:33.470 문제는 이 특정 기준 테스트에 대해 방금 해결했다는 거죠 04:33.470 --> 04:39.350 다른 질문을 할 때 같은 테스트의 핵심을 전달하려고 하지만 질문이 04:39.350 --> 04:44.720 다르거나 수학이 다른 질문일 경우 모델이 대폭 실패할 수 있어요 04:44.720 --> 04:50.300 너무 완벽해서죠 훈련시키고 다양한 채널을 설정해서 특정 벤치마크 04:50.330 --> 04:54.530 문제에서 잘 작동하게 했어요 하지만 샘플에서 04:54.530 --> 05:00.920 나올 때는 잘 작동하지 않죠 벤치마크 문제에서 다른 질문으로 나갈 때는 05:00.920 --> 05:05.300 같은 걸 테스트하도록 설계됐어요 05:05.300 --> 05:08.990 다시 말해 기준 결과가 오도될 수 있다는 거죠 05:09.020 --> 05:13.670 파이썬 코딩이나 수학 문제에 아주 잘 맞는 것처럼 보이게 할 수 있습니다 05:13.670 --> 05:19.420 벤치마크에 있는 특정 질문에 대한 답변을 아주 잘 하는 것처럼 보일 수도 있어요 05:19.420 --> 05:21.250 그게 과잉복지의 문제예요 05:21.250 --> 05:29.650 이를 인지하고 벤치마크를 검토하는 건전한 회의론을 갖는 것이 매우 05:30.370 --> 05:31.690 중요해요 05:32.080 --> 05:38.800 최근에 새로운 흥미로운 관점이 제기됐는데 아직 증명되진 않았어요 05:38.800 --> 05:40.480 아직 잘 이해되지 않았어요 05:40.480 --> 05:47.740 아직은 추측이지만 최신 프론티어 모델인 GPT 4 클로드 05:47.740 --> 05:57.880 3이 비트코인이라는 증거가 있어요 5개의 소네트 수준 모델은 자신이 평가받는다는 걸 어느 정도 05:57.880 --> 06:05.260 인지하고 있습니다 다양한 기준이 되는 질문을 받을 때 그들의 답변은 그들이 전후 사정을 06:05.260 --> 06:12.880 알고 있다는 걸 나타내죠 그들이 이런 질문을 받는 건 평가받고 있기 때문이에요 06:13.210 --> 06:17.800 그러면 일부 답변이 왜곡될 수 있어요 06:17.830 --> 06:22.600 수학을 얼마나 잘하는지 테스트하는 건데 그게 왜 중요한지 궁금하실 거예요 06:22.630 --> 06:25.210 그들이 평가받는다는 걸 알든 모르든 상관없어요 06:25.210 --> 06:27.130 평가받는다는 걸 알 수 있겠죠 06:27.130 --> 06:31.000 수학 문제를 잘 푸는지 못 푸는지가 중요하죠 06:31.060 --> 06:33.430 중요한 게 뭔지 보여드리죠 06:33.430 --> 06:40.240 안전과 정렬에 관한 질문을 한다고 가정해 보죠 적대적인 상황에서 진실하게 06:40.240 --> 06:44.050 대응하는 것에 관한 질문도요 06:44.050 --> 06:50.230 그걸 평가하려는 거라면 모델이 평가되고 있다는 걸 인식한다면 그 질문에 06:50.230 --> 06:54.220 대한 답변에 대한 접근 방식이 바뀔 수도 있죠 06:54.220 --> 07:01.150 예를 들어 모델이 매우 진실하거나 정렬이 잘 맞는 것처럼 보이게 하는 거죠 실제로는 그렇지 07:01.180 --> 07:02.410 않은데도요 07:02.410 --> 07:07.510 따라서 이것이 진짜 문제라고 단정 짓기엔 시기상조죠 07:07.510 --> 07:14.320 아직은 실제 문제인지 알 수 없지만 사람들이 분석하고 연구하고 있는 위험 요소예요 07:14.320 --> 07:19.090 하지만 현재로서는 확실히 고려하고 있는 문제죠 07:19.360 --> 07:19.900 좋아요 07:19.930 --> 07:21.340 그게 흥미로웠길 바라요 07:21.340 --> 07:24.070 벤치마크의 한계를 보여 주죠 07:24.070 --> 07:26.350 이제 다음 단계로 넘어가죠