You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

271 lines
8.4 KiB

WEBVTT
00:00.650 --> 00:06.650
벤치마크를 계속 조사할 겁니다 실제로 행동을 보면 더 실감이 날 거예요
00:06.650 --> 00:11.480
그러니 참고 들으세요 아주 중요하고 유용한 배경 정보니까요
00:11.480 --> 00:18.230
더 특별한 기술을 시험할 때 사용되는 세 가지 벤치마크를 살펴볼
00:18.230 --> 00:19.130
거예요
00:19.310 --> 00:27.920
첫 번째는 모델들 간의 채팅을 평가하는 데 사용해요 특히 인 페이스오프에서요
00:27.950 --> 00:31.430
아레나 같은 곳에서요
00:31.430 --> 00:34.730
평가 기준은 Elo예요
00:34.850 --> 00:43.280
체스 선수라면 Elo 평가라는 게 있는데 Elo는 다른 스포츠의
00:43.280 --> 00:51.080
경쟁자들에게 주는 평가예요 승자마다 패자가 있는 제로 섬 게임이죠
00:51.080 --> 00:58.370
이런 게임의 결과에 따라 사람들에게 체력에 영향을 주는
00:58.370 --> 01:08.140
상대적인 척도를 줄 수 있어요 헤드 투 헤드 대결의 성적을 토대로요
01:08.140 --> 01:16.000
나중에 아레나에서 예제를 보여드릴 텐데 그럼 활기가 생기죠
01:16.090 --> 01:21.460
제가 보여드릴 이 모듈은 채팅 기능을 평가할 때 사용됩니다
01:21.460 --> 01:26.770
이 모델의 지시 기능을 평가할 때요
01:27.400 --> 01:30.130
다음 두 개는 코딩에 관한 거예요
01:30.220 --> 01:34.480
인간 평가는 파이썬 코딩 테스트로 아주 유명하죠
01:34.480 --> 01:37.180
164개예요
01:37.180 --> 01:41.050
파이썬 문서 문자열에 기반한 코드 작성하기예요
01:41.110 --> 01:48.310
이런 모델은 점점 더 효과적으로 변하고 있습니다. 여러 번이라고 발음할 수도
01:48.340 --> 01:49.720
있겠네요.
01:50.590 --> 01:57.280
여러 개라는 건 같은 거지만 18개의 다른 프로그래밍 언어로 번역된 거죠
01:57.280 --> 02:03.700
다양한 영역에 걸친 프로그래밍 기술이 더 폭넓게 사용되는 거죠
02:04.870 --> 02:12.890
잠시 언급할 게 있어요 이런 벤치마크의 한계를요 아주 중요한 점이죠
02:12.890 --> 02:16.940
아무리 강조해도 지나치지 않아요
02:17.030 --> 02:24.050
벤치마크는 비교에 유용합니다 각 모델이 돋보이는 부분과 사용 의도가
02:24.050 --> 02:26.300
아닌 부분을 비교하죠
02:26.300 --> 02:30.350
하지만 벤치마크에는 문제가 있어요 그걸 볼 때 인식해야 하죠
02:30.560 --> 02:33.710
그 중 하나는 일관되게 적용되지 않는다는 거죠
02:33.710 --> 02:38.690
기준점이 어디인지에 따라 달라요 특히 회사의 언론 자료라면
02:38.690 --> 02:44.510
기준점을 어떻게 측정했는지 어떤 하드웨어를 사용했는지 그런 건 해당
02:44.510 --> 02:46.310
기업에 달렸죠
02:46.520 --> 02:52.190
Let's go 금 기준이 있는 것도 아니고 레일에 치수를 재는 것도 아니잖아요
02:52.190 --> 02:55.400
그러니 모든 걸 염두에 둬야 해요
02:55.400 --> 03:01.820
타사에 의해 게시된 경우 그 범위가 너무 좁을 수 있어요 특히 객관식 스타일
03:01.820 --> 03:05.930
문제 같은 경우에요 아주 유사한 관점이죠
03:05.960 --> 03:12.390
이런 벤치마크를 이용해 뉘앙스를 측정하는 건 어렵죠 객관식이나
03:12.390 --> 03:18.720
아주 특정한 답을 다루는 문제라면요 그건 정말 어려운 일이에요
03:18.900 --> 03:25.290
또 다른 문제는 훈련 데이터 유출인데 확신하기 어렵습니다 훈련에 사용되는
03:25.290 --> 03:33.150
데이터에서 이런 해답을 찾을 방법이 없다는 것을요 특히 모델이 최근 데이터로 훈련될수록
03:33.150 --> 03:39.480
이런 기준점에 관한 많은 정보가 포함될 테니까요
03:39.480 --> 03:44.490
훈련 데이터 유출을 통제하기가 점점 더 어려워져요
03:44.970 --> 03:50.880
다음은 아주 중요한 과잉 설정입니다 전통적인 데이터 과학에서 흔히 쓰이는
03:50.880 --> 03:51.480
용어죠
03:51.480 --> 03:54.360
문제는 비트가 좀 미묘하다는 거예요
03:54.360 --> 04:01.050
벤치 마크에서 모델을 정말 정말 잘 만들도록 관리하는 지점에 도달할 수 있습니다 부분적으로 많은 걸 시도해
04:01.050 --> 04:05.850
봤기 때문이죠 많은 hyperpaameter를 변경한 것처럼요 모델과
04:05.850 --> 04:10.890
관련된 많은 종류의 설정들이요 모든 hyperpaameter를 변경할 때까지
04:10.890 --> 04:14.910
계속 다시 실행해 이제 이 벤치 마크를 박살내고 있어요
04:14.930 --> 04:17.720
우연의 일치일 수도 있어요
04:17.720 --> 04:22.610
다양한 노브들이 있기 때문에 특정 방식으로
04:22.610 --> 04:27.980
돌려서 벤치마크를 아주 잘 해결한 거죠
04:27.980 --> 04:29.480
그게 뭐가 문제죠?
04:29.480 --> 04:33.470
문제는 이 특정 기준 테스트에 대해 방금 해결했다는 거죠
04:33.470 --> 04:39.350
다른 질문을 할 때 같은 테스트의 핵심을 전달하려고 하지만 질문이
04:39.350 --> 04:44.720
다르거나 수학이 다른 질문일 경우 모델이 대폭 실패할 수 있어요
04:44.720 --> 04:50.300
너무 완벽해서죠 훈련시키고 다양한 채널을 설정해서 특정 벤치마크
04:50.330 --> 04:54.530
문제에서 잘 작동하게 했어요 하지만 샘플에서
04:54.530 --> 05:00.920
나올 때는 잘 작동하지 않죠 벤치마크 문제에서 다른 질문으로 나갈 때는
05:00.920 --> 05:05.300
같은 걸 테스트하도록 설계됐어요
05:05.300 --> 05:08.990
다시 말해 기준 결과가 오도될 수 있다는 거죠
05:09.020 --> 05:13.670
파이썬 코딩이나 수학 문제에 아주 잘 맞는 것처럼 보이게 할 수 있습니다
05:13.670 --> 05:19.420
벤치마크에 있는 특정 질문에 대한 답변을 아주 잘 하는 것처럼 보일 수도 있어요
05:19.420 --> 05:21.250
그게 과잉복지의 문제예요
05:21.250 --> 05:29.650
이를 인지하고 벤치마크를 검토하는 건전한 회의론을 갖는 것이 매우
05:30.370 --> 05:31.690
중요해요
05:32.080 --> 05:38.800
최근에 새로운 흥미로운 관점이 제기됐는데 아직 증명되진 않았어요
05:38.800 --> 05:40.480
아직 잘 이해되지 않았어요
05:40.480 --> 05:47.740
아직은 추측이지만 최신 프론티어 모델인 GPT 4 클로드
05:47.740 --> 05:57.880
3이 비트코인이라는 증거가 있어요 5개의 소네트 수준 모델은 자신이 평가받는다는 걸 어느 정도
05:57.880 --> 06:05.260
인지하고 있습니다 다양한 기준이 되는 질문을 받을 때 그들의 답변은 그들이 전후 사정을
06:05.260 --> 06:12.880
알고 있다는 걸 나타내죠 그들이 이런 질문을 받는 건 평가받고 있기 때문이에요
06:13.210 --> 06:17.800
그러면 일부 답변이 왜곡될 수 있어요
06:17.830 --> 06:22.600
수학을 얼마나 잘하는지 테스트하는 건데 그게 왜 중요한지 궁금하실 거예요
06:22.630 --> 06:25.210
그들이 평가받는다는 걸 알든 모르든 상관없어요
06:25.210 --> 06:27.130
평가받는다는 걸 알 수 있겠죠
06:27.130 --> 06:31.000
수학 문제를 잘 푸는지 못 푸는지가 중요하죠
06:31.060 --> 06:33.430
중요한 게 뭔지 보여드리죠
06:33.430 --> 06:40.240
안전과 정렬에 관한 질문을 한다고 가정해 보죠 적대적인 상황에서 진실하게
06:40.240 --> 06:44.050
대응하는 것에 관한 질문도요
06:44.050 --> 06:50.230
그걸 평가하려는 거라면 모델이 평가되고 있다는 걸 인식한다면 그 질문에
06:50.230 --> 06:54.220
대한 답변에 대한 접근 방식이 바뀔 수도 있죠
06:54.220 --> 07:01.150
예를 들어 모델이 매우 진실하거나 정렬이 잘 맞는 것처럼 보이게 하는 거죠 실제로는 그렇지
07:01.180 --> 07:02.410
않은데도요
07:02.410 --> 07:07.510
따라서 이것이 진짜 문제라고 단정 짓기엔 시기상조죠
07:07.510 --> 07:14.320
아직은 실제 문제인지 알 수 없지만 사람들이 분석하고 연구하고 있는 위험 요소예요
07:14.320 --> 07:19.090
하지만 현재로서는 확실히 고려하고 있는 문제죠
07:19.360 --> 07:19.900
좋아요
07:19.930 --> 07:21.340
그게 흥미로웠길 바라요
07:21.340 --> 07:24.070
벤치마크의 한계를 보여 주죠
07:24.070 --> 07:26.350
이제 다음 단계로 넘어가죠