You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

433 lines
13 KiB

WEBVTT
00:00.740 --> 00:08.690
사후 조사를 하기 전에 순위표부터 간단히 살펴보죠
00:08.690 --> 00:15.710
기억하실 거예요 평균에 기반해 지속 실행을 했을 때 오류가 있었죠 평균 예측
00:15.710 --> 00:18.110
차이가 146였어요
00:18.620 --> 00:22.280
전통적인 머신 러닝 때는 139까지 올라갔어요
00:22.280 --> 00:24.800
랜덤 숲은 97이었어요
00:24.830 --> 00:33.860
참가자 중 특히 한 명은 이름을 밝힐 수 없어요 127달러였죠 GPT 4라고 불리는 미니였는데 처음
00:33.860 --> 00:37.400
실행했을 때 80달러였던 것 같아요
00:37.430 --> 00:43.310
GPT 4는 76이었고 방금 나온 건 91이었어요
00:43.310 --> 00:50.300
아까도 말했지만 이전 주행에서 개선된 점이 있지만 이유가
00:50.300 --> 00:52.580
뭐든 어쩔 수 없죠
00:52.580 --> 00:54.350
결과를 조작할 순 없어요
00:54.350 --> 01:01.130
안타깝게도 우리가 가장 집중하는 사업 지표가 약간 부족합니다 세밀
01:01.160 --> 01:05.670
조정이 잘못된 방향으로 이뤄진 것 같아요
01:05.670 --> 01:07.350
그 얘길 해보죠
01:08.280 --> 01:13.830
정신이 번쩍 드는 순간이었어요 여정에서 중요한 걸 배웠죠
01:14.130 --> 01:17.610
시간이 좀 걸리네요
01:17.640 --> 01:23.670
잠시 생각을 해봐야겠어요 개척지 모델을 세밀하게 조정하는 목표가
01:23.700 --> 01:24.600
뭘까요?
01:24.660 --> 01:32.880
미세 튜닝을 자주 사용하는데 매개 변수가 적은 오픈 소스 모델을 선택해 프런티어
01:32.880 --> 01:39.390
모델에 대적할 수 있도록 데이터 세트에서 훈련할 거예요
01:39.420 --> 01:44.760
하지만 수조 개의 매개 변수가 이미 있고 방대한 데이터 세트를 위해 훈련된
01:44.760 --> 01:48.450
개척자 모델이 있다면 목표가 무엇일까요?
01:48.510 --> 01:53.460
개척 시대 모델을 조정한 다섯 가지 주요 목적이 있어요
01:53.460 --> 01:57.390
오픈AI의 웹사이트에서 가져온 것들이에요.
01:57.420 --> 02:05.460
오픈라이에서는 GPT 같은 기능을 세밀하게 조정하는 훈련을 실시하죠
02:05.730 --> 02:12.960
반응의 스타일이나 톤을 만들고 싶을 때 반응에 빈정거림을
02:12.960 --> 02:16.860
추가하는 예가 되죠
02:16.860 --> 02:23.790
특정 형식의 형식, 구성체를 신뢰할 수 있게 제작하고 싶다면 특정한 스타일,
02:23.790 --> 02:27.120
방법, 구조에 있는 형식이 필요해요
02:27.540 --> 02:34.950
세 번째는 수정입니다 어렵거나 어려운 프롬프트를 따르지 않는 모델이죠
02:34.950 --> 02:40.410
아주 복잡한 걸 요구하는데 Get it은 농담을 이해하지 못해요
02:40.800 --> 02:47.130
첨단 케이스 처리란 때때로 노출되는 결함이 있는 경우죠 그걸 수정하고
02:47.130 --> 02:52.020
새로운 걸 실행해야 하는 모델에서요 Get up
02:52.020 --> 02:57.930
그게 우리가 하려던 일이었어요 새로운 작업이었지만 바로 설명하긴 어려웠죠
02:57.930 --> 03:05.110
오픈AI가 사이트에서 강조하는 게 바로 그겁니다 프롬프트만으로 고칠 수
03:05.110 --> 03:12.340
없는 문제를 해결하려고 노력하죠 프롬프트에서 최대한 많은 작업을 하도록 강력하게
03:12.340 --> 03:18.310
권장합니다 GPT 4, 미니 같은 것들은 대부분 프롬프트만으로
03:18.310 --> 03:23.560
아주 높은 수준의 실행을 얻을 수 있거든요
03:23.920 --> 03:28.960
개척지 모델로서는 그게 핵심이에요
03:29.170 --> 03:37.120
이미 당면한 질문과 프롬프트에서 결과물의 스타일을 명시할 수 있어요
03:37.120 --> 03:43.900
이전 결과를 떠올려 보면 GPT 4 미니는 적절한 구조라는 측면에서 정확하게
03:43.900 --> 03:45.280
반응했죠
03:45.280 --> 03:49.990
모든 사건에서 숫자를 추려내지 못한 적이 없어요
03:49.990 --> 03:54.850
숫자는 항상 오차 범위 내에 제품에 근접해 있었어요
03:54.850 --> 04:01.330
추측이었죠, 그래서 챌린지나 출력 형식을 이해하는 데는 문제가 없었어요
04:01.330 --> 04:09.210
GPT4와 GPT4 미니는 엄청난 규모의 훈련 데이터를 가지고 있습니다
04:09.210 --> 04:17.640
세계 지식이 담겨 있죠 500개의 훈련 예시를 더 제공한다고 세계 지식이
04:17.670 --> 04:21.270
달라질 것 같진 않아요
04:21.960 --> 04:29.460
그리고 사소한 문제가 있어요 전에 말했던 심각한 건망증에 대한
04:29.460 --> 04:35.940
건데요 망각이라는 거예요 때때로 미세한 조율을 더하면
04:35.940 --> 04:41.730
훈련 전에 얻은 깊은 지식이 줄어들기도 하죠
04:41.730 --> 04:45.060
세세한 부분까지 신경 쓰는 게 늘 좋은 건 아니에요
04:45.300 --> 04:50.910
엄청난 망각이 원인이었는지 약간 하락했는지도 모르고 시스템에
04:50.910 --> 04:56.940
소음이 있어서 불운이 따랐는지도 몰라요 시험 세트에서 잘 안 풀린
04:56.940 --> 04:58.500
거죠
04:58.800 --> 05:01.860
하지만 나아진 건 없는 것 같았어요
05:01.860 --> 05:02.970
그게 핵심이에요
05:02.970 --> 05:09.420
제 관점에서 그리고 제가 이해하는 방식과 실험이 보여주는 방식으로 볼 때 필요한
05:09.420 --> 05:15.030
걸 확실히 전달하는 훌륭한 일을 이미 하고 있었기 때문이죠
05:15.030 --> 05:22.590
GPT 4는 이미 많은 사람이 이 점을 잘 이해하고 있었고 그 결과의 수준도 이미 매우 뛰어났죠
05:23.580 --> 05:29.610
하지만 당신이 해야 할 일은 계속 작업하는 거예요
05:29.610 --> 05:35.940
하이퍼파라미터 최적화 혹은 시행착오를 통해 개선하려고 했어요 비트
05:36.120 --> 05:37.350
많이는 아니고요
05:37.350 --> 05:43.320
조금이라도 나아지지 않는다면 정말 충격일 거예요 적어도 이전 비트보다 조금이라도
05:43.320 --> 05:46.650
나아진다면요 get it get it
05:46.650 --> 05:48.270
그게 과제군요
05:48.300 --> 05:54.540
더 많은 것을요 오픈AI는 방대한 데이터 집합을 권장하지
05:54.540 --> 06:02.130
않지만 특히 무료일 때는요 저는 더 큰 데이터 집합을 시도해보고 싶어요
06:02.130 --> 06:04.650
훈련 데이터 집합을 1,000이나 2,000으로 해봐요
06:04.680 --> 06:06.930
다른 시대를 살아볼 수도 있고요
06:06.930 --> 06:10.710
해 봤는데 별 차이 없더라고요 다른 걸 시도해 보려고요
06:10.710 --> 06:13.560
다른 hyperperameter도 있어요
06:13.590 --> 06:15.300
오픈아이 웹사이트에서 찾아보세요
06:15.300 --> 06:18.660
원하면 몇 가지 바꿔볼 수도 있어요
06:18.660 --> 06:21.900
하이퍼파라미터 사전에 넣어 보세요
06:22.260 --> 06:28.410
다양한 훈련 데이터를 입력해 볼 수도 있고 프롬프트를 플레이해 볼 수도
06:28.440 --> 06:29.490
있어요
06:29.520 --> 06:37.140
오픈아이가 웹 사이트에서 강조한 점은 입력을 개선함으로써 가장 많은 주행 거리를 얻을 수
06:37.140 --> 06:38.190
있다는 거죠
06:38.310 --> 06:43.890
데이터 큐레이팅과 프롬프트 수정에서 시간을 좀 들인 부분이죠 하지만 여기서
06:43.890 --> 06:46.440
할 수 있는 건 훨씬 더 많아요
06:46.440 --> 06:48.780
그것도 한번 해 보세요
06:48.780 --> 06:55.230
하이퍼파라미터 최적화를 해야 합니다 프롬프트와 관련된 것을 변경해서 더 잘 할
06:55.260 --> 06:56.820
수 있도록 하세요
06:56.820 --> 06:58.200
다시 한 번 볼까요?
06:58.230 --> 07:01.470
76점 이상을 받아야 해요
07:01.590 --> 07:08.020
그리고 솔직히 말씀드리면 저는 이전 경기에서 76점보다 높은 점수를 받은
07:08.020 --> 07:09.310
적이 있어요
07:09.460 --> 07:16.360
그래서 저는 많은 변화 없이 76편보다 나은 걸 만들 수 있다는 걸 알아요
07:16.390 --> 07:18.520
많이 나아지진 않았지만 나아졌어요
07:18.730 --> 07:21.010
그게 바로 도전 과제죠
07:21.040 --> 07:24.790
그렇게 해요, 어떻게 돼가는지 알려줘요 Get it
07:24.790 --> 07:30.610
최적화된 프롬프트나 하이퍼 매개 변수가 있다면 코드를 푸시해 PR을 하세요
07:30.610 --> 07:36.040
제가 살펴보고 공유할 수 있도록요 어떻게 되는지 보도록 하죠
07:36.370 --> 07:43.480
76점 이상을 받으면 그게 바로 도전 과제의 성적이 되는 거죠
07:45.040 --> 07:46.240
좋아요
07:46.240 --> 07:49.870
이렇게 6주 차 결론이 났네요
07:49.870 --> 07:58.690
당신은 이제 놀랍게도 75%에 달하는 길을 달렸습니다 능숙한 달 착륙 엔지니어로서 인공지능과
07:58.690 --> 08:01.900
달 착륙 공학에 통달했죠
08:02.110 --> 08:04.570
여러분도 저처럼 기뻐해 주시면 좋겠네요
08:04.600 --> 08:10.130
정말 멋진 발전이에요 지금까지 배운 모든 걸 자랑스러워해도 돼요
08:10.190 --> 08:15.920
프런티어 모델의 도움을 받아 텍스트와 코드를 생성하고 얼굴 껴안기 트랜스포머,
08:15.920 --> 08:20.570
라이브러리 랑체 같은 오픈 소스 모델을 사용했죠
08:20.720 --> 08:26.960
최근에는 큐레이터 문제 해결 5단계 전략을 다뤘는데요
08:26.960 --> 08:28.250
큐레이팅 데이터를 많이 만들었어요
08:28.250 --> 08:32.420
하지만 달 착륙선 엔지니어의 삶에는 데이터 수집이 많이 포함되죠
08:32.420 --> 08:37.490
Get it은 요령이에요 가장 중요한 부분이죠
08:37.490 --> 08:42.710
제가 했던 모든 실험에서 데이터 구조를 바꾸는 건 바늘을 움직이는
08:42.710 --> 08:44.810
가장 큰 일이었어요
08:44.900 --> 08:48.950
벌써 많은 실험이 post에 올라가 있어요.
08:49.040 --> 08:51.560
하지만 더 잘할 수 있잖아요
08:52.070 --> 08:55.100
전통적인 머신 러닝을 사용했죠
08:55.160 --> 08:59.660
Get up 기본값이 얼마인지 확인하려고요 우리가 쉽게 이겼던 점수죠
08:59.810 --> 09:04.460
개척 시대 해결책을 내놓았고 이젠 미세한 개척 시대 모델이 됐죠
09:04.460 --> 09:06.660
그래서 결과가 좀 실망스러웠죠
09:06.690 --> 09:07.710
현실적이어야 해요
09:07.890 --> 09:11.520
그럼에도 불구하고 여러분의 프로젝트에 사용할 수 있는 거죠
09:11.520 --> 09:17.760
스타일을 바꾸고 싶다거나 어려운 문제가 발생했을
09:17.760 --> 09:20.730
때 미세 조정이 답이죠
09:20.730 --> 09:22.560
그래도 이제 좋은 레시피가 생겼잖아요
09:22.590 --> 09:25.980
어떻게 하는지 알고 연승하는 것도 봤죠
09:25.980 --> 09:28.980
상태를 확인하고 무게와 편향성을 확인했죠
09:28.980 --> 09:31.290
다 알고 계시잖아요
09:32.490 --> 09:42.450
다음 주엔 새로운 관점으로 여행의 새로운 부분을 시작합니다 오픈 소스
09:42.450 --> 09:44.160
모델로요
09:44.160 --> 09:51.090
오픈 소스 모델을 미세 조정하는 건 개척지 모델을 미세 조정하는 것과 아주 다른
09:51.090 --> 09:52.290
제의예요
09:52.290 --> 09:59.970
우리가 하려는 건 우리가 다루는 큰 모델보다 훨씬 작은 모델이에요
09:59.970 --> 10:02.040
여전히 수십억 개의 매개 변수가 있을 거예요
10:02.040 --> 10:09.300
일반적으로 보면 여전히 큰 모델이지만 GPT4와 GPT4 미니에 있는 수조
10:09.300 --> 10:13.290
개의 매개 변수와 비교할 수는 없어요
10:13.320 --> 10:20.460
오픈 소스 모델을 세밀히 조정하고 로라라는 걸 사용할 거예요 들어본 적 있거나 있을
10:20.460 --> 10:24.480
거예요 제가 몇 번 언급했거든요 하지만 로라의
10:24.480 --> 10:30.810
예시를 본 적도 있을 거예요 로라의 사촌인 로라도 들어봤을 거예요 양자화된
10:30.840 --> 10:32.820
버전의 로라죠
10:32.850 --> 10:37.770
둘 다 연습할 거예요 끝날 때쯤엔 둘 다 알게 될 거예요
10:37.980 --> 10:44.640
다음 세션에서는 기본 모델을 선택할 겁니다 이미 알고 계시겠지만요
10:44.640 --> 10:47.310
하지만 진짜 선택해야 해요
10:47.490 --> 10:53.070
GPT 4와 경쟁할 수 있는 모델이 될 거예요
10:53.340 --> 10:56.280
현재 순위표의 우승자는요?
10:56.280 --> 10:59.220
다음 주 과제는 그거예요
10:59.250 --> 11:03.480
큰 도전이 되겠지만 빨리 시작하고 싶어요
11:03.480 --> 11:05.940
당신도 기다려주지 않으면 좋겠네요
11:05.940 --> 11:07.140
그때 봐요