WEBVTT 00:00.080 --> 00:06.050 다시 콜랍입니다 밤새 틀어 놨는데 여러분도 그랬으면 좋겠네요 00:06.050 --> 00:10.160 나처럼 당신도 열성적으로 매달렸잖아요 00:10.520 --> 00:19.430 콜랍에 있는 이 부분이 흘러가는 걸 보여줍니다 돌아가는 게 보이죠? 00:19.460 --> 00:24.080 지금까지는 네 개의 개혁을 거치며 절반 이상이 지났죠 00:24.080 --> 00:25.820 네 개의 개혁은 필요 없어요 00:25.850 --> 00:28.100 물론 한 개혁만 성공하면 돼요 00:28.130 --> 00:34.310 전 이런 걸 정말 좋아해요 00:34.310 --> 00:37.430 시간이 가고 있어요 00:37.460 --> 00:41.750 멋진 무게와 바이어스로 가서 어떻게 보이는지 보죠 00:41.750 --> 00:43.340 우리가 달려요 00:43.370 --> 00:45.080 무게와 편향성을 기억하죠 00:45.080 --> 00:49.280 상단의 탐색은 여러분이 갖고 있는 다양한 프로젝트를 볼 수 있게 해줘요 00:49.310 --> 00:52.760 지금 보고 있는 건 문제의 프라이커 프로젝트예요 00:52.790 --> 00:56.390 GPT를 미세 조정하기 위한 Pricer GPT 프로젝트도 있는데요 00:56.960 --> 01:02.720 여기 다양한 실행이 있어요 코드 내 실행에 이름을 붙였죠 실행이 시작된 날짜와 시간의 01:02.720 --> 01:03.440 이름을요 01:03.470 --> 01:04.460 그럴 필요 없어요 01:04.460 --> 01:06.350 마음대로 불러도 돼요 01:06.530 --> 01:13.050 달리기 같은 걸 할 때 기억이 잘 나거든요 01:13.050 --> 01:14.880 꽤 유용한 방법이었어요 01:15.030 --> 01:18.420 하지만 여러분이 작업하는 런을 설명하기 위해 이름을 붙일 수도 있어요 01:18.900 --> 01:21.630 오른쪽 클릭으로 이름을 다시 지을 수도 있어요 01:22.260 --> 01:26.070 현재는 이 블루 런이 있어요 01:26.070 --> 01:27.960 이게 우리가 해온 거예요 01:27.960 --> 01:33.390 훈련 손실을 확대해보면 이 도표가 정말 중요한데 여기서 보이는 게 교차 엔트로피 01:33.390 --> 01:35.520 손실이란 걸 아시겠죠 01:35.760 --> 01:41.280 여길 보시면 확실히 첫 번째 시대예요 01:41.280 --> 01:46.530 비트가 약간 내려갔는데 데이터를 두 번째로 볼 때 비트가 과잉 설정되기 01:46.530 --> 01:51.720 때문입니다 세 번째 이포크가 시작되면 다시 한 번 감소하죠 01:51.720 --> 01:56.220 제가 하지 않는 것은 최선의 관행으로 유효성 검사 데이터 집합을 01:56.220 --> 01:59.700 하는 것입니다 유효성 검사 손실을 볼 수 있죠 01:59.700 --> 02:05.820 보시면 아시겠지만 이 부분만 조금 줄어들고 머지않아 조금씩 늘어날 02:05.820 --> 02:09.240 거예요 비트가 과하게 들어가니까요 02:09.270 --> 02:13.960 추론 모드의 모델을 실행하면 알아낼 수 있지만 검증 결과를 보는 02:13.960 --> 02:14.980 게 더 낫겠죠 02:14.980 --> 02:17.320 그게 당신이 하는 일이면 좋겠네요 02:17.770 --> 02:20.230 그 차트 좀 보고 싶네요 02:21.040 --> 02:28.330 이 위에 레이어를 둘 수 있어요 완료까지 실행했을 때 실행했던 02:28.330 --> 02:29.500 거죠 02:29.860 --> 02:30.940 시작할게요 02:30.940 --> 02:34.030 이 두 경기를 함께 확대해보죠 02:34.030 --> 02:38.500 보면 아시겠지만 두 번의 시도는 아주 비슷했어요 02:38.710 --> 02:45.160 물론 하이퍼파라미터도 같았고 무작위로 시드를 설정했어요 02:45.160 --> 02:49.600 그리 놀랍진 않지만 모든 복잡한 상황에도 불구하고 02:49.600 --> 02:56.170 get run에서 같은 숫자가 나온다는 걸 보여주죠 02:56.380 --> 02:58.660 그래서 좀 위안이 돼요 02:58.840 --> 03:01.930 보여드릴 건 그게 다인 것 같네요 03:01.960 --> 03:08.290 학습률 측면에서 보면 예전엔 의심을 안 했는데 지금은 파란 03:08.290 --> 03:14.560 선을 보면 잠깐이지만 예전에 보던 게 반짝거려요 03:14.590 --> 03:21.200 보시면 알겠지만 마지막으로 찍은 건 이 정도 높이에서 찍었어요 03:21.230 --> 03:26.480 매끄러운 곡선이 보이는지 회의적이었을 수도 있어요 03:26.480 --> 03:31.190 이제 아주 멋지게 무너지는 게 보이죠 03:31.190 --> 03:37.550 코사인 학습률 스케줄러는 알아두면 좋은 방법입니다 기간에 학습률을 다양하게 할 03:37.550 --> 03:39.290 수 있는 좋은 방법이죠 03:40.070 --> 03:40.910 네 03:40.910 --> 03:44.060 마지막으로 얼굴 껴안기 버튼을 눌러요 03:44.090 --> 03:51.920 이 모델을 보시면 이 이름의 끝이 11초 후에 타임스탬프로 끝나는 걸 보실 수 03:51.920 --> 03:52.730 있어요 03:52.730 --> 03:57.080 허브에서 페이스 포옹으로 가면 다양한 모델이 있어요 03:57.350 --> 04:03.320 그리고 이 화면은 11초 안에 끝나는데, 물론 지금 실행중인 화면이죠 04:03.320 --> 04:05.690 2시간 전에 업데이트됐다고도 뜨네요 04:05.690 --> 04:07.130 제대로 온 거예요 04:07.160 --> 04:13.160 어떤 사람들은 단일 압류만 갖기도 합니다 모든 실행에 대해 글로 작성하는 거죠 그게 04:13.160 --> 04:15.500 완벽하게 좋은 방법이에요 04:15.590 --> 04:19.970 전 이렇게 하는 게 좋아요 각각의 코스를 완전히 분리하는 거죠 04:20.060 --> 04:26.100 이 압류로 가면 지금 보고 있는 건 파일과 버전을 클릭하면 이것과 관련된 04:26.100 --> 04:27.360 파일들이죠 04:27.360 --> 04:29.670 안전한 텐서를 사용하세요 04:29.670 --> 04:30.840 그게 사업이죠 04:30.840 --> 04:32.070 거기서 모든 게 시작되죠 04:32.070 --> 04:39.030 109MB 정도의 파라미터가 로라 어댑터의 파라미터예요 04:39.270 --> 04:43.620 이쪽에는 역사 9가 커밋하는 걸 보실 수 있어요 04:43.650 --> 04:51.450 클릭을 하면, 설정에서 매개 변수에서 요청했던 것을 볼 수 있습니다 포옹하는 얼굴이 허브에 04:51.480 --> 04:58.230 저장되어 있고 업로드되어 있습니다 5,000 걸음마다 모델의 무게를 다르게 04:58.260 --> 05:00.840 수정하고 있네요 05:01.260 --> 05:08.670 그 액세스를 사용할 수 있습니다 과거로 돌아가 커밋에 대한 추론을 05:08.700 --> 05:11.130 하고 싶다면요 05:11.130 --> 05:14.400 왜 따로 압류하는지 이해하셨으면 좋겠네요 05:14.400 --> 05:21.480 그래서 여러 가지 세이브를 여러 가지 훈련과 혼동하지 않아요 05:22.500 --> 05:25.680 좋아요, 현장은 이 정도면 충분한 것 같아요 05:25.950 --> 05:30.750 추론으로 넘어가기 전에 슬라이드로 돌아가 주세요. Get it get get it.