WEBVTT 00:00.680 --> 00:08.750 그래서 앞으로는 모델을 훈련하고 미세 조정하고 미세 조정 모델을 만들 거예요 00:08.750 --> 00:15.170 이제 제가 할 일은 미래에 저장해둔 것 중 하나를 로드하는 겁니다 무슨 말인지 00:15.170 --> 00:16.160 아시겠죠 00:16.250 --> 00:21.230 Get it로 건축물을 보고 감을 잡을 수 있어요 00:21.320 --> 00:24.380 기본 모델이 아닌 걸 로드해 그걸 하죠 00:24.440 --> 00:31.910 미리 훈련받은 인과적 LLM용 자동차 모델 말고 페프트 모델요 매개 변수 00:31.910 --> 00:35.630 효율적인 미세 조정 모델이죠 00:35.630 --> 00:39.350 기본 모델이라고 하죠 여기 있는 거요 00:39.350 --> 00:40.760 미세 튜닝 모델이에요 00:40.760 --> 00:44.570 제가 이걸 한 후 저장한 모델 이름이에요 00:44.570 --> 00:45.950 로라 파인 튜닝이에요 00:45.950 --> 00:48.920 어떤 모습인지 보여 드리려고 이렇게 하는 거예요 00:48.950 --> 00:54.440 이건 아주 빨리 달릴 수 있어요 비교적 작으니까요 00:54.590 --> 00:56.870 크기를 한번 보죠 00:56.870 --> 01:02.270 메모리 공간은 기가바이트예요 01:02.270 --> 01:06.170 이것과 아주 비슷하니 익숙하실 거예요 01:06.320 --> 01:10.940 100MB 정도 차이가 나요 01:10.940 --> 01:12.440 한번 보죠 01:13.250 --> 01:18.470 이게 그 구조예요 01:18.740 --> 01:22.340 이제 그 장난은 안 쳐요 01:22.370 --> 01:24.530 전에 봤던 것과는 확실히 달라요 01:24.530 --> 01:26.360 지금 상황을 말씀드리죠 01:26.360 --> 01:32.480 우선, 여기 보이는 모든 건 라마가 있는 32개의 01:32.480 --> 01:35.420 층까지 똑같아요 01:35.420 --> 01:48.050 이제 주의력 레이어가 나왔네요 Q 프래, K 프래, V, O 프래, O가 01:48.320 --> 01:49.340 있죠 01:49.340 --> 01:53.930 여기 보시면 각각의 베이스 레이어가 있어요 01:53.930 --> 01:57.410 로라 A와 로라 B도 있어요 01:57.500 --> 02:05.380 여기가 아까 말한 A와 B 행렬들이에요 여기 32번 02:05.380 --> 02:07.060 보이죠? 02:07.060 --> 02:11.260 제가 전에 말했던 로라 등급이에요 02:11.290 --> 02:14.050 32급 행렬들이에요 02:14.200 --> 02:16.270 네, 맞아요 02:16.300 --> 02:24.160 이 매트릭스 수학이 어떻게 적용되는지 잘 아신다면 32차원적 개념을 서로 02:24.160 --> 02:32.050 곱할 수 있도록 설계된 것을 보실 수 있습니다 이 기본 레이어에 적용할 수 있도록 02:32.050 --> 02:39.130 말이죠 그리고 이 기본 레이어에서는 약간의 변화를 줄 수 있죠 02:39.130 --> 02:44.170 물결무늬를 만들고 있어요 이론에 빠져들게 하려고요 비트들을 02:44.170 --> 02:45.760 곱할 거예요 02:45.790 --> 02:46.720 로라 A와 로라요 02:46.750 --> 02:53.890 B와 알파를 함께 배율 요인으로 선택하고 델타로 적용하는 거죠 02:53.890 --> 02:59.890 이 기본 층 위에는 드롭아웃이라는 하이퍼파라미터도 있어요 03:00.010 --> 03:01.870 그 얘긴 나중에 하죠 03:01.870 --> 03:04.360 이번 주에 얘기했던 세 가지 중 하나가 아니죠 03:04.990 --> 03:07.180 이 기능은 여기서 몇 번 보실 거예요 03:07.180 --> 03:13.060 네 개의 목표 모듈 중 다른 모듈을 보면 전부 로라 A와 로라 B가 03:13.060 --> 03:20.020 여기 있는데 다시 말씀드리면 로라 A와 로라 B가 있고 마지막으로 로라 03:20.020 --> 03:28.660 A와 로라 B가 여기 로라 A와 로라 B가 있죠 여기서 어댑터 매트릭스가 라마 경계의 구조에 03:28.660 --> 03:36.430 삽입되어 더 큰 모델을 적용하지만 훨씬 적은 범위에서 적용해요 03:36.460 --> 03:42.400 R 하이퍼파라미터에 명시된 32개의 차원이죠 03:43.510 --> 03:45.220 다른 건 바뀐 게 없어요 03:45.220 --> 03:48.880 다층 과셉트론 층도 정확히 같아요 03:49.060 --> 03:51.130 다른 건 다 똑같아요 03:52.090 --> 03:58.720 다시 한번 말씀드리지만 이 문제에 휘말리지 않으려고 노력해요 하지만 과거를 03:58.720 --> 04:06.490 돌아보면 납득이 돼요 IQ, IQ, IQ, IQ, IQ 4개 행렬에는 치수의 수가 있다는 04:06.760 --> 04:07.720 걸요 04:07.720 --> 04:14.530 각각 로라 A와 로라 B가 있고 매트릭스의 차원을 조합해서 04:14.530 --> 04:20.890 이 어댑터에 있는 무게의 총합을 알려주는 거예요 04:20.890 --> 04:25.210 그 말은 각 층에서 이 4개의 숫자를 합친다는 거죠 04:25.210 --> 04:31.990 32를 곱합니다. 모듈 그룹이 32개니까요. 04:32.800 --> 04:37.120 각 매개 변수는 4바이트 숫자죠 04:37.120 --> 04:38.350 32개요 04:38.350 --> 04:43.570 크기를 계산하고 100만으로 나누면 메가바이트로 get이 되죠 04:43.870 --> 04:48.580 이해가 되시는지 모르겠지만 대략적인 건 04:48.580 --> 04:55.600 이해하셨길 바라요 로라 어댑터의 중량을 모두 더하면 총 2,700만 04:55.600 --> 05:02.830 개의 매개 변수가 있고 총 크기는 약 109MB예요 05:02.830 --> 05:07.190 109MB의 2,700만 매개 변수죠 05:07.190 --> 05:10.730 어댑터가 그만큼 크죠 05:11.030 --> 05:20.840 물론 그걸 전체적인 llama 매개 변수가 80억 개인 것과 비교하세요 크기는 32GB죠 05:20.840 --> 05:26.450 여기서 할 일이 많다는 걸 알 수 있어요 매개 변수도 많고 훈련할 것도 많지만 05:26.450 --> 05:33.290 흉물스러운 라마 3에 비하면 아주 작죠 1, 작은 변종도요 05:33.290 --> 05:41.360 이 안에 뭐가 많다는 건 알고 있었어요 무슨 말인지 다시 확인해 보세요 05:41.360 --> 05:46.490 그래도 직감이 돌아올 거예요 저차원 물질을 05:46.490 --> 05:53.840 이용하면 더 큰 건축물에 영향을 줄 수 있지만 크기가 작을수록 05:53.840 --> 06:00.320 비트도 더 적게 조정해야 한다는 거죠 06:00.680 --> 06:06.440 증거를 보여드리자면 이 숫자, 이 109MB는 얼굴을 안는 06:06.440 --> 06:09.870 데 필요한 파라미터의 크기예요 06:09.900 --> 06:17.130 얼굴을 끌어안고 있어요 제가 저장한 로라 어댑터를 보고 있죠 미세 튜닝 모델이요 06:17.130 --> 06:18.810 뭘 찾게 될까요? 06:18.810 --> 06:22.320 이걸 보면 안전한 텐서를 찾죠 06:22.320 --> 06:26.070 그게 매개 변수 자체를 저장하는 파일이에요 06:26.310 --> 06:31.530 라마 3을 보시면 알 수 있죠 1번, 32GB로 크게 보이죠 06:31.530 --> 06:40.890 이걸 보면 매개 변수가 109MB인 게 보이죠 여기 추정값과 06:40.890 --> 06:42.540 일치해요 06:42.540 --> 06:49.830 Q 로라 기법으로 세밀하게 조정하고 있는 매개 변수의 크기예요 06:50.310 --> 06:55.200 적어도 직관적으로 어떤 일이 일어나고 있는지 파악하셨길 06:55.200 --> 07:01.470 바랍니다 최적화하는 기가바이트의 데이터 없이도 모델을 미세 조정하는 07:01.470 --> 07:05.250 트릭을 어떻게 구현할 수 있는지도요 07:06.000 --> 07:09.720 이제 마무리로 슬라이드로 돌아가죠