From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
157 lines
4.1 KiB
157 lines
4.1 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:02.120 |
|
잘 돌아왔어요 |
|
|
|
00:02.150 --> 00:06.920 |
|
여러분도 저처럼 커피를 마시러 갔을지도 모릅니다 다시 짐을 싣는 동안에요 |
|
|
|
00:07.220 --> 00:09.140 |
|
여기도요 |
|
|
|
00:09.350 --> 00:14.960 |
|
세션 박스를 재시작한 후 다시 돌아와서 재시작해야 했죠 |
|
|
|
00:14.990 --> 00:17.660 |
|
설치한 건 재실행할 필요 없고 수입한 건 재실행해야 해요 |
|
|
|
00:17.660 --> 00:20.270 |
|
상수는 얼굴을 다시 안는 데 로그인하죠 |
|
|
|
00:20.300 --> 00:21.740 |
|
실행하지 마세요 |
|
|
|
00:21.740 --> 00:24.800 |
|
안 그러면 메모리 모델로 되돌아가는 거예요 |
|
|
|
00:24.830 --> 00:27.470 |
|
다시 세션을 시작하도록 하죠 |
|
|
|
00:27.470 --> 00:31.520 |
|
8 비트를 이용해 기본 모델을 로딩하고 있어요 |
|
|
|
00:31.520 --> 00:33.770 |
|
전에도 보신 적 있죠 |
|
|
|
00:33.770 --> 00:35.060 |
|
잠깐요 |
|
|
|
00:35.060 --> 00:39.080 |
|
제가 말 안 했으면 코드에 적어뒀을 텐데요 |
|
|
|
00:39.350 --> 00:45.890 |
|
이름도 참 잘 지었어요 비트 앤 바이트라는 패키지인데 패키지 이름으로 |
|
|
|
00:45.890 --> 00:47.090 |
|
딱이죠 |
|
|
|
00:47.210 --> 00:52.850 |
|
Bits&Bite config라는 클래스를 생성하는데 여기서 명시하는 거죠 |
|
|
|
00:52.880 --> 00:58.310 |
|
어떤 종류의 수량화 구성을 원하는지 모델의 정밀도를 얼마나 줄이고 싶은지를요 |
|
|
|
00:58.310 --> 01:01.940 |
|
8비트로 로드하는 게 참이죠 |
|
|
|
01:02.060 --> 01:07.520 |
|
그리고 베이스 모델을 로드할 때 그걸 매개 변수로 넘겨요 |
|
|
|
01:07.520 --> 01:11.000 |
|
전에도 이런 적이 있지만 얘기를 많이 하진 않았어요 |
|
|
|
01:11.420 --> 01:20.660 |
|
라마 3을 이렇게 싣는 거예요 기본 모델 1개를 32개에서 8개로 정밀하게 |
|
|
|
01:20.660 --> 01:21.980 |
|
줄였어요 |
|
|
|
01:22.250 --> 01:26.300 |
|
몇 분 정도 걸리니까 그렇게 했어요 |
|
|
|
01:26.330 --> 01:30.230 |
|
이제 메모리 발자국을 보죠 |
|
|
|
01:30.260 --> 01:34.730 |
|
9기가바이트를 사용하고 있어요. 9기가를 조금 넘어요. |
|
|
|
01:34.790 --> 01:40.820 |
|
보다시피 여기 리소스를 보시면 9기가를 사용하고 있고 시스템 |
|
|
|
01:40.820 --> 01:44.090 |
|
메모리로 쏟아질 필요가 없어요 |
|
|
|
01:44.300 --> 01:48.320 |
|
기본 모델의 아키텍처를 살펴보죠 |
|
|
|
01:49.130 --> 01:54.350 |
|
여기 퀀타이즈 후의 모델 아키텍처가 있네요 |
|
|
|
01:54.740 --> 01:59.030 |
|
차이점을 파악할 수 있게 잠시 비트를 멈출게요 |
|
|
|
01:59.060 --> 02:01.910 |
|
아키텍처에서 무엇이 바뀌었는지 보죠 |
|
|
|
02:01.940 --> 02:09.620 |
|
이제 퀀타이즈가 됐으니 도전 과제를 확인할 시간을 1초 드릴게요 |
|
|
|
02:09.740 --> 02:11.330 |
|
시간 다 됐어요 |
|
|
|
02:11.330 --> 02:14.690 |
|
물론 건축은 차이가 없어요 |
|
|
|
02:14.720 --> 02:15.770 |
|
함정 질문이에요 |
|
|
|
02:16.040 --> 02:17.120 |
|
미워하지 마세요 |
|
|
|
02:17.300 --> 02:19.640 |
|
네, 건축학적으로 다른 점은 없어요 |
|
|
|
02:19.640 --> 02:24.520 |
|
동일합니다 퀀타이즈의 전체적인 원리는 모델에서 각 숫자와 |
|
|
|
02:24.550 --> 02:30.160 |
|
무게의 정밀도를 낮췄을 뿐 모델의 구조를 바꾸진 않았으니까요 |
|
|
|
02:30.340 --> 02:35.470 |
|
그리고 좀 놀랍게도 모델의 성능에 큰 영향을 주진 않아요 |
|
|
|
02:35.470 --> 02:42.010 |
|
제가 실수를 한 게 아니라면 이 구조는 위층과 똑같을 거예요 |
|
|
|
02:42.040 --> 02:44.290 |
|
확인하고 다시 확인하세요 |
|
|
|
02:44.320 --> 02:51.850 |
|
큰 실수는 안 했지만 그게 퀀타이즈의 핵심이에요 |
|
|
|
02:51.850 --> 03:04.900 |
|
32GB에서 9기가바이트로 내려갔는데, 이건 마치 아직 본 적이 없지만, 중요한 |
|
|
|
03:04.900 --> 03:09.370 |
|
결과가 없는 것 같아요. |
|
|
|
03:09.370 --> 03:10.810 |
|
대가가 따를 거예요 |
|
|
|
03:10.810 --> 03:13.930 |
|
생각만큼 크진 않지만요 |
|
|
|
03:14.620 --> 03:17.830 |
|
그래서 세션을 다시 시작해야 할 것 같아요 |
|
|
|
03:17.830 --> 03:23.920 |
|
마지막으로 세션을 다시 시작하도록 요청할게요 런타임 세션 다시 시작이요 |
|
|
|
03:23.920 --> 03:26.410 |
|
그리고 여기서 다시 만나요 |
|
|
|
03:26.440 --> 03:33.010 |
|
이 시점 이후 수입, 상수를 실행하고 포옹페이스에 다시 로그인하면 |
|
|
|
03:33.010 --> 03:35.080 |
|
1초 후에 만나요
|
|
|