From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
433 lines
13 KiB
433 lines
13 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:08.690 |
|
사후 조사를 하기 전에 순위표부터 간단히 살펴보죠 |
|
|
|
00:08.690 --> 00:15.710 |
|
기억하실 거예요 평균에 기반해 지속 실행을 했을 때 오류가 있었죠 평균 예측 |
|
|
|
00:15.710 --> 00:18.110 |
|
차이가 146였어요 |
|
|
|
00:18.620 --> 00:22.280 |
|
전통적인 머신 러닝 때는 139까지 올라갔어요 |
|
|
|
00:22.280 --> 00:24.800 |
|
랜덤 숲은 97이었어요 |
|
|
|
00:24.830 --> 00:33.860 |
|
참가자 중 특히 한 명은 이름을 밝힐 수 없어요 127달러였죠 GPT 4라고 불리는 미니였는데 처음 |
|
|
|
00:33.860 --> 00:37.400 |
|
실행했을 때 80달러였던 것 같아요 |
|
|
|
00:37.430 --> 00:43.310 |
|
GPT 4는 76이었고 방금 나온 건 91이었어요 |
|
|
|
00:43.310 --> 00:50.300 |
|
아까도 말했지만 이전 주행에서 개선된 점이 있지만 이유가 |
|
|
|
00:50.300 --> 00:52.580 |
|
뭐든 어쩔 수 없죠 |
|
|
|
00:52.580 --> 00:54.350 |
|
결과를 조작할 순 없어요 |
|
|
|
00:54.350 --> 01:01.130 |
|
안타깝게도 우리가 가장 집중하는 사업 지표가 약간 부족합니다 세밀 |
|
|
|
01:01.160 --> 01:05.670 |
|
조정이 잘못된 방향으로 이뤄진 것 같아요 |
|
|
|
01:05.670 --> 01:07.350 |
|
그 얘길 해보죠 |
|
|
|
01:08.280 --> 01:13.830 |
|
정신이 번쩍 드는 순간이었어요 여정에서 중요한 걸 배웠죠 |
|
|
|
01:14.130 --> 01:17.610 |
|
시간이 좀 걸리네요 |
|
|
|
01:17.640 --> 01:23.670 |
|
잠시 생각을 해봐야겠어요 개척지 모델을 세밀하게 조정하는 목표가 |
|
|
|
01:23.700 --> 01:24.600 |
|
뭘까요? |
|
|
|
01:24.660 --> 01:32.880 |
|
미세 튜닝을 자주 사용하는데 매개 변수가 적은 오픈 소스 모델을 선택해 프런티어 |
|
|
|
01:32.880 --> 01:39.390 |
|
모델에 대적할 수 있도록 데이터 세트에서 훈련할 거예요 |
|
|
|
01:39.420 --> 01:44.760 |
|
하지만 수조 개의 매개 변수가 이미 있고 방대한 데이터 세트를 위해 훈련된 |
|
|
|
01:44.760 --> 01:48.450 |
|
개척자 모델이 있다면 목표가 무엇일까요? |
|
|
|
01:48.510 --> 01:53.460 |
|
개척 시대 모델을 조정한 다섯 가지 주요 목적이 있어요 |
|
|
|
01:53.460 --> 01:57.390 |
|
오픈AI의 웹사이트에서 가져온 것들이에요. |
|
|
|
01:57.420 --> 02:05.460 |
|
오픈라이에서는 GPT 같은 기능을 세밀하게 조정하는 훈련을 실시하죠 |
|
|
|
02:05.730 --> 02:12.960 |
|
반응의 스타일이나 톤을 만들고 싶을 때 반응에 빈정거림을 |
|
|
|
02:12.960 --> 02:16.860 |
|
추가하는 예가 되죠 |
|
|
|
02:16.860 --> 02:23.790 |
|
특정 형식의 형식, 구성체를 신뢰할 수 있게 제작하고 싶다면 특정한 스타일, |
|
|
|
02:23.790 --> 02:27.120 |
|
방법, 구조에 있는 형식이 필요해요 |
|
|
|
02:27.540 --> 02:34.950 |
|
세 번째는 수정입니다 어렵거나 어려운 프롬프트를 따르지 않는 모델이죠 |
|
|
|
02:34.950 --> 02:40.410 |
|
아주 복잡한 걸 요구하는데 Get it은 농담을 이해하지 못해요 |
|
|
|
02:40.800 --> 02:47.130 |
|
첨단 케이스 처리란 때때로 노출되는 결함이 있는 경우죠 그걸 수정하고 |
|
|
|
02:47.130 --> 02:52.020 |
|
새로운 걸 실행해야 하는 모델에서요 Get up |
|
|
|
02:52.020 --> 02:57.930 |
|
그게 우리가 하려던 일이었어요 새로운 작업이었지만 바로 설명하긴 어려웠죠 |
|
|
|
02:57.930 --> 03:05.110 |
|
오픈AI가 사이트에서 강조하는 게 바로 그겁니다 프롬프트만으로 고칠 수 |
|
|
|
03:05.110 --> 03:12.340 |
|
없는 문제를 해결하려고 노력하죠 프롬프트에서 최대한 많은 작업을 하도록 강력하게 |
|
|
|
03:12.340 --> 03:18.310 |
|
권장합니다 GPT 4, 미니 같은 것들은 대부분 프롬프트만으로 |
|
|
|
03:18.310 --> 03:23.560 |
|
아주 높은 수준의 실행을 얻을 수 있거든요 |
|
|
|
03:23.920 --> 03:28.960 |
|
개척지 모델로서는 그게 핵심이에요 |
|
|
|
03:29.170 --> 03:37.120 |
|
이미 당면한 질문과 프롬프트에서 결과물의 스타일을 명시할 수 있어요 |
|
|
|
03:37.120 --> 03:43.900 |
|
이전 결과를 떠올려 보면 GPT 4 미니는 적절한 구조라는 측면에서 정확하게 |
|
|
|
03:43.900 --> 03:45.280 |
|
반응했죠 |
|
|
|
03:45.280 --> 03:49.990 |
|
모든 사건에서 숫자를 추려내지 못한 적이 없어요 |
|
|
|
03:49.990 --> 03:54.850 |
|
숫자는 항상 오차 범위 내에 제품에 근접해 있었어요 |
|
|
|
03:54.850 --> 04:01.330 |
|
추측이었죠, 그래서 챌린지나 출력 형식을 이해하는 데는 문제가 없었어요 |
|
|
|
04:01.330 --> 04:09.210 |
|
GPT4와 GPT4 미니는 엄청난 규모의 훈련 데이터를 가지고 있습니다 |
|
|
|
04:09.210 --> 04:17.640 |
|
세계 지식이 담겨 있죠 500개의 훈련 예시를 더 제공한다고 세계 지식이 |
|
|
|
04:17.670 --> 04:21.270 |
|
달라질 것 같진 않아요 |
|
|
|
04:21.960 --> 04:29.460 |
|
그리고 사소한 문제가 있어요 전에 말했던 심각한 건망증에 대한 |
|
|
|
04:29.460 --> 04:35.940 |
|
건데요 망각이라는 거예요 때때로 미세한 조율을 더하면 |
|
|
|
04:35.940 --> 04:41.730 |
|
훈련 전에 얻은 깊은 지식이 줄어들기도 하죠 |
|
|
|
04:41.730 --> 04:45.060 |
|
세세한 부분까지 신경 쓰는 게 늘 좋은 건 아니에요 |
|
|
|
04:45.300 --> 04:50.910 |
|
엄청난 망각이 원인이었는지 약간 하락했는지도 모르고 시스템에 |
|
|
|
04:50.910 --> 04:56.940 |
|
소음이 있어서 불운이 따랐는지도 몰라요 시험 세트에서 잘 안 풀린 |
|
|
|
04:56.940 --> 04:58.500 |
|
거죠 |
|
|
|
04:58.800 --> 05:01.860 |
|
하지만 나아진 건 없는 것 같았어요 |
|
|
|
05:01.860 --> 05:02.970 |
|
그게 핵심이에요 |
|
|
|
05:02.970 --> 05:09.420 |
|
제 관점에서 그리고 제가 이해하는 방식과 실험이 보여주는 방식으로 볼 때 필요한 |
|
|
|
05:09.420 --> 05:15.030 |
|
걸 확실히 전달하는 훌륭한 일을 이미 하고 있었기 때문이죠 |
|
|
|
05:15.030 --> 05:22.590 |
|
GPT 4는 이미 많은 사람이 이 점을 잘 이해하고 있었고 그 결과의 수준도 이미 매우 뛰어났죠 |
|
|
|
05:23.580 --> 05:29.610 |
|
하지만 당신이 해야 할 일은 계속 작업하는 거예요 |
|
|
|
05:29.610 --> 05:35.940 |
|
하이퍼파라미터 최적화 혹은 시행착오를 통해 개선하려고 했어요 비트 |
|
|
|
05:36.120 --> 05:37.350 |
|
많이는 아니고요 |
|
|
|
05:37.350 --> 05:43.320 |
|
조금이라도 나아지지 않는다면 정말 충격일 거예요 적어도 이전 비트보다 조금이라도 |
|
|
|
05:43.320 --> 05:46.650 |
|
나아진다면요 get it get it |
|
|
|
05:46.650 --> 05:48.270 |
|
그게 과제군요 |
|
|
|
05:48.300 --> 05:54.540 |
|
더 많은 것을요 오픈AI는 방대한 데이터 집합을 권장하지 |
|
|
|
05:54.540 --> 06:02.130 |
|
않지만 특히 무료일 때는요 저는 더 큰 데이터 집합을 시도해보고 싶어요 |
|
|
|
06:02.130 --> 06:04.650 |
|
훈련 데이터 집합을 1,000이나 2,000으로 해봐요 |
|
|
|
06:04.680 --> 06:06.930 |
|
다른 시대를 살아볼 수도 있고요 |
|
|
|
06:06.930 --> 06:10.710 |
|
해 봤는데 별 차이 없더라고요 다른 걸 시도해 보려고요 |
|
|
|
06:10.710 --> 06:13.560 |
|
다른 hyperperameter도 있어요 |
|
|
|
06:13.590 --> 06:15.300 |
|
오픈아이 웹사이트에서 찾아보세요 |
|
|
|
06:15.300 --> 06:18.660 |
|
원하면 몇 가지 바꿔볼 수도 있어요 |
|
|
|
06:18.660 --> 06:21.900 |
|
하이퍼파라미터 사전에 넣어 보세요 |
|
|
|
06:22.260 --> 06:28.410 |
|
다양한 훈련 데이터를 입력해 볼 수도 있고 프롬프트를 플레이해 볼 수도 |
|
|
|
06:28.440 --> 06:29.490 |
|
있어요 |
|
|
|
06:29.520 --> 06:37.140 |
|
오픈아이가 웹 사이트에서 강조한 점은 입력을 개선함으로써 가장 많은 주행 거리를 얻을 수 |
|
|
|
06:37.140 --> 06:38.190 |
|
있다는 거죠 |
|
|
|
06:38.310 --> 06:43.890 |
|
데이터 큐레이팅과 프롬프트 수정에서 시간을 좀 들인 부분이죠 하지만 여기서 |
|
|
|
06:43.890 --> 06:46.440 |
|
할 수 있는 건 훨씬 더 많아요 |
|
|
|
06:46.440 --> 06:48.780 |
|
그것도 한번 해 보세요 |
|
|
|
06:48.780 --> 06:55.230 |
|
하이퍼파라미터 최적화를 해야 합니다 프롬프트와 관련된 것을 변경해서 더 잘 할 |
|
|
|
06:55.260 --> 06:56.820 |
|
수 있도록 하세요 |
|
|
|
06:56.820 --> 06:58.200 |
|
다시 한 번 볼까요? |
|
|
|
06:58.230 --> 07:01.470 |
|
76점 이상을 받아야 해요 |
|
|
|
07:01.590 --> 07:08.020 |
|
그리고 솔직히 말씀드리면 저는 이전 경기에서 76점보다 높은 점수를 받은 |
|
|
|
07:08.020 --> 07:09.310 |
|
적이 있어요 |
|
|
|
07:09.460 --> 07:16.360 |
|
그래서 저는 많은 변화 없이 76편보다 나은 걸 만들 수 있다는 걸 알아요 |
|
|
|
07:16.390 --> 07:18.520 |
|
많이 나아지진 않았지만 나아졌어요 |
|
|
|
07:18.730 --> 07:21.010 |
|
그게 바로 도전 과제죠 |
|
|
|
07:21.040 --> 07:24.790 |
|
그렇게 해요, 어떻게 돼가는지 알려줘요 Get it |
|
|
|
07:24.790 --> 07:30.610 |
|
최적화된 프롬프트나 하이퍼 매개 변수가 있다면 코드를 푸시해 PR을 하세요 |
|
|
|
07:30.610 --> 07:36.040 |
|
제가 살펴보고 공유할 수 있도록요 어떻게 되는지 보도록 하죠 |
|
|
|
07:36.370 --> 07:43.480 |
|
76점 이상을 받으면 그게 바로 도전 과제의 성적이 되는 거죠 |
|
|
|
07:45.040 --> 07:46.240 |
|
좋아요 |
|
|
|
07:46.240 --> 07:49.870 |
|
이렇게 6주 차 결론이 났네요 |
|
|
|
07:49.870 --> 07:58.690 |
|
당신은 이제 놀랍게도 75%에 달하는 길을 달렸습니다 능숙한 달 착륙 엔지니어로서 인공지능과 |
|
|
|
07:58.690 --> 08:01.900 |
|
달 착륙 공학에 통달했죠 |
|
|
|
08:02.110 --> 08:04.570 |
|
여러분도 저처럼 기뻐해 주시면 좋겠네요 |
|
|
|
08:04.600 --> 08:10.130 |
|
정말 멋진 발전이에요 지금까지 배운 모든 걸 자랑스러워해도 돼요 |
|
|
|
08:10.190 --> 08:15.920 |
|
프런티어 모델의 도움을 받아 텍스트와 코드를 생성하고 얼굴 껴안기 트랜스포머, |
|
|
|
08:15.920 --> 08:20.570 |
|
라이브러리 랑체 같은 오픈 소스 모델을 사용했죠 |
|
|
|
08:20.720 --> 08:26.960 |
|
최근에는 큐레이터 문제 해결 5단계 전략을 다뤘는데요 |
|
|
|
08:26.960 --> 08:28.250 |
|
큐레이팅 데이터를 많이 만들었어요 |
|
|
|
08:28.250 --> 08:32.420 |
|
하지만 달 착륙선 엔지니어의 삶에는 데이터 수집이 많이 포함되죠 |
|
|
|
08:32.420 --> 08:37.490 |
|
Get it은 요령이에요 가장 중요한 부분이죠 |
|
|
|
08:37.490 --> 08:42.710 |
|
제가 했던 모든 실험에서 데이터 구조를 바꾸는 건 바늘을 움직이는 |
|
|
|
08:42.710 --> 08:44.810 |
|
가장 큰 일이었어요 |
|
|
|
08:44.900 --> 08:48.950 |
|
벌써 많은 실험이 post에 올라가 있어요. |
|
|
|
08:49.040 --> 08:51.560 |
|
하지만 더 잘할 수 있잖아요 |
|
|
|
08:52.070 --> 08:55.100 |
|
전통적인 머신 러닝을 사용했죠 |
|
|
|
08:55.160 --> 08:59.660 |
|
Get up 기본값이 얼마인지 확인하려고요 우리가 쉽게 이겼던 점수죠 |
|
|
|
08:59.810 --> 09:04.460 |
|
개척 시대 해결책을 내놓았고 이젠 미세한 개척 시대 모델이 됐죠 |
|
|
|
09:04.460 --> 09:06.660 |
|
그래서 결과가 좀 실망스러웠죠 |
|
|
|
09:06.690 --> 09:07.710 |
|
현실적이어야 해요 |
|
|
|
09:07.890 --> 09:11.520 |
|
그럼에도 불구하고 여러분의 프로젝트에 사용할 수 있는 거죠 |
|
|
|
09:11.520 --> 09:17.760 |
|
스타일을 바꾸고 싶다거나 어려운 문제가 발생했을 |
|
|
|
09:17.760 --> 09:20.730 |
|
때 미세 조정이 답이죠 |
|
|
|
09:20.730 --> 09:22.560 |
|
그래도 이제 좋은 레시피가 생겼잖아요 |
|
|
|
09:22.590 --> 09:25.980 |
|
어떻게 하는지 알고 연승하는 것도 봤죠 |
|
|
|
09:25.980 --> 09:28.980 |
|
상태를 확인하고 무게와 편향성을 확인했죠 |
|
|
|
09:28.980 --> 09:31.290 |
|
다 알고 계시잖아요 |
|
|
|
09:32.490 --> 09:42.450 |
|
다음 주엔 새로운 관점으로 여행의 새로운 부분을 시작합니다 오픈 소스 |
|
|
|
09:42.450 --> 09:44.160 |
|
모델로요 |
|
|
|
09:44.160 --> 09:51.090 |
|
오픈 소스 모델을 미세 조정하는 건 개척지 모델을 미세 조정하는 것과 아주 다른 |
|
|
|
09:51.090 --> 09:52.290 |
|
제의예요 |
|
|
|
09:52.290 --> 09:59.970 |
|
우리가 하려는 건 우리가 다루는 큰 모델보다 훨씬 작은 모델이에요 |
|
|
|
09:59.970 --> 10:02.040 |
|
여전히 수십억 개의 매개 변수가 있을 거예요 |
|
|
|
10:02.040 --> 10:09.300 |
|
일반적으로 보면 여전히 큰 모델이지만 GPT4와 GPT4 미니에 있는 수조 |
|
|
|
10:09.300 --> 10:13.290 |
|
개의 매개 변수와 비교할 수는 없어요 |
|
|
|
10:13.320 --> 10:20.460 |
|
오픈 소스 모델을 세밀히 조정하고 로라라는 걸 사용할 거예요 들어본 적 있거나 있을 |
|
|
|
10:20.460 --> 10:24.480 |
|
거예요 제가 몇 번 언급했거든요 하지만 로라의 |
|
|
|
10:24.480 --> 10:30.810 |
|
예시를 본 적도 있을 거예요 로라의 사촌인 로라도 들어봤을 거예요 양자화된 |
|
|
|
10:30.840 --> 10:32.820 |
|
버전의 로라죠 |
|
|
|
10:32.850 --> 10:37.770 |
|
둘 다 연습할 거예요 끝날 때쯤엔 둘 다 알게 될 거예요 |
|
|
|
10:37.980 --> 10:44.640 |
|
다음 세션에서는 기본 모델을 선택할 겁니다 이미 알고 계시겠지만요 |
|
|
|
10:44.640 --> 10:47.310 |
|
하지만 진짜 선택해야 해요 |
|
|
|
10:47.490 --> 10:53.070 |
|
GPT 4와 경쟁할 수 있는 모델이 될 거예요 |
|
|
|
10:53.340 --> 10:56.280 |
|
현재 순위표의 우승자는요? |
|
|
|
10:56.280 --> 10:59.220 |
|
다음 주 과제는 그거예요 |
|
|
|
10:59.250 --> 11:03.480 |
|
큰 도전이 되겠지만 빨리 시작하고 싶어요 |
|
|
|
11:03.480 --> 11:05.940 |
|
당신도 기다려주지 않으면 좋겠네요 |
|
|
|
11:05.940 --> 11:07.140 |
|
그때 봐요
|
|
|