From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
397 lines
12 KiB
397 lines
12 KiB
WEBVTT |
|
|
|
00:01.490 --> 00:08.720 |
|
LLM 엔지니어링 여정 3주 차에 오신 여러분을 열렬히 환영해 주세요 |
|
|
|
00:08.750 --> 00:15.140 |
|
지난주에 사용자 인터페이스를 구축하는 과정을 보셨다면 멋진 그래디오 프레임워크를 |
|
|
|
00:15.170 --> 00:21.290 |
|
이용했죠 이번 주는 더 맘에 드실 겁니다 이제 오픈 소스를 시작해 포옹의 멋진 |
|
|
|
00:21.320 --> 00:24.500 |
|
세계를 사용할 시간이거든요 |
|
|
|
00:24.830 --> 00:28.340 |
|
하지만 먼저 늘 그렇듯 이미 할 수 있는 걸 간단히 요약해보죠 |
|
|
|
00:28.370 --> 00:33.260 |
|
트랜스포머를 묘사할 수 있고 핵심 용어도 유창하죠 |
|
|
|
00:33.290 --> 00:38.750 |
|
컨텍스트 창문에 대해 얘기할 수 있어요 |
|
|
|
00:38.780 --> 00:44.210 |
|
쌍둥이자리나 클로드 오픈아이든 자신 있게 코드를 짤 수 있어요 |
|
|
|
00:44.240 --> 00:45.680 |
|
API 아시죠? |
|
|
|
00:45.680 --> 00:49.820 |
|
스트림도 알고 마크다운도 알고 JSON 반응도 알죠 |
|
|
|
00:49.940 --> 00:53.330 |
|
인공지능 비서인 챗봇도 만들 수 있어요 |
|
|
|
00:53.360 --> 00:55.190 |
|
도구를 사용해도 돼요 |
|
|
|
00:55.190 --> 01:00.260 |
|
여러 에이전트를 사용할 수도 있고 멀티모덜로 만들 수도 있어요 |
|
|
|
01:00.380 --> 01:02.330 |
|
우리도 하나 지었죠 |
|
|
|
01:02.330 --> 01:04.400 |
|
그걸 확장했길 바라요 |
|
|
|
01:04.400 --> 01:04.400 |
|
저도요 |
|
|
|
01:05.060 --> 01:06.590 |
|
오늘은 무슨 일이죠? |
|
|
|
01:06.620 --> 01:09.080 |
|
오늘은 얼굴 포옹을 배워볼 거예요 get it |
|
|
|
01:09.080 --> 01:14.930 |
|
먼저, 이게 무엇인지 설명하실 수 있을 겁니다 얼굴을 껴안는 것의 스코프와 규모도요 |
|
|
|
01:14.930 --> 01:18.260 |
|
얼굴을 안는 것의 가장 놀라운 점은 너비예요 |
|
|
|
01:18.260 --> 01:24.140 |
|
오픈 소스 데이터 과학 커뮤니티에 제공하는 모든 다양한 것들이요 여러분도 |
|
|
|
01:24.140 --> 01:26.990 |
|
곧 그걸 잘 이해하게 될 거예요 |
|
|
|
01:27.320 --> 01:33.650 |
|
모델과 얼굴을 포옹할 때 데이터 세트, 공간을 살펴볼 겁니다 구글 콜랩도 잘 |
|
|
|
01:33.650 --> 01:35.510 |
|
이해하게 될 거예요 |
|
|
|
01:35.510 --> 01:39.410 |
|
구글 콜랍을 이미 이해했다면 빠른 복습 지점이 되겠죠 |
|
|
|
01:39.410 --> 01:41.840 |
|
그렇지 않은 분들은 지금 살펴보죠 |
|
|
|
01:41.870 --> 01:47.810 |
|
좋은 GPU 박스에서 코드를 실행하는 방법을 볼 겁니다 다양한 제공이 있고 어떤 걸 클래스에 |
|
|
|
01:47.840 --> 01:50.270 |
|
사용할지 알게 될 거예요 |
|
|
|
01:50.270 --> 01:51.980 |
|
get up을 해드릴게요 |
|
|
|
01:51.980 --> 01:55.550 |
|
오픈 소스 준비하세요 |
|
|
|
01:55.550 --> 02:02.900 |
|
하지만 먼저, 현재 상황과 현재 위치, 남은 일을 간단히 정리해 보죠 |
|
|
|
02:02.930 --> 02:09.510 |
|
왼쪽에서 출발해서 달 착륙선 엔지니어링 지식이 없었지만 능숙한 달 착륙선 엔지니어답게 |
|
|
|
02:09.510 --> 02:12.750 |
|
오른쪽에서 끝날 거예요 |
|
|
|
02:12.750 --> 02:16.980 |
|
첫 주에는 개척지 문화에 푹 빠져들었어요 |
|
|
|
02:16.980 --> 02:18.060 |
|
2주 차에요 |
|
|
|
02:18.090 --> 02:20.250 |
|
지난주엔 UI를 만들었죠 |
|
|
|
02:20.250 --> 02:26.070 |
|
상위 3개에 API를 모두 사용했고 도구로 실험했어요 |
|
|
|
02:26.100 --> 02:31.500 |
|
이번 주 에이전트 iization 다중 모듈은 오픈 소스와 얼굴 포옹에 관한 거죠 |
|
|
|
02:31.530 --> 02:37.500 |
|
다음 주엔 문제에 맞는 LM을 선택하고 코드 생성하는 걸 얘기하죠 |
|
|
|
02:37.530 --> 02:39.480 |
|
그다음은 래그 주간이에요 |
|
|
|
02:39.510 --> 02:47.040 |
|
그 후 개척지 모델을 조정하고 오픈 소스 모델을 조정하고 피날레에서 전부 완성하는 |
|
|
|
02:47.040 --> 02:48.450 |
|
거죠 |
|
|
|
02:49.830 --> 02:54.150 |
|
그럼 지체 없이 포옹하는 얼굴 얘기를 해보죠 |
|
|
|
02:54.540 --> 02:56.670 |
|
유비쿼터스라고 할 수 있죠 |
|
|
|
02:56.700 --> 02:59.280 |
|
지역 사회에서 사용되죠 |
|
|
|
02:59.310 --> 03:01.770 |
|
정말 훌륭한 자원이에요 |
|
|
|
03:01.980 --> 03:09.780 |
|
무엇보다도 H깅 페이스 플랫폼이 세 가지 있습니다 H깅 페이스 코에 접속하면 |
|
|
|
03:09.780 --> 03:12.900 |
|
계정을 만들 수 있죠 |
|
|
|
03:12.900 --> 03:16.890 |
|
세 가지 카테고리에 접근할 수 있어요 |
|
|
|
03:16.890 --> 03:25.860 |
|
우선 800,000개가 넘는 오픈 소스 모델이 있어요 다양한 작업을 수행할 수 있죠 |
|
|
|
03:25.860 --> 03:31.080 |
|
그중 상당수는 이번 주 강의에서 실험할 거예요 |
|
|
|
03:31.080 --> 03:35.010 |
|
앞으로 몇 주간은 데이터 세트가 있어요 |
|
|
|
03:35.010 --> 03:41.880 |
|
보물 창고입니다 200,000개가 넘는 데이터가 거의 모든 문제를 다루고 있죠 |
|
|
|
03:41.910 --> 03:44.070 |
|
검색해 보고 뭐가 나오는지 보세요 |
|
|
|
03:44.100 --> 03:49.470 |
|
이 과정 후반부에 특히 놀라운 데이터 세트를 사용할 거예요 |
|
|
|
03:49.500 --> 03:54.030 |
|
하지만 많은 데이터를 찾아서 문제를 해결할 수 있어요 |
|
|
|
03:54.270 --> 04:00.150 |
|
플랫폼 케이글과 비슷합니다 데이터 측면에 훨씬 더 집중하죠 |
|
|
|
04:00.150 --> 04:05.550 |
|
하지만 얼굴 한 번 안아도 데이터는 방대하죠 |
|
|
|
04:06.000 --> 04:13.560 |
|
얼굴을 안는 것에는 스페이스라는 것이 있습니다 앱을 작성하고 공개할 수 있는 곳이죠 |
|
|
|
04:13.590 --> 04:20.680 |
|
페이스 클라우드 하드웨어를 끌어안고 다른 사람들이 사용할 수 있도록 하세요 |
|
|
|
04:20.680 --> 04:26.530 |
|
코드가 오픈 소스인 게 좋다면 말이죠 왜냐하면 그게 포옹하는 얼굴의 |
|
|
|
04:26.560 --> 04:28.360 |
|
의미니까요 |
|
|
|
04:28.630 --> 04:35.110 |
|
스페이스 앱은 많은 스페이스 앱이 그래디오로 만들어졌어요 |
|
|
|
04:35.110 --> 04:36.910 |
|
그러디오 앱인 셈이죠 |
|
|
|
04:37.060 --> 04:38.890 |
|
그러디오 앱이 아닌 것도 있어요 |
|
|
|
04:38.890 --> 04:43.660 |
|
스트림리츠라는 게 있는데 앱을 만드는 또 다른 방법인데 이것도 꽤 마법 같아요 |
|
|
|
04:43.660 --> 04:45.670 |
|
그래디오와는 달라요 마법 같죠 |
|
|
|
04:45.730 --> 04:48.640 |
|
앱을 게시할 수 있는 다른 방법도 있어요 |
|
|
|
04:48.700 --> 04:51.520 |
|
하지만 그라디오가 가장 흔한 것 같아요 |
|
|
|
04:51.520 --> 04:59.230 |
|
그리고 leaderboard라는 것이 있는데 그러디오 앱으로 여러 llm을 평가하고 순위를 |
|
|
|
04:59.230 --> 05:02.650 |
|
매겨 점수표에 표시하는 역할을 하죠 |
|
|
|
05:02.680 --> 05:07.300 |
|
다른 llm들을 비교할 때 leaderboard를 많이 사용할 |
|
|
|
05:07.330 --> 05:11.590 |
|
거예요 오늘 몇 가지를 볼 겁니다 포옹표 공간도 보고요 |
|
|
|
05:12.190 --> 05:18.610 |
|
그게 허깅페이스 플랫폼입니다 허깅페이스 코에 로그인해 뭐가 있는지 살펴보면 |
|
|
|
05:18.610 --> 05:20.230 |
|
알 수 있죠 |
|
|
|
05:20.260 --> 05:28.240 |
|
얼굴을 안는 것은 라이브러리 코드도 제공합니다 우리 오픈 소스 프로젝트의 기초가 되는 코드죠 |
|
|
|
05:28.870 --> 05:35.140 |
|
그리고 라이브러리는 우리가 원하는 것에서 출발할 수 있게 해주죠. HDP, DBP, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HD |
|
|
|
05:35.170 --> 05:41.230 |
|
시장성이 훨씬 낮아지죠 아주 적은 상용 코드만으로도 아주 빨리 실행할 |
|
|
|
05:41.230 --> 05:42.910 |
|
수 있으니까요 |
|
|
|
05:43.180 --> 05:51.970 |
|
아주 잘 만들어진 도서관으로 출입 장벽을 줄이고 사람들의 생산력을 높여주죠 |
|
|
|
05:52.420 --> 05:57.880 |
|
여러분이 경험할 첫 라이브러리 중 하나는 페이스 허브입니다 |
|
|
|
05:57.880 --> 06:07.030 |
|
얼굴을 안는 데 로그인할 수 있는 라이브러리로서 허브에서 데이터 세트와 모델 같은 걸 다운로드 및 업로드 |
|
|
|
06:07.030 --> 06:12.430 |
|
할 수 있습니다 얼굴을 안는 플랫폼이라고 부르는 거죠 |
|
|
|
06:12.850 --> 06:22.000 |
|
데이터 집합은 라이브러리 같은 거예요 즉각적인 접근이 가능하죠 포옹이나 트랜스포머에 |
|
|
|
06:22.000 --> 06:25.540 |
|
관한 데이터 저장소 같은 거요 |
|
|
|
06:25.570 --> 06:35.860 |
|
이건 중앙 라이브러리인데 변압기 아키텍처를 따라가는 ㄹm을 감싸는 코드죠 그 밑에는 이런 |
|
|
|
06:36.010 --> 06:44.830 |
|
신경망 네트워크를 실행하는 PyToch나 텐서플로우 코드가 있어요 |
|
|
|
06:45.160 --> 06:52.480 |
|
하지만 변압기를 만들 때 손끝에 심층 신경망 코드가 있어요 |
|
|
|
06:52.480 --> 06:59.200 |
|
함수나 변압기 코드의 메서드에 호출을 할 때 오픈AI의 범주 내 다른 |
|
|
|
06:59.200 --> 07:04.270 |
|
클라우드에서 실행되는 API를 호출하지 않아요 |
|
|
|
07:04.270 --> 07:14.050 |
|
우리가 직접 코드를 실행하는 건 심층 신경망에 대한 추론이나 훈련에 실행하기 위해서죠 |
|
|
|
07:14.860 --> 07:20.800 |
|
언급하고 싶은 다른 라이브러리가 세 개 더 있어요 과정의 나중에 |
|
|
|
07:20.800 --> 07:23.740 |
|
좀 더 고급 라이브러리예요 |
|
|
|
07:24.010 --> 07:29.810 |
|
첫 번째는 페프트인데 매개 변수 효율 미세 조정의 약자죠 |
|
|
|
07:29.990 --> 07:39.890 |
|
이 유틸리티 덕분에 수십억 개의 변수를 다루지 않고 llm을 |
|
|
|
07:39.890 --> 07:42.290 |
|
훈련할 수 있죠 |
|
|
|
07:42.290 --> 07:43.910 |
|
매개 변수 효율이죠 |
|
|
|
07:43.910 --> 07:49.400 |
|
특히 우리가 사용할 기술은 로라라고 하는데 로라의 변형이죠 |
|
|
|
07:49.400 --> 07:52.460 |
|
나중에 설명할 시간은 많아요 |
|
|
|
07:52.460 --> 07:54.710 |
|
하지만 우리가 사용할 거라는 걸 명심하세요 |
|
|
|
07:54.710 --> 07:59.750 |
|
페프트 라이브러리 매개 변수 효율적인 미세 조정의 일부죠 |
|
|
|
08:00.140 --> 08:07.550 |
|
트리알이라는 라이브러리도 있는데 트랜스포머 강화 학습의 약자죠 |
|
|
|
08:07.550 --> 08:09.440 |
|
몇 가지 조건이 있어요 |
|
|
|
08:09.440 --> 08:13.730 |
|
보상 모델링 같은 걸 하는 능력이죠 |
|
|
|
08:14.060 --> 08:14.630 |
|
네 |
|
|
|
08:14.630 --> 08:20.630 |
|
최측근 정책 최적화 PPO라고도 하죠 |
|
|
|
08:20.900 --> 08:24.200 |
|
음미로와 PPO에 대해 가끔 언급하실 텐데요 |
|
|
|
08:24.200 --> 08:32.720 |
|
이건 앞서 언급한 WRF와 관련이 있어요 더 나은 후속 |
|
|
|
08:32.990 --> 08:43.100 |
|
방식이죠 LMS를 훈련하는 방법이요 채팅에서 효과적이죠 |
|
|
|
08:43.100 --> 08:48.620 |
|
2022년 말 챗GPT가 탄생한 핵심 혁신이었죠 |
|
|
|
08:48.650 --> 08:52.130 |
|
많은 코드가 TRL 내에 있어요 |
|
|
|
08:52.160 --> 09:00.290 |
|
TRL에는 감독 미세 조정과 SFT라는 게 있는데 나중에 코스에서도 직접 |
|
|
|
09:00.290 --> 09:02.390 |
|
사용할 거예요 |
|
|
|
09:02.390 --> 09:10.220 |
|
오픈 소스 모델을 조정하기 위해 사용하는 라이브러리입니다 특정 문제가 |
|
|
|
09:10.220 --> 09:14.540 |
|
있는 특정 도메인에서 더 효과적으로요 |
|
|
|
09:14.540 --> 09:20.240 |
|
TRL 라이브러리의 미세한 조율을 담당했죠 |
|
|
|
09:20.330 --> 09:21.380 |
|
전부 두문자어예요 |
|
|
|
09:21.830 --> 09:30.230 |
|
TRL의 일부예요 아주 중요한 프레임워크죠 |
|
|
|
09:30.350 --> 09:32.570 |
|
이건 좀 더 고급이죠 나중에 다시 올게요 Get in get |
|
|
|
09:32.600 --> 09:37.020 |
|
지금 당장 다 외울 필요는 없어요 이 약어들도 확실히 기억할 필요는 |
|
|
|
09:37.140 --> 09:42.990 |
|
없고요 하지만 제가 그 씨앗을 심어서 나중에 봤을 때 이미 들어본 것으로 만들게요 |
|
|
|
09:44.160 --> 09:51.240 |
|
다른 하나는 무대 뒤의 것에 더 가깝지만 불러와서 이용하는 걸 종종 보실 |
|
|
|
09:51.330 --> 09:52.590 |
|
수 있어요 |
|
|
|
09:52.620 --> 10:01.890 |
|
가속이라고 하는데 고급 안기체 코드예요 어떤 분산 구성에서도 트랜스포머가 |
|
|
|
10:01.890 --> 10:05.670 |
|
작동할 수 있게 해 주죠 |
|
|
|
10:05.670 --> 10:13.350 |
|
훈련과 추론 둘 다 가능합니다 효율적이고 적응성 있는 방법으로 여러 GPU에 걸쳐 실행할 |
|
|
|
10:13.350 --> 10:14.760 |
|
수 있도록요 |
|
|
|
10:14.760 --> 10:19.950 |
|
우리가 할 실험은 최대 1개의 GPU로 진행되지만요 |
|
|
|
10:20.910 --> 10:26.820 |
|
얼굴을 껴안는 것 뒤에 있는 주요 라이브러리예요 |
|
|
|
10:27.660 --> 10:28.590 |
|
지금은요 |
|
|
|
10:28.590 --> 10:31.140 |
|
Get it get 이제 포옹하는 모습을 볼 때가 됐어요 |
|
|
|
10:31.140 --> 10:38.070 |
|
그럼 좀 둘러보죠 포옹하는 얼굴 플랫폼부터요
|
|
|