From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
550 lines
15 KiB
550 lines
15 KiB
WEBVTT |
|
|
|
00:00.350 --> 00:08.060 |
|
구글 Colab입니다 GPU 박스를 이용한 클라우드에서의 첫 협업 세션이죠 |
|
|
|
00:08.090 --> 00:15.110 |
|
T4 박스에 연결했습니다 하위 사양 중 하나죠 |
|
|
|
00:15.350 --> 00:16.880 |
|
여기 리소스가 보이시죠 |
|
|
|
00:16.880 --> 00:24.170 |
|
이걸 실행하면 GPU 대부분을 채울 수 있죠 런타임으로 가서 재시작 |
|
|
|
00:24.200 --> 00:31.520 |
|
세션을 했어요 그래서 GPU 메모리가 아무것도 안 된 거죠 |
|
|
|
00:31.520 --> 00:36.230 |
|
어쨌든 방해되지 않게 이 스크린을 제거할게요 |
|
|
|
00:36.680 --> 00:37.550 |
|
됐어요 |
|
|
|
00:37.940 --> 00:41.210 |
|
콜랍 좀 보세요 |
|
|
|
00:41.210 --> 00:47.930 |
|
파이프라인의 세계로 시작하겠습니다 얼굴을 끌어안는 트랜스포머 라이브러리에 |
|
|
|
00:47.960 --> 00:51.710 |
|
파이프라인이라는 두 API 레벨이 있어요 |
|
|
|
00:51.710 --> 00:55.670 |
|
오늘의 토큰라이저와 모델에 관해선 나중에 얘기하죠 |
|
|
|
00:55.670 --> 01:02.920 |
|
파이프라인에 관한 거죠 상위 레벨 API 말이에요 일반적인 작업에 대한 추론을 실행하게 |
|
|
|
01:02.920 --> 01:11.440 |
|
합니다 코드 두어 줄로요 프로덕션에서 마찰 없이 오픈 소스 모델을 쉽게 사용하게 해주죠 |
|
|
|
01:11.950 --> 01:16.360 |
|
우리가 사용하는 방법은 아주 간단해요 |
|
|
|
01:16.690 --> 01:23.920 |
|
파이프라인을 호출하고 문자열을 전달합니다 원하는 작업을 전달하죠 |
|
|
|
01:23.920 --> 01:28.960 |
|
여러분이 넘길 수 있는 다양한 것들이 있어요 다양한 문자열이죠 잠시 후에 그게 뭔지 보실 |
|
|
|
01:28.960 --> 01:29.830 |
|
수 있어요 |
|
|
|
01:29.830 --> 01:35.200 |
|
파이프라인 객체를 얻어서 입력으로 호출할 수 있고 get 결과도 얻을 수 있죠 |
|
|
|
01:35.200 --> 01:36.760 |
|
그게 다예요 |
|
|
|
01:36.760 --> 01:37.930 |
|
간단해요 |
|
|
|
01:38.020 --> 01:44.170 |
|
트랜스포머 라이브러리 설치부터 시작할게요 모든 것의 핵심이죠 |
|
|
|
01:44.170 --> 01:48.640 |
|
데이터셋은 얼굴을 포옹하는 데이터셋 라이브러리예요 |
|
|
|
01:48.640 --> 01:53.890 |
|
디퓨저는 트랜스포머의 동반 라이브러리 같은 거예요 이미지를 만들어내는 디퓨전 |
|
|
|
01:53.890 --> 01:55.210 |
|
모델 말이에요 |
|
|
|
01:55.240 --> 02:02.110 |
|
트랜스포머라고 하면 트랜스포머와 형제 라이브러리 디퓨저를 말하는 거예요 |
|
|
|
02:02.110 --> 02:05.250 |
|
이미지를 만들 때 쓰는 거죠 |
|
|
|
02:05.250 --> 02:07.920 |
|
파이프를 설치하고 있어요 |
|
|
|
02:08.040 --> 02:13.830 |
|
a 셀 앞에 저런 느낌표가 있으면 터미널 명령으로 실행하고 싶다는 |
|
|
|
02:13.830 --> 02:15.330 |
|
뜻이에요 |
|
|
|
02:15.330 --> 02:16.530 |
|
실행될 거예요 |
|
|
|
02:16.530 --> 02:23.970 |
|
이 마이너스 Q를 모르신다면 침묵 모드로 설정합니다. 모든 패키지를 설치하는 출력을 얻지 않기 위해서입니다. 하지만 지금은 |
|
|
|
02:24.000 --> 02:28.020 |
|
설치가 빠르게 이루어지고 있습니다. 왜냐하면 아까 이 노트북을 실행해 |
|
|
|
02:28.020 --> 02:29.790 |
|
봤기 때문이죠. |
|
|
|
02:29.790 --> 02:33.210 |
|
패키지가 설치되는 동안 30이 걸릴 수도 있어요 |
|
|
|
02:33.510 --> 02:36.030 |
|
그런 다음 수입을 할 거예요 |
|
|
|
02:37.590 --> 02:43.020 |
|
Get을 완료하고 나면 파이프라인으로 넘어가죠 |
|
|
|
02:43.050 --> 02:44.490 |
|
Get it, Get it 준비하세요 |
|
|
|
02:44.490 --> 02:50.220 |
|
먼저 감정 분석은 긍정적이거나 부정적인 비트예요 |
|
|
|
02:50.220 --> 02:56.670 |
|
이 말부터 할게요 LM 마스터로 가는 길에 들어서 정말 신나요 |
|
|
|
02:56.790 --> 02:59.940 |
|
좋은 건지 나쁜 건지 모르겠네요 |
|
|
|
03:00.120 --> 03:03.500 |
|
몇 가지 주의할 점이 있어요 |
|
|
|
03:03.710 --> 03:10.250 |
|
먼저, 어떤 모델도 제공되지 않았고 기본값이 이 모델에 있다고 경고하네요 |
|
|
|
03:10.250 --> 03:16.700 |
|
무슨 뜻이냐면 모델 =이라고 입력하면 안는 얼굴 허브에서 어떤 모델을 이 파이프라인의 |
|
|
|
03:16.730 --> 03:19.790 |
|
일부로 사용할 건지 정할 수 있다는 거죠 |
|
|
|
03:19.790 --> 03:25.160 |
|
하나를 제공하지 않으면 해당 작업에 대한 기본값을 선택합니다 오늘 우리 목적에 아주 |
|
|
|
03:25.160 --> 03:25.880 |
|
유용하죠 |
|
|
|
03:26.090 --> 03:32.600 |
|
또 다른 건 환경에서 GPU가 사용 가능하지만 GPU를 사용하라고 하진 않았다는 |
|
|
|
03:32.600 --> 03:37.430 |
|
겁니다 비트는 우리가 좀 이상하다고 생각하죠 |
|
|
|
03:37.460 --> 03:46.100 |
|
장치가 CUDOW와 같다고 하면 그렇게 할 수 있어요 그럼 그 명령은 이 파이프라인을 사용하고 |
|
|
|
03:46.100 --> 03:51.290 |
|
싶다고 하죠 우리가 가진 GPU 덕을 보고 싶다고요 |
|
|
|
03:52.130 --> 03:57.050 |
|
이제 실행했어요 GPU 상에서 실행됐죠 |
|
|
|
03:57.050 --> 03:59.330 |
|
결과도 살펴보는 게 좋겠어요 |
|
|
|
03:59.330 --> 04:05.050 |
|
긍정적인 성명서로 간주되고 있습니다 점수인 자신감 수준도 |
|
|
|
04:05.080 --> 04:06.460 |
|
매우 높고요 |
|
|
|
04:06.460 --> 04:08.080 |
|
좋은 것 같아요 |
|
|
|
04:08.080 --> 04:11.560 |
|
그 문장을 잘 해석한 것 같아요 |
|
|
|
04:11.560 --> 04:13.960 |
|
안 된다고만 해두죠 |
|
|
|
04:13.990 --> 04:18.010 |
|
LLM 마스터가 되는 게 썩 기쁘진 않아요 |
|
|
|
04:18.040 --> 04:18.970 |
|
그럴 리가요 |
|
|
|
04:18.970 --> 04:22.120 |
|
그런 생각은 안 하셨으면 좋겠는데 확인해 보죠 |
|
|
|
04:22.120 --> 04:27.940 |
|
우리가 그렇게 말하면 라벨이 부정적이라는 걸 확실히 인식하고 부정적 |
|
|
|
04:27.940 --> 04:31.090 |
|
선언이라는 걸 확신할 수 있죠 |
|
|
|
04:31.090 --> 04:35.440 |
|
잘 작동하네요 열정적으로 마무리하죠 |
|
|
|
04:35.470 --> 04:37.630 |
|
그렇게 생각하길 바라죠 |
|
|
|
04:38.080 --> 04:40.720 |
|
독립체 인식이 다음 작업이죠 |
|
|
|
04:40.720 --> 04:44.890 |
|
난 파이프라인이나 통과할 테니 당신도 직접 해 봐요 |
|
|
|
04:44.920 --> 04:50.530 |
|
물론 엔터티 인지션은 여러분이 텍스트를 제공하고 모델에게 어떤 종류의 |
|
|
|
04:50.530 --> 04:53.080 |
|
것이 참조되는지 확인하는 거죠 |
|
|
|
04:53.110 --> 04:56.500 |
|
이건 제가 찍은 표준 사진이에요 |
|
|
|
04:56.530 --> 05:00.310 |
|
버락 오바마는 미국의 44대 대통령이었죠 |
|
|
|
05:00.670 --> 05:13.350 |
|
분석을 요청하면 여기에 반응을 해요 두 가지 다른 이름으로 |
|
|
|
05:13.380 --> 05:15.840 |
|
응답하죠 |
|
|
|
05:15.960 --> 05:22.590 |
|
여기 이 텍스트를 보시면 첫 번째 명명된 엔터티의 형식은 사람 이름 당 퍼예요 |
|
|
|
05:22.950 --> 05:27.030 |
|
자신감이 넘치고 이름은 버락 오바마예요 |
|
|
|
05:27.120 --> 05:33.510 |
|
두 번째는 장소 이름인데 미국이라는 뜻이에요 |
|
|
|
05:33.510 --> 05:38.850 |
|
입력에서 어디에 있는지 알려주는 거죠 |
|
|
|
05:39.300 --> 05:45.570 |
|
데이터 과학에서는 아주 흔한 사용 사례입니다 원하는 대로 빨리 할 수 |
|
|
|
05:45.570 --> 05:46.860 |
|
있으면 좋죠 |
|
|
|
05:47.160 --> 05:53.010 |
|
컨텍스트를 이용한 질문 답변 파이프라인을 만들 수 있어요 |
|
|
|
05:53.010 --> 05:59.250 |
|
다시 한 번 이 장치의 CUDU를 이용해 GPU에서 실행하고 누가 미국의 44대 대통령이었는지 |
|
|
|
05:59.250 --> 06:02.640 |
|
컨텍스트를 제공한다고 하죠 |
|
|
|
06:02.640 --> 06:09.770 |
|
검색할 게 있고 결과를 프린트하도록 요청하는데 결과에 대한 놀라운 |
|
|
|
06:09.770 --> 06:11.480 |
|
답변이 없어요 |
|
|
|
06:11.480 --> 06:12.170 |
|
아마도요 |
|
|
|
06:12.170 --> 06:14.750 |
|
이 모델의 힘을 과시하려는 게 아니에요 |
|
|
|
06:14.750 --> 06:17.930 |
|
파이프라인 API의 단순함을 보여주려는 거예요 |
|
|
|
06:17.960 --> 06:23.420 |
|
더 정교한 컨텍스트와 더 나은 질문을 가지고 놀 수 있습니다 다양한 모델을 통과시켜 |
|
|
|
06:23.660 --> 06:29.540 |
|
보는 것도 추천합니다 페이스 허브에서 이용 가능한 다양한 모델을 탐구해 보세요 |
|
|
|
06:30.110 --> 06:32.780 |
|
텍스트 요약도 간단해요 |
|
|
|
06:32.810 --> 06:35.360 |
|
파이프라인도 빼놓을 수 없죠 |
|
|
|
06:35.360 --> 06:39.770 |
|
유형은 요약이고 많은 텍스트를 쓸 수 있어요. Tool karaoke Tool karaoke. |
|
|
|
06:39.800 --> 06:44.840 |
|
포옹하는 트랜스포머 라이브러리 얘기를 하고 있네요 |
|
|
|
06:45.290 --> 06:52.760 |
|
요약본을 요청하고 짧은 시간 동안 최대 길이로 말하면 get 절차가 짧고 |
|
|
|
06:52.760 --> 06:56.180 |
|
명료한 문장으로 돌아오죠 |
|
|
|
06:56.300 --> 07:00.530 |
|
이미 넣은 걸 토막 내서 얹은 거예요 |
|
|
|
07:00.530 --> 07:03.590 |
|
잘 만들진 못했지만 단순한 모형이었어요 |
|
|
|
07:03.590 --> 07:07.650 |
|
더 나은 모델에서 더 나은 요약본을 탐구할 수 있어요 |
|
|
|
07:07.920 --> 07:11.400 |
|
시간 되시면 통역해 드릴게요 |
|
|
|
07:11.430 --> 07:13.740 |
|
영어로 번역해 주세요 |
|
|
|
07:13.740 --> 07:14.610 |
|
프랑스어로요 |
|
|
|
07:15.060 --> 07:21.450 |
|
데이터 과학자들은 어징 페이스 파이프라인 API의 힘과 단순함에 정말 놀랐죠 |
|
|
|
07:21.930 --> 07:28.260 |
|
프랑스어를 구사하는 모든 분께 어떻게 작동하는지 보죠 |
|
|
|
07:28.290 --> 07:34.350 |
|
고등학교 때 배운 프랑스어가 뛰어나다는 말은 안 하겠지만 허징 페이스 파이프라인의 |
|
|
|
07:34.350 --> 07:39.720 |
|
강력하고 단순한 API에 놀랐다고는 말해 줄 수 있죠 |
|
|
|
07:39.720 --> 07:45.330 |
|
제 프랑스어 실력으로는 꽤 확실한 번역인 것 같네요 |
|
|
|
07:45.330 --> 07:52.230 |
|
아주 쉬운 분류, 혹은 제로 샷 분류라 불리는 건 그냥 예만 주고 일부 |
|
|
|
07:52.230 --> 07:57.600 |
|
라벨을 붙이라고 할 때죠 이전 예는 주지 않고요 |
|
|
|
07:57.810 --> 08:03.720 |
|
그래서 얼굴 껴안기 트랜스포머 라이브러리는 굉장하다고 표현하고 기술, 스포츠, |
|
|
|
08:03.750 --> 08:06.150 |
|
정치 등으로 분류하라고 했어요 |
|
|
|
08:06.150 --> 08:08.660 |
|
어떻게 작동하는지 보죠 |
|
|
|
08:09.050 --> 08:15.200 |
|
기술 라벨이라고 적혀 있어요 |
|
|
|
08:15.230 --> 08:20.810 |
|
95%의 점수를 받았지만 스포츠와 정치학에서는 아주 낮은 점수를 받았죠 |
|
|
|
08:20.810 --> 08:21.500 |
|
정치요 |
|
|
|
08:21.500 --> 08:23.090 |
|
가장 낮은 수치죠 |
|
|
|
08:23.180 --> 08:29.360 |
|
특히나 기술과 직접적으로 관련된 단어가 없었으니까요 |
|
|
|
08:29.360 --> 08:31.100 |
|
나쁘지 않네요 |
|
|
|
08:31.430 --> 08:37.340 |
|
마지막으로 이 시리즈의 정말 간단한 건 텍스트 생성이에요 |
|
|
|
08:37.370 --> 08:43.160 |
|
H깅페이스 파이프라인을 사용할 때 기억해야 할 게 하나 있다면 그건∙∙∙ 어디 보죠 |
|
|
|
08:43.190 --> 08:46.910 |
|
바닐라 모델을 사용하고 있지만 어떻게 처리하는지 보죠 |
|
|
|
08:48.830 --> 08:53.240 |
|
노틸러스호에서 실행되는 모든 응용 프로그램은 컴파일된 것처럼 안는 얼굴 패키지를 |
|
|
|
08:53.240 --> 08:54.350 |
|
목표로 하죠 |
|
|
|
08:54.350 --> 08:55.340 |
|
비트가 좀 뜬금없죠 |
|
|
|
08:55.340 --> 08:59.720 |
|
전에 했던 검사에서는 결과가 더 좋았어요 |
|
|
|
08:59.900 --> 09:02.030 |
|
얼마나 잘 회복하는지가 중요하죠 |
|
|
|
09:02.060 --> 09:04.400 |
|
모든 프로젝트가 그렇듯 위험 부담을 감수해야 해요 |
|
|
|
09:04.430 --> 09:05.630 |
|
언제 끝까지 밀어붙여야 하는지 기억하세요 |
|
|
|
09:05.660 --> 09:09.520 |
|
어떻게 시작됐는지에 따라 횡설수설하는 거죠 |
|
|
|
09:09.520 --> 09:13.210 |
|
좀 더 재미있는 시작을 해보고 어떻게 되는지 보세요 |
|
|
|
09:13.210 --> 09:17.260 |
|
좀 더 크고 육중한 모델도 시도해 볼 수 있어요 get it get it get it get it get it get it |
|
|
|
09:17.290 --> 09:20.980 |
|
물론 텍스트 생성에 있어서는 그게 더 정확하죠 |
|
|
|
09:21.700 --> 09:22.420 |
|
네 |
|
|
|
09:22.420 --> 09:30.970 |
|
이제 여러분은 다중 양식의 전문가들이니 이미지 생성을 보여드리죠 |
|
|
|
09:30.970 --> 09:35.800 |
|
지금까지는 트랜스포머 라이브러리를 사용했고 디퓨전 스타일 |
|
|
|
09:35.800 --> 09:41.590 |
|
모델로 영상을 전송하고 있어요 이미지를 생성하는 아키텍처죠 |
|
|
|
09:41.860 --> 09:50.080 |
|
잘 알려진 안정적 확산 모델을 사용하고 있는데 몇 가지 변수를 더 통과시켜야 해요 |
|
|
|
09:50.110 --> 09:51.010 |
|
곧 보시게 될 거예요 |
|
|
|
09:51.040 --> 09:54.010 |
|
우리가 사용하는 데이터 타입을 알려줘야 해요 |
|
|
|
09:54.400 --> 10:00.640 |
|
그 작업을 마치고 GPU 위에 얹으면 텍스트를 줄 수 있어요 |
|
|
|
10:00.640 --> 10:08.130 |
|
살바도르 달리의 초현실적인 스타일로 인공지능을 연구하는 데이터 과학자들이죠 |
|
|
|
10:08.400 --> 10:11.010 |
|
그 이미지를 생성해보죠 |
|
|
|
10:11.010 --> 10:13.050 |
|
이 비트는 시간이 좀 더 걸릴 거예요 |
|
|
|
10:13.050 --> 10:15.510 |
|
좀 더 비트 있는 작업이죠 |
|
|
|
10:15.750 --> 10:21.390 |
|
당신은 더 오래 걸릴 수도 있어요 저는 이미 한 번 실행해봤으니까요 |
|
|
|
10:21.390 --> 10:26.880 |
|
H깅페이스에서 모델을 다운로드해 로컬 디렉터리에 저장했어요 |
|
|
|
10:26.880 --> 10:30.960 |
|
실행하는 데 1분 정도 걸릴 수도 있어요 |
|
|
|
10:31.200 --> 10:32.970 |
|
하지만 시작할게요 |
|
|
|
10:32.970 --> 10:43.500 |
|
이 방에는 데이터 과학자들이 가득합니다 달리의 초현실적인 스타일로 인공지능을 배우고 |
|
|
|
10:43.500 --> 10:44.490 |
|
있죠 |
|
|
|
10:44.490 --> 10:45.960 |
|
정말 좋아요 |
|
|
|
10:45.990 --> 10:47.760 |
|
이 사람들과 닮았어요? |
|
|
|
10:47.970 --> 10:52.320 |
|
최악의 악몽에서만 그러는 게 아니라 저기도 그랬으면 좋겠네요 |
|
|
|
10:52.320 --> 10:55.110 |
|
초현실적인 달리예요 |
|
|
|
10:55.140 --> 10:57.840 |
|
무섭고 이상한 세상이죠 |
|
|
|
10:57.930 --> 11:01.350 |
|
데이터 과학자치고 정말 마음에 들어요 |
|
|
|
11:01.380 --> 11:07.530 |
|
이걸 플럭스 모델로 대체할 수 있어요 아까 강의에서 |
|
|
|
11:07.560 --> 11:11.450 |
|
코드를 보여드렸죠 |
|
|
|
11:11.630 --> 11:13.160 |
|
네, 그렇게 하세요 |
|
|
|
11:13.160 --> 11:18.170 |
|
시간이 더 오래 걸리고 T4보다 더 우람한 박스로 달려야 해요 |
|
|
|
11:18.200 --> 11:24.710 |
|
A100 카메라로 하면 몇 분이면 숨이 멎을 정도로 멋진 이미지가 완성되죠 |
|
|
|
11:24.740 --> 11:28.070 |
|
지난 강의에서 보여 드린 것처럼요 |
|
|
|
11:28.280 --> 11:34.520 |
|
하지만 저렴한 초고속 모델치고는 괜찮은 것 같아요 |
|
|
|
11:35.120 --> 11:39.680 |
|
마지막으로 오디오 세대예요 |
|
|
|
11:39.680 --> 11:45.440 |
|
텍스트-언어 파이프라인을 사용할 겁니다 어떤 모델을 원하는지 알려주는 거죠 |
|
|
|
11:45.470 --> 11:49.040 |
|
마이크로소프트의 스피치 5 TTS를 원하죠 |
|
|
|
11:49.040 --> 11:55.820 |
|
모델에 제공해야 할 게 좀 더 있어요 비트가 사용해야 할 음성의 종류 |
|
|
|
11:55.820 --> 11:56.900 |
|
같은 거요 |
|
|
|
11:56.900 --> 12:01.340 |
|
얼굴을 안는 것으로 데이터 세트를 로드하는 라인이 몇 개 있어요 |
|
|
|
12:01.490 --> 12:04.460 |
|
Get it으로 모양을 잡아야죠 |
|
|
|
12:04.460 --> 12:10.270 |
|
다 됐으면 파이프라인을 호출하고 인공 지능 엔지니어에게 |
|
|
|
12:10.270 --> 12:17.140 |
|
인사한 다음 이 음성 메시지를 전달할게요 |
|
|
|
12:17.410 --> 12:24.460 |
|
이건 웨이브 파일에 쓸 코드예요 |
|
|
|
12:24.820 --> 12:34.360 |
|
이 콜랍 공책에 그 내용을 담을 거예요 |
|
|
|
12:34.360 --> 12:36.220 |
|
꽤 빨랐어요 |
|
|
|
12:36.220 --> 12:38.050 |
|
소리가 어떤지 들어보죠 |
|
|
|
12:38.050 --> 12:38.830 |
|
안녕하세요 |
|
|
|
12:38.860 --> 12:43.450 |
|
숙련된 인공지능 엔지니어에게요 |
|
|
|
12:44.200 --> 12:45.520 |
|
괜찮은 것 같은데요 |
|
|
|
12:45.520 --> 12:50.590 |
|
텍스트에서 음성 생성 파이프라인을 사용하는 예가 되겠네요 |
|
|
|
12:50.800 --> 12:55.180 |
|
파이프라인 API의 Colab 워크스루가 끝났네요 |
|
|
|
12:55.180 --> 13:00.910 |
|
물론 이 Colab을 공유할 테니 여러분이 액세스할 수 있고 직접 시도해 |
|
|
|
13:00.910 --> 13:06.460 |
|
보시길 권장합니다 여러 입력값을 실험하고 H깅페이스 허브에서 찾을 |
|
|
|
13:06.460 --> 13:09.880 |
|
수 있는 여러 모델도 실험해 보세요 |
|
|
|
13:10.180 --> 13:10.990 |
|
맛있게 드세요
|
|
|