From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
451 lines
12 KiB
451 lines
12 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:03.140 |
|
구글 콜랍의 세계에 잘 오셨어요 |
|
|
|
00:03.140 --> 00:08.660 |
|
구글 콜랍에 대해 잘 아실지도 모르지만 그래도 몇 가지 보여드릴게요 |
|
|
|
00:08.780 --> 00:13.340 |
|
하지만 그게 아니라면 멋진 도구를 준비하세요 |
|
|
|
00:13.610 --> 00:17.630 |
|
콜랍과 비슷한 제품을 구글에 검색한 경쟁 업체도 있어요 |
|
|
|
00:17.750 --> 00:26.990 |
|
여기서 시작하거나 같은 걸 하길 권합니다 클라우드 컴퓨팅 플랫폼에서요 |
|
|
|
00:26.990 --> 00:33.140 |
|
구글 계정이 없다면 가장 먼저 구글 계정을 만드세요 |
|
|
|
00:33.170 --> 00:40.970 |
|
URL Colab으로 가보죠 연구요 구글 검색요 구글 계정이 없는 분들도 |
|
|
|
00:40.970 --> 00:43.850 |
|
계정을 만들라고 할 거예요 |
|
|
|
00:43.850 --> 00:44.840 |
|
그럴 가치가 있어요 |
|
|
|
00:44.840 --> 00:46.880 |
|
할 수 있는 일이 아주 많을 거예요 |
|
|
|
00:46.880 --> 00:50.240 |
|
그러니까 필요하면 그렇게 하세요 |
|
|
|
00:50.510 --> 00:56.990 |
|
하지만 다른 분들을 위해 이걸 보시면 콜랍에 대한 정보가 |
|
|
|
00:56.990 --> 00:58.010 |
|
나와요 |
|
|
|
00:58.010 --> 01:00.650 |
|
무료 계층과 유료 계층이 있어요 |
|
|
|
01:00.650 --> 01:02.900 |
|
무료 계층으로도 할 수 있는 게 정말 많아요 |
|
|
|
01:02.960 --> 01:07.320 |
|
이론상으로는 무료로 수업 내용을 거의 다 들을 수 있어야 해요 |
|
|
|
01:07.320 --> 01:08.820 |
|
시간이 좀 더 걸릴 뿐이죠 |
|
|
|
01:09.060 --> 01:13.680 |
|
유료 계층은 여러분이 얼마를 쓸지 결정할 수 있습니다 몇 달러 안에 비교적 적은 금액일 |
|
|
|
01:13.680 --> 01:14.430 |
|
수도 있죠 |
|
|
|
01:14.430 --> 01:20.490 |
|
그래서 반드시 고려해 보시길 권합니다 더 깊이 훈련할 수 있고 아주 |
|
|
|
01:20.490 --> 01:23.670 |
|
만족스러울 테니까요 Get it |
|
|
|
01:23.760 --> 01:32.460 |
|
콜랍 비트를 새로 만들면 바로 나오는 것과 비슷하죠 |
|
|
|
01:32.460 --> 01:34.890 |
|
주피터 공책과 아주 비슷해요 |
|
|
|
01:34.920 --> 01:41.820 |
|
코드나 텍스트가 될 수 있는 셀이 있어요 클릭해서 실행하면 코드를 실행할 |
|
|
|
01:41.820 --> 01:42.840 |
|
수 있죠 |
|
|
|
01:42.840 --> 01:45.990 |
|
이건 기본값으로 나오는 거죠 |
|
|
|
01:46.020 --> 01:49.950 |
|
드라이브에 새 공책을 철할 수 있어요 |
|
|
|
01:49.950 --> 01:56.280 |
|
드라이브에서는 이렇게 된대요 구글 드라이브에서 만든 노트라서 아주 편리하죠 |
|
|
|
01:56.280 --> 02:03.360 |
|
구글 문서나 구글 시트를 만드는 것과 같은 구성 구조를 갖고 있어요 다른 걸 공유하듯 |
|
|
|
02:03.360 --> 02:06.780 |
|
공유할 수 있는 방식으로 이뤄졌죠 |
|
|
|
02:06.780 --> 02:08.270 |
|
그래서 이렇게 됐죠 |
|
|
|
02:09.020 --> 02:14.840 |
|
제일 먼저 보이는 건 주피터 노트북처럼 보이는 연결 버튼이에요 |
|
|
|
02:14.840 --> 02:19.400 |
|
런타임 형식 변경부터 보여드릴게요 다양한 런타임과 |
|
|
|
02:19.400 --> 02:23.690 |
|
CPU를 실행할 다양한 VM을 보여주니까요 |
|
|
|
02:23.690 --> 02:29.480 |
|
다시 말해 일반 상자에는 GPU가 없다는 거죠 그래픽 처리 장치가 |
|
|
|
02:29.480 --> 02:35.900 |
|
없는 상자요 신경망 뒤에 있는 평행 행렬 수학을 실행하는 장치요 |
|
|
|
02:35.900 --> 02:41.300 |
|
CPU 상자를 선택하면 됩니다 무료 계층에서 많이 사용 가능하죠 |
|
|
|
02:41.330 --> 02:50.420 |
|
T4라는 저단 GPU 박스가 있는데 더 작은 GPU가 부착되어 있어요 |
|
|
|
02:50.420 --> 02:56.390 |
|
무료 요금제로도 구매하실 수 있어요 사용량에 따라 요금제한이 있지만 유료 요금제에서도 |
|
|
|
02:56.390 --> 02:58.340 |
|
아주 저렴해요 |
|
|
|
02:58.550 --> 03:05.630 |
|
L4는 사양이 좀 더 높은 비트와 A100은 가장 강한 비트로 |
|
|
|
03:05.630 --> 03:08.930 |
|
빨리 작업할 때 쓸 거예요 |
|
|
|
03:08.960 --> 03:12.150 |
|
비트는 좀 더 들지만 그래도 달러잖아요 |
|
|
|
03:12.180 --> 03:14.940 |
|
엄청난 양은 아니죠 |
|
|
|
03:14.940 --> 03:16.050 |
|
10달러면 Get이죠 |
|
|
|
03:16.050 --> 03:23.850 |
|
10달러만 있으면 24시간에서 48시간 동안 계속 훈련할 수 있어요 그 상자를 |
|
|
|
03:23.850 --> 03:26.580 |
|
계속 사용하면서요 |
|
|
|
03:26.580 --> 03:32.370 |
|
그래서 큰돈을 벌지는 못해도 a100을 많이 사용하면 |
|
|
|
03:32.370 --> 03:34.170 |
|
주목을 받게 되죠 |
|
|
|
03:34.830 --> 03:40.020 |
|
그래서 항상 얼마를 쓰는지 확인할 수 있고 언제든 더 싼 옵션이나 |
|
|
|
03:40.020 --> 03:43.500 |
|
무료 옵션을 선택할 수 있어요. |
|
|
|
03:43.530 --> 03:46.650 |
|
상자를 고르면 높은 램 버전이 나와요 |
|
|
|
03:46.650 --> 03:48.870 |
|
GPU 말고 CPU, 램에 관한 거죠 |
|
|
|
03:48.900 --> 03:54.030 |
|
GPU 램은 여러분이 고르는 인스턴스와 연결되어 있지만 높은 CPU, 램을 원하는지를 |
|
|
|
03:54.030 --> 03:55.290 |
|
선택할 수 있어요 |
|
|
|
03:55.290 --> 04:02.730 |
|
보통 양의 램을 가진 CPU 박스로 가서 연결 버튼을 눌러 박스에 연결할게요 |
|
|
|
04:02.790 --> 04:07.680 |
|
연결하는 데 시간이 좀 걸려요 상자를 찾아서 연결해야 하니까요 하지만 됐어요 |
|
|
|
04:07.710 --> 04:09.480 |
|
지금 우린 상자에 연결돼 있어요 |
|
|
|
04:09.480 --> 04:15.750 |
|
이 드롭다운으로 가서 리소스 보기에서 작업 중인 걸 보세요 |
|
|
|
04:15.780 --> 04:17.040 |
|
시스템 램이 보이죠 |
|
|
|
04:17.040 --> 04:24.840 |
|
이 박스는 거의 13기가이고 디스크 공간은 225기가예요 |
|
|
|
04:25.290 --> 04:35.910 |
|
여기로 가서 hello Data 과학 World 같은 걸 입력해 실행할 수 있어요 |
|
|
|
04:35.910 --> 04:39.150 |
|
놀랍게도 그 메시지가 인쇄됐어요 get it |
|
|
|
04:39.330 --> 04:42.990 |
|
놀랄 일은 없길 바라요 |
|
|
|
04:42.990 --> 04:46.530 |
|
주피터 노트북이 클라우드에서 CPU를 실행하고 있어요 |
|
|
|
04:46.560 --> 04:48.210 |
|
몇 가지 더 언급할 게 있어요 |
|
|
|
04:48.210 --> 04:50.370 |
|
이 아래를 보면 유용한 게 있어요 |
|
|
|
04:50.370 --> 04:56.520 |
|
이건 일종의 브라우저를 엽니다 파일 브라우저요 로컬 디스크로요 |
|
|
|
04:56.550 --> 05:01.380 |
|
이 부분 디스크는 일시적이고 이 상자를 다 쓰면 완전히 지워져요 |
|
|
|
05:01.380 --> 05:06.900 |
|
임시라고 생각하고 파일을 작성할 수 있습니다 그 후 모델이나 데이터를 |
|
|
|
05:06.900 --> 05:13.290 |
|
H깅페이스 허브에 업로드 할 수 있죠 나중에 다른 곳에서 다운로드 할 수 있도록요 |
|
|
|
05:13.290 --> 05:14.880 |
|
하지만 이건 일시적인 거예요 |
|
|
|
05:14.910 --> 05:16.290 |
|
아주 중요한 거예요 |
|
|
|
05:16.290 --> 05:21.000 |
|
이 열쇠는 당신 수첩과 관련된 비밀들을 여는 열쇠예요 |
|
|
|
05:21.000 --> 05:26.520 |
|
여기 환경 변수를 입력할 수 있어요 노트북 안에서 액세스할 수 있는 |
|
|
|
05:26.520 --> 05:27.090 |
|
거죠 |
|
|
|
05:27.120 --> 05:31.020 |
|
그건 공책 코드에 포함되면 안 되죠 |
|
|
|
05:31.050 --> 05:33.930 |
|
여기 보이는 건 인류 API 키예요 |
|
|
|
05:33.960 --> 05:37.530 |
|
OpenAI API 키와 포옹하는 얼굴 토큰이 있어요 |
|
|
|
05:37.530 --> 05:43.890 |
|
지난 비디오에서 만든 거죠 이 공책과 관련 있어요 |
|
|
|
05:43.920 --> 05:46.020 |
|
Add New 시크릿을 누르면 돼요 |
|
|
|
05:46.020 --> 05:48.270 |
|
제 모든 공책과 관련이 있어요 |
|
|
|
05:48.450 --> 05:51.870 |
|
콜라베의 비밀이라고 적어 놨거든요 |
|
|
|
05:51.870 --> 05:56.880 |
|
새 비밀 추가를 눌러 새 걸 만들 수 있어요 |
|
|
|
05:57.270 --> 06:01.590 |
|
여기서 공책 사용 권한을 바꿀 수 있어요 |
|
|
|
06:01.860 --> 06:05.280 |
|
제미니 만들기 핵심 옵션이 있네요 |
|
|
|
06:05.280 --> 06:10.500 |
|
제미니 키스와 교차 판매를 하는 거죠 제미니 키스를 만드는 건 어려운 |
|
|
|
06:10.530 --> 06:11.370 |
|
일이에요 |
|
|
|
06:11.370 --> 06:15.300 |
|
제미니 API 키를 만드는 더 쉬운 길이 있을지도 몰라요 |
|
|
|
06:15.300 --> 06:16.740 |
|
시도해 볼 만하겠어요 |
|
|
|
06:16.770 --> 06:20.460 |
|
제미니 API 키를 설정하는 복잡한 과정을 아직 안 거쳤다면요 |
|
|
|
06:20.670 --> 06:26.340 |
|
그래서... 나중에 말씀드리려고 했는데 주피터 수첩에서 열쇠에 접근하는 방법을 알아낼 |
|
|
|
06:26.340 --> 06:27.180 |
|
거예요 |
|
|
|
06:27.180 --> 06:30.540 |
|
하지만 놀랍게도 작은 스크립트렛 코드를 제공했어요 |
|
|
|
06:30.540 --> 06:36.690 |
|
나중에 그렇게 할 겁니다 오른쪽 코드에 있는 우리 비밀에 접근하기 위해서요 |
|
|
|
06:36.690 --> 06:40.020 |
|
그러니까 기회 있을 때 이런 거 좀 만들어 놔요 get it get it |
|
|
|
06:40.050 --> 06:45.630 |
|
특히 실제 노트북으로 작업할 땐 이 스위치를 켜서 셀에서 |
|
|
|
06:45.630 --> 06:50.820 |
|
이 코드를 실행할 때 해당 비밀에 접근하게 해야죠 |
|
|
|
06:51.120 --> 06:56.100 |
|
그리고 아시다시피 이 비밀의 강력한 힘은 이 공책을 다른 사람과 공유하면 |
|
|
|
06:56.100 --> 06:59.490 |
|
코드를 모두 얻게 된다는 거죠. Get it. |
|
|
|
06:59.490 --> 07:02.100 |
|
물론 비밀을 공유하진 못하죠 Get it |
|
|
|
07:02.100 --> 07:07.380 |
|
코드를 실행하려면 자신의 비밀을 입력해야 하죠 |
|
|
|
07:07.380 --> 07:12.240 |
|
마찬가지로 공책을 공유할 때도 같은 일이 적용되죠 |
|
|
|
07:12.240 --> 07:18.180 |
|
코드를 활용하고 프론티어 모델에 적용하려면 여러분의 토큰을 넣어야 |
|
|
|
07:18.180 --> 07:23.850 |
|
합니다 또는 for 포옹 얼굴 허브 같은 걸 사용하세요 |
|
|
|
07:24.600 --> 07:26.700 |
|
이제 닫을게요 |
|
|
|
07:26.700 --> 07:30.930 |
|
좀 더 강력한 상자들을 보여드릴게요 |
|
|
|
07:30.930 --> 07:34.500 |
|
기억하시겠지만 런타임 형식을 바꿀 수 있어요 |
|
|
|
07:34.500 --> 07:38.040 |
|
T4를 클릭하면 사용하실 수 있어요 |
|
|
|
07:38.040 --> 07:40.080 |
|
아까도 그랬고요 |
|
|
|
07:40.230 --> 07:45.150 |
|
이렇게 한 이유는 상자에 연결하는 데 시간이 좀 걸리기 때문이에요 |
|
|
|
07:45.150 --> 07:50.700 |
|
A100처럼 고성능 박스가 있으면 구하기가 힘들어서 2분 후에 |
|
|
|
07:50.700 --> 07:54.180 |
|
다시 와서 시도해 봐야 구할 수 있어요 |
|
|
|
07:54.180 --> 07:58.710 |
|
언제나 두어 번 시도하면 구할 수 있지만 너무 많이 팔려서 몇 번 |
|
|
|
07:58.710 --> 08:00.660 |
|
시도해야 할 때도 있어요 |
|
|
|
08:00.660 --> 08:02.580 |
|
이건 T4 박스인데요 |
|
|
|
08:02.580 --> 08:09.210 |
|
리소스를 보면 12개와 시스템 램이 약간 있네요 |
|
|
|
08:09.210 --> 08:12.780 |
|
하드 드라이브는 좀 작지만요 |
|
|
|
08:12.960 --> 08:15.690 |
|
전에는 200달러였는데 지금은 200달러예요 |
|
|
|
08:15.690 --> 08:16.980 |
|
디스크 공간이 충분하죠 |
|
|
|
08:16.980 --> 08:24.000 |
|
15GB 램이 있는 GPU가 있는데 GPU에 15GB 램은 너무 많은 것 같아요 |
|
|
|
08:24.000 --> 08:28.240 |
|
하지만 심층 신경망 훈련에 관해선 자그마한 GPU 수준이지만 |
|
|
|
08:28.270 --> 08:30.490 |
|
우리 목적에는 충분하죠 |
|
|
|
08:30.490 --> 08:32.920 |
|
이 수업에서 활용할 수 있을 거예요 |
|
|
|
08:33.130 --> 08:38.110 |
|
하지만 어떤 일은 시간이 오래 걸릴 수도 있어요 |
|
|
|
08:38.260 --> 08:45.100 |
|
이건 코드인데 복사한 겁니다 구글 프롬프트 원본 콜라브에서요 |
|
|
|
08:45.100 --> 08:51.970 |
|
GPU 뒤의 세부 정보를 출력한 거죠 15GB에서 사용하는 메모리도 |
|
|
|
08:52.000 --> 08:54.250 |
|
포함해서요 |
|
|
|
08:54.280 --> 08:57.040 |
|
물론 여기서도 볼 수 있지만요 |
|
|
|
08:58.000 --> 09:02.110 |
|
이게 T4 상자예요 |
|
|
|
09:02.110 --> 09:05.410 |
|
A100 박스를 보여 드릴게요 |
|
|
|
09:05.410 --> 09:11.290 |
|
이건 슈퍼 파워로 가끔 돈을 펑펑 쓰며 사용할 수도 있어요 |
|
|
|
09:11.290 --> 09:17.440 |
|
이 수업을 빠르게 진행하고 좋은 결과를 빨리 보여드리기 위한 정신이죠 |
|
|
|
09:17.590 --> 09:21.700 |
|
리소스를 보면 어떤 상황인지 알 수 있어요 |
|
|
|
09:21.700 --> 09:29.380 |
|
40기가 램이 있고 GPU는 아주 큰 GPU죠 |
|
|
|
09:29.380 --> 09:34.240 |
|
격렬한 훈련을 하는 데 유용할 거예요 |
|
|
|
09:34.480 --> 09:37.750 |
|
이걸 이용해서 더 자세한 걸 인쇄할 수 있어요 |
|
|
|
09:37.840 --> 09:46.930 |
|
2메가바이트로 사용하고 있는 걸 보실 수 있어요 사용 가능한 메모리 40GB에서 아무것도 |
|
|
|
09:46.930 --> 09:49.270 |
|
하지 않을 때요 |
|
|
|
09:49.870 --> 09:53.200 |
|
콜랍에 대해 간단히 살펴봤는데요 |
|
|
|
09:53.200 --> 09:57.040 |
|
또 한 가지 언급할 것은 공유 버튼이에요 |
|
|
|
09:57.070 --> 10:03.880 |
|
공유 버튼을 누르면 아주 익숙한 인터페이스가 보일 겁니다 구글 드라이브를 사용한다면 구글 |
|
|
|
10:03.880 --> 10:07.600 |
|
드라이브의 다른 모든 것과 똑같을 테니까요 |
|
|
|
10:07.630 --> 10:13.600 |
|
허가 수준에 따라 다른 그룹과 이 노트를 공유할 수 있어요 협업하는 |
|
|
|
10:13.600 --> 10:16.330 |
|
데 효과적인 방법이죠 |
|
|
|
10:16.330 --> 10:26.110 |
|
친구, 동료, 동료와 함께 인공지능 프로젝트를 진행하고 계시죠? |
|
|
|
10:26.110 --> 10:29.380 |
|
물론 협업하기에 아주 효과적인 방법이죠 |
|
|
|
10:29.410 --> 10:32.980 |
|
구글 Colab 설정이 가진 가장 큰 장점 중 하나죠 |
|
|
|
10:33.220 --> 10:33.910 |
|
좋아요 |
|
|
|
10:33.910 --> 10:35.500 |
|
다음 강의 때 뵙죠
|
|
|