From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
328 lines
9.3 KiB
328 lines
9.3 KiB
WEBVTT |
|
|
|
00:00.050 --> 00:02.540 |
|
이제 모델에 대해 비트 좀 할게요 |
|
|
|
00:02.570 --> 00:10.190 |
|
프런티어 모델이라는 용어가 종종 등장하는데 오늘날 가능한 가장 큰 모델을 |
|
|
|
00:10.190 --> 00:13.760 |
|
개척하는 llms를 뜻하죠 |
|
|
|
00:13.760 --> 00:18.830 |
|
사람들이 개척자 모델이라고 할 때 주로 비공개 소스 모델을 말합니다 GPT나 |
|
|
|
00:18.830 --> 00:21.230 |
|
클로드 같은 유료 모델이죠 |
|
|
|
00:21.260 --> 00:26.420 |
|
사실, 프런티어 모델이라고 하는 사람들도 있어요 가장 크고 강력한 오픈 |
|
|
|
00:26.420 --> 00:28.160 |
|
소스 모델을 언급할 때요 |
|
|
|
00:28.160 --> 00:30.770 |
|
문맥에 따라 둘 다 될 수 있어요 |
|
|
|
00:30.770 --> 00:35.300 |
|
먼저 비공개 프런티어 모델에 대해 얘기해 보죠 |
|
|
|
00:35.780 --> 00:38.450 |
|
슈퍼 스케일러라고도 불리죠 |
|
|
|
00:38.480 --> 00:42.140 |
|
가장 크고 높은 모형이죠 |
|
|
|
00:42.140 --> 00:47.120 |
|
먼저, 오픈AI의 GPT는 설명이 필요 없겠죠? |
|
|
|
00:47.210 --> 00:54.020 |
|
2022년 말 챗GPT가 나왔을 때 그 출력에 다들 깜짝 놀랐어요 |
|
|
|
00:54.350 --> 00:56.210 |
|
당신도 잘 알 거예요 |
|
|
|
00:56.240 --> 00:58.370 |
|
인류학의 클로드예요 |
|
|
|
00:58.490 --> 01:01.700 |
|
앤트로픽은 오픈라이의 경쟁자죠 |
|
|
|
01:01.730 --> 01:02.840 |
|
잘 알려진 사실이죠 |
|
|
|
01:02.840 --> 01:06.530 |
|
데이터 과학자들이 좋아하는 건 클로드예요 |
|
|
|
01:06.560 --> 01:12.230 |
|
클로드와 GPT는 현재 순위표에서 막상막하로 평가받죠 |
|
|
|
01:12.260 --> 01:14.060 |
|
클로드는 살짝 더 날카롭죠 |
|
|
|
01:14.150 --> 01:17.090 |
|
제미니는 구글의 참가자죠 |
|
|
|
01:17.330 --> 01:21.800 |
|
라마를 검색했을 때 기억하실 거예요 구글에도 제마가 있어요 |
|
|
|
01:21.830 --> 01:23.900 |
|
오픈 소스 변종도요 |
|
|
|
01:23.900 --> 01:28.370 |
|
명령 R은 코어에서 접할 수도 있고 아닐 수도 있어요 |
|
|
|
01:28.400 --> 01:29.750 |
|
캐나다 인공지능 회사요 |
|
|
|
01:29.750 --> 01:36.440 |
|
당황스러움은 검색 엔진으로 다른 모델을 사용할 수 있지만 모델 그 자체도 |
|
|
|
01:36.440 --> 01:37.700 |
|
있어요 |
|
|
|
01:37.730 --> 01:41.210 |
|
이건 개척 시대의 대형 모델이에요 |
|
|
|
01:41.420 --> 01:44.780 |
|
오픈 소스 모델에 대해 얘기해보죠 |
|
|
|
01:44.780 --> 01:52.610 |
|
라마는 메타에서 따온 이름인데 오픈 소스 모델 중 가장 유명하죠 메타가 원조 라마를 |
|
|
|
01:52.610 --> 02:00.080 |
|
오픈 소스 소스 오픈 소싱해 오픈 소스 LMS 영역의 길을 포장한 거니까요 |
|
|
|
02:00.200 --> 02:05.270 |
|
프랑스 회사 미스트랄의 미스트랄도 있는데 모델명이에요 전문가들을 |
|
|
|
02:05.270 --> 02:07.010 |
|
섞은 거죠 |
|
|
|
02:07.010 --> 02:09.770 |
|
작은 모델도 여러 개 포함돼 있죠 |
|
|
|
02:10.160 --> 02:14.210 |
|
퀜은 오바마와 경기할 때 제가 언급했던 모델이에요 |
|
|
|
02:14.210 --> 02:16.010 |
|
강력한 모델이죠 |
|
|
|
02:16.010 --> 02:23.390 |
|
알리바바 클라우드에서 나온 건데 정말 인상적이에요 콴을 가끔 사용할 거예요 말씀드렸듯이 |
|
|
|
02:23.390 --> 02:26.750 |
|
크기에 비해 아주 강력하거든요 |
|
|
|
02:26.780 --> 02:34.490 |
|
젬마는 구글의 작은 모델이고 Fi는 마이크로소프트의 작은 오픈 소스 모델이죠 |
|
|
|
02:35.510 --> 02:38.990 |
|
헷갈리지만 아주 중요해요 |
|
|
|
02:38.990 --> 02:43.820 |
|
이미 아는 분들도 있겠지만 몇몇 분들은 계속 마음에 |
|
|
|
02:43.820 --> 02:45.470 |
|
걸렸을 거예요 |
|
|
|
02:45.470 --> 02:47.840 |
|
확실히 해두고 싶어요 |
|
|
|
02:47.840 --> 02:54.020 |
|
완전히 다른 접근법으로 모델을 사용할 수 있는 다양한 방법이 있어요 그 둘의 차이를 |
|
|
|
02:54.020 --> 02:58.430 |
|
이해하는 게 중요하죠 마주쳤을 때 다른 방식으로 사용될 수도 |
|
|
|
02:58.430 --> 02:59.180 |
|
있고요 |
|
|
|
02:59.180 --> 03:01.730 |
|
무슨 일인지 잘 생각해 봐요 |
|
|
|
03:01.730 --> 03:09.170 |
|
먼저 모델을 이용한 채팅 인터페이스가 있습니다 챗GPT 같은 거죠 채팅하는 웹 프런트엔드로서 |
|
|
|
03:09.170 --> 03:15.170 |
|
클라우드에서 실행 중인 뭔가를 호출하는 겁니다 LLM LM과의 상호 작용 |
|
|
|
03:15.170 --> 03:21.530 |
|
전 과정은 그들의 클라우드에서 OpenAI가 처리하고요 |
|
|
|
03:21.530 --> 03:26.900 |
|
챗GPT의 경우 클라우드와 제미니 어드밴스 등의 제약 회사가 있죠 |
|
|
|
03:27.560 --> 03:29.960 |
|
클라우드 API가 있어요 |
|
|
|
03:29.960 --> 03:35.780 |
|
여기서 클라우드에서 실행되는 걸 호출하지만 사용자 인터페이스가 |
|
|
|
03:35.780 --> 03:38.270 |
|
아니라 코드로 하죠 |
|
|
|
03:38.270 --> 03:45.950 |
|
요약본에 있는 유피터 노트북에서 유피터 랩은 OpenAI API라고 명명했죠 |
|
|
|
03:45.980 --> 03:52.310 |
|
OpenAI에 연결해서 API 호출을 하고 채팅 인터페이스를 이용하면 무료로 |
|
|
|
03:52.310 --> 03:58.040 |
|
사용할 수 있고 매달 사용료를 내야 사용자 인터페이스 채팅을 원하는 만큼 |
|
|
|
03:58.040 --> 04:00.380 |
|
사용할 수 있어요 |
|
|
|
04:00.410 --> 04:01.820 |
|
거기에도 한계가 있어요 |
|
|
|
04:02.360 --> 04:04.280 |
|
API는 달라요 |
|
|
|
04:04.280 --> 04:10.100 |
|
API는 구독이 없어요 매달 돈을 청구하지 않죠 대신 API 요청에 대한 비용을 |
|
|
|
04:10.100 --> 04:10.910 |
|
지불해요 |
|
|
|
04:10.940 --> 04:12.260 |
|
유료 API 경우에요 |
|
|
|
04:12.290 --> 04:17.900 |
|
오픈 소스 무료 API도 있어요 API를 직접 호출할 수 있죠 |
|
|
|
04:17.900 --> 04:23.990 |
|
랭 체인 같은 라이브러리도 있어요 일종의 추상 레이어를 제공하죠 랭 체인을 사용할 |
|
|
|
04:23.990 --> 04:24.820 |
|
수 있어요 |
|
|
|
04:24.820 --> 04:27.130 |
|
그 안에서 다양한 API를 호출할 수 있어요 |
|
|
|
04:27.130 --> 04:31.210 |
|
통합된 API 하나를 제공하죠 |
|
|
|
04:31.210 --> 04:34.210 |
|
랑 체인 같은 틀이 있어요 |
|
|
|
04:34.210 --> 04:39.460 |
|
랭 체인을 사용하는 사람을 보면 커버 아래 lm API만을 사용하죠 |
|
|
|
04:39.460 --> 04:45.850 |
|
더 나은 사용자와 API 인터페이스를 제공할 뿐이죠 더 일관성 있는 거요 |
|
|
|
04:46.360 --> 04:51.250 |
|
또 다른 API 유형은 약간 다른데요 관리되는 인공 지능 클라우드 서비스라는 |
|
|
|
04:51.250 --> 04:58.540 |
|
걸 사용합니다 아마존, 구글 또는 마이크로소프트 Azure 같은 공급자와 연결하는 거죠 비트로소프트 |
|
|
|
04:58.540 --> 05:00.160 |
|
클라우드 서비스 |
|
|
|
05:00.370 --> 05:07.390 |
|
클라우드에서 모델을 실행하고 공통 인터페이스를 제공해 여러분이 뒤에서 |
|
|
|
05:07.390 --> 05:09.550 |
|
실행할 수 있게 하죠 |
|
|
|
05:09.550 --> 05:11.680 |
|
오픈 소스일 수도 있고 폐쇄 소스일 수도 있죠 |
|
|
|
05:11.680 --> 05:13.510 |
|
아마존 베드록도 있어요 |
|
|
|
05:13.540 --> 05:14.650 |
|
아마존이 제공하는 거죠 |
|
|
|
05:14.650 --> 05:18.820 |
|
구글의 정점 인공지능은 구글과 애저 ML이죠 |
|
|
|
05:18.850 --> 05:21.850 |
|
다른 이름도 있어요 마이크로소프트가 제공하죠 |
|
|
|
05:21.850 --> 05:26.230 |
|
관리되는 인공지능 클라우드 서비스죠 |
|
|
|
05:26.230 --> 05:30.220 |
|
하지만 이 모든 것의 공통점은 로컬에서 코드를 작성한다는 거죠 |
|
|
|
05:30.220 --> 05:35.860 |
|
클라우드에서 실행되는 LM에 호출을 하는데 그게 클라우드 API예요 |
|
|
|
05:35.980 --> 05:43.660 |
|
세 번째 접근법은 LM에 대한 코드와 무게를 직접 알아내서 여러분의 |
|
|
|
05:43.660 --> 05:52.210 |
|
박스에서 실행하거나 원격 get box로 원격 조종하는 것이죠. |
|
|
|
05:52.210 --> 05:56.650 |
|
다시 말씀드리지만 이 코스에서는 두 가지 다른 방법이 있어요 |
|
|
|
05:56.650 --> 05:58.930 |
|
그 둘의 차이를 이해하는 게 중요해요 |
|
|
|
05:58.930 --> 06:05.440 |
|
하나는 얼굴 안기입니다 파이썬 코드와 해당 모델이 있는 PyTorch |
|
|
|
06:05.440 --> 06:09.250 |
|
코드에 엑세스할 수 있죠 |
|
|
|
06:09.250 --> 06:14.770 |
|
이 모델을 가지고 세분화 작업을 할 수 있습니다. 토큰화 텍스트 같은 작업을 |
|
|
|
06:14.770 --> 06:21.520 |
|
할 수 있고 토큰으로 모델을 호출할 수 있습니다. 실제로 모델을 운영할 수 있죠. |
|
|
|
06:21.520 --> 06:26.980 |
|
일반적으로 구글 Colab 같은 걸 사용합니다 클라우드 내 |
|
|
|
06:26.980 --> 06:33.610 |
|
고성능 상자에서 실행할 수 있죠 일반적으로 로컬 상자는 그런 수준의 프로세싱을 |
|
|
|
06:33.610 --> 06:37.210 |
|
실행할 만큼 강력하지 않거든요 |
|
|
|
06:37.630 --> 06:45.730 |
|
그 대신 사람들은 이 코드를 고성능 C++ 코드로 최적화해 컴파일했고 |
|
|
|
06:45.760 --> 06:51.460 |
|
여러분의 박스에서 로컬로 실행할 수 있게 됐죠 |
|
|
|
06:51.460 --> 06:53.890 |
|
그게 올라마예요 |
|
|
|
06:54.070 --> 06:58.900 |
|
llama CPW라는 걸 사용합니다 C 플러스 코드로요 |
|
|
|
06:58.930 --> 07:01.420 |
|
그 말은 로컬로 실행할 수 있다는 거죠 |
|
|
|
07:01.420 --> 07:08.410 |
|
추론과 실행 모드로 모델을 실행하고 있지만 무슨 일이 일어나는지 제어할 능력은 |
|
|
|
07:08.410 --> 07:12.550 |
|
별로 없어요 코드가 완전히 컴파일됐으니까요 |
|
|
|
07:12.550 --> 07:14.650 |
|
그게 도움이 됐으면 좋겠네요 |
|
|
|
07:14.650 --> 07:19.510 |
|
세부 사항은 대충 말씀드렸지만 여러분께 보여드릴 수 있길 바라요 모델을 |
|
|
|
07:19.510 --> 07:24.670 |
|
다루는 세 가지 다른 방법과 그 밑에 있는 일종의 서브 테크닉을요 |
|
|
|
07:25.210 --> 07:27.430 |
|
이제 어떻게 할 거예요? |
|
|
|
07:27.430 --> 07:32.080 |
|
오늘 할 운동은 아주 유용할 겁니다 수업 내내 계속 |
|
|
|
07:32.080 --> 07:36.610 |
|
활용할 수 있죠 올라마를 배울 거니까요 |
|
|
|
07:36.850 --> 07:42.520 |
|
그럼 지체 없이 유피터랩으로 넘어가서 이 운동에 대해 설명하죠
|
|
|