You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

328 lines
9.3 KiB

WEBVTT
00:00.050 --> 00:02.540
이제 모델에 대해 비트 좀 할게요
00:02.570 --> 00:10.190
프런티어 모델이라는 용어가 종종 등장하는데 오늘날 가능한 가장 큰 모델을
00:10.190 --> 00:13.760
개척하는 llms를 뜻하죠
00:13.760 --> 00:18.830
사람들이 개척자 모델이라고 할 때 주로 비공개 소스 모델을 말합니다 GPT나
00:18.830 --> 00:21.230
클로드 같은 유료 모델이죠
00:21.260 --> 00:26.420
사실, 프런티어 모델이라고 하는 사람들도 있어요 가장 크고 강력한 오픈
00:26.420 --> 00:28.160
소스 모델을 언급할 때요
00:28.160 --> 00:30.770
문맥에 따라 둘 다 될 수 있어요
00:30.770 --> 00:35.300
먼저 비공개 프런티어 모델에 대해 얘기해 보죠
00:35.780 --> 00:38.450
슈퍼 스케일러라고도 불리죠
00:38.480 --> 00:42.140
가장 크고 높은 모형이죠
00:42.140 --> 00:47.120
먼저, 오픈AI의 GPT는 설명이 필요 없겠죠?
00:47.210 --> 00:54.020
2022년 말 챗GPT가 나왔을 때 그 출력에 다들 깜짝 놀랐어요
00:54.350 --> 00:56.210
당신도 잘 알 거예요
00:56.240 --> 00:58.370
인류학의 클로드예요
00:58.490 --> 01:01.700
앤트로픽은 오픈라이의 경쟁자죠
01:01.730 --> 01:02.840
잘 알려진 사실이죠
01:02.840 --> 01:06.530
데이터 과학자들이 좋아하는 건 클로드예요
01:06.560 --> 01:12.230
클로드와 GPT는 현재 순위표에서 막상막하로 평가받죠
01:12.260 --> 01:14.060
클로드는 살짝 더 날카롭죠
01:14.150 --> 01:17.090
제미니는 구글의 참가자죠
01:17.330 --> 01:21.800
라마를 검색했을 때 기억하실 거예요 구글에도 제마가 있어요
01:21.830 --> 01:23.900
오픈 소스 변종도요
01:23.900 --> 01:28.370
명령 R은 코어에서 접할 수도 있고 아닐 수도 있어요
01:28.400 --> 01:29.750
캐나다 인공지능 회사요
01:29.750 --> 01:36.440
당황스러움은 검색 엔진으로 다른 모델을 사용할 수 있지만 모델 그 자체도
01:36.440 --> 01:37.700
있어요
01:37.730 --> 01:41.210
이건 개척 시대의 대형 모델이에요
01:41.420 --> 01:44.780
오픈 소스 모델에 대해 얘기해보죠
01:44.780 --> 01:52.610
라마는 메타에서 따온 이름인데 오픈 소스 모델 중 가장 유명하죠 메타가 원조 라마를
01:52.610 --> 02:00.080
오픈 소스 소스 오픈 소싱해 오픈 소스 LMS 영역의 길을 포장한 거니까요
02:00.200 --> 02:05.270
프랑스 회사 미스트랄의 미스트랄도 있는데 모델명이에요 전문가들을
02:05.270 --> 02:07.010
섞은 거죠
02:07.010 --> 02:09.770
작은 모델도 여러 개 포함돼 있죠
02:10.160 --> 02:14.210
퀜은 오바마와 경기할 때 제가 언급했던 모델이에요
02:14.210 --> 02:16.010
강력한 모델이죠
02:16.010 --> 02:23.390
알리바바 클라우드에서 나온 건데 정말 인상적이에요 콴을 가끔 사용할 거예요 말씀드렸듯이
02:23.390 --> 02:26.750
크기에 비해 아주 강력하거든요
02:26.780 --> 02:34.490
젬마는 구글의 작은 모델이고 Fi는 마이크로소프트의 작은 오픈 소스 모델이죠
02:35.510 --> 02:38.990
헷갈리지만 아주 중요해요
02:38.990 --> 02:43.820
이미 아는 분들도 있겠지만 몇몇 분들은 계속 마음에
02:43.820 --> 02:45.470
걸렸을 거예요
02:45.470 --> 02:47.840
확실히 해두고 싶어요
02:47.840 --> 02:54.020
완전히 다른 접근법으로 모델을 사용할 수 있는 다양한 방법이 있어요 그 둘의 차이를
02:54.020 --> 02:58.430
이해하는 게 중요하죠 마주쳤을 때 다른 방식으로 사용될 수도
02:58.430 --> 02:59.180
있고요
02:59.180 --> 03:01.730
무슨 일인지 잘 생각해 봐요
03:01.730 --> 03:09.170
먼저 모델을 이용한 채팅 인터페이스가 있습니다 챗GPT 같은 거죠 채팅하는 웹 프런트엔드로서
03:09.170 --> 03:15.170
클라우드에서 실행 중인 뭔가를 호출하는 겁니다 LLM LM과의 상호 작용
03:15.170 --> 03:21.530
전 과정은 그들의 클라우드에서 OpenAI가 처리하고요
03:21.530 --> 03:26.900
챗GPT의 경우 클라우드와 제미니 어드밴스 등의 제약 회사가 있죠
03:27.560 --> 03:29.960
클라우드 API가 있어요
03:29.960 --> 03:35.780
여기서 클라우드에서 실행되는 걸 호출하지만 사용자 인터페이스가
03:35.780 --> 03:38.270
아니라 코드로 하죠
03:38.270 --> 03:45.950
요약본에 있는 유피터 노트북에서 유피터 랩은 OpenAI API라고 명명했죠
03:45.980 --> 03:52.310
OpenAI에 연결해서 API 호출을 하고 채팅 인터페이스를 이용하면 무료로
03:52.310 --> 03:58.040
사용할 수 있고 매달 사용료를 내야 사용자 인터페이스 채팅을 원하는 만큼
03:58.040 --> 04:00.380
사용할 수 있어요
04:00.410 --> 04:01.820
거기에도 한계가 있어요
04:02.360 --> 04:04.280
API는 달라요
04:04.280 --> 04:10.100
API는 구독이 없어요 매달 돈을 청구하지 않죠 대신 API 요청에 대한 비용을
04:10.100 --> 04:10.910
지불해요
04:10.940 --> 04:12.260
유료 API 경우에요
04:12.290 --> 04:17.900
오픈 소스 무료 API도 있어요 API를 직접 호출할 수 있죠
04:17.900 --> 04:23.990
랭 체인 같은 라이브러리도 있어요 일종의 추상 레이어를 제공하죠 랭 체인을 사용할
04:23.990 --> 04:24.820
수 있어요
04:24.820 --> 04:27.130
그 안에서 다양한 API를 호출할 수 있어요
04:27.130 --> 04:31.210
통합된 API 하나를 제공하죠
04:31.210 --> 04:34.210
랑 체인 같은 틀이 있어요
04:34.210 --> 04:39.460
랭 체인을 사용하는 사람을 보면 커버 아래 lm API만을 사용하죠
04:39.460 --> 04:45.850
더 나은 사용자와 API 인터페이스를 제공할 뿐이죠 더 일관성 있는 거요
04:46.360 --> 04:51.250
또 다른 API 유형은 약간 다른데요 관리되는 인공 지능 클라우드 서비스라는
04:51.250 --> 04:58.540
걸 사용합니다 아마존, 구글 또는 마이크로소프트 Azure 같은 공급자와 연결하는 거죠 비트로소프트
04:58.540 --> 05:00.160
클라우드 서비스
05:00.370 --> 05:07.390
클라우드에서 모델을 실행하고 공통 인터페이스를 제공해 여러분이 뒤에서
05:07.390 --> 05:09.550
실행할 수 있게 하죠
05:09.550 --> 05:11.680
오픈 소스일 수도 있고 폐쇄 소스일 수도 있죠
05:11.680 --> 05:13.510
아마존 베드록도 있어요
05:13.540 --> 05:14.650
아마존이 제공하는 거죠
05:14.650 --> 05:18.820
구글의 정점 인공지능은 구글과 애저 ML이죠
05:18.850 --> 05:21.850
다른 이름도 있어요 마이크로소프트가 제공하죠
05:21.850 --> 05:26.230
관리되는 인공지능 클라우드 서비스죠
05:26.230 --> 05:30.220
하지만 이 모든 것의 공통점은 로컬에서 코드를 작성한다는 거죠
05:30.220 --> 05:35.860
클라우드에서 실행되는 LM에 호출을 하는데 그게 클라우드 API예요
05:35.980 --> 05:43.660
세 번째 접근법은 LM에 대한 코드와 무게를 직접 알아내서 여러분의
05:43.660 --> 05:52.210
박스에서 실행하거나 원격 get box로 원격 조종하는 것이죠.
05:52.210 --> 05:56.650
다시 말씀드리지만 이 코스에서는 두 가지 다른 방법이 있어요
05:56.650 --> 05:58.930
그 둘의 차이를 이해하는 게 중요해요
05:58.930 --> 06:05.440
하나는 얼굴 안기입니다 파이썬 코드와 해당 모델이 있는 PyTorch
06:05.440 --> 06:09.250
코드에 엑세스할 수 있죠
06:09.250 --> 06:14.770
이 모델을 가지고 세분화 작업을 할 수 있습니다. 토큰화 텍스트 같은 작업을
06:14.770 --> 06:21.520
할 수 있고 토큰으로 모델을 호출할 수 있습니다. 실제로 모델을 운영할 수 있죠.
06:21.520 --> 06:26.980
일반적으로 구글 Colab 같은 걸 사용합니다 클라우드 내
06:26.980 --> 06:33.610
고성능 상자에서 실행할 수 있죠 일반적으로 로컬 상자는 그런 수준의 프로세싱을
06:33.610 --> 06:37.210
실행할 만큼 강력하지 않거든요
06:37.630 --> 06:45.730
그 대신 사람들은 이 코드를 고성능 C++ 코드로 최적화해 컴파일했고
06:45.760 --> 06:51.460
여러분의 박스에서 로컬로 실행할 수 있게 됐죠
06:51.460 --> 06:53.890
그게 올라마예요
06:54.070 --> 06:58.900
llama CPW라는 걸 사용합니다 C 플러스 코드로요
06:58.930 --> 07:01.420
그 말은 로컬로 실행할 수 있다는 거죠
07:01.420 --> 07:08.410
추론과 실행 모드로 모델을 실행하고 있지만 무슨 일이 일어나는지 제어할 능력은
07:08.410 --> 07:12.550
별로 없어요 코드가 완전히 컴파일됐으니까요
07:12.550 --> 07:14.650
그게 도움이 됐으면 좋겠네요
07:14.650 --> 07:19.510
세부 사항은 대충 말씀드렸지만 여러분께 보여드릴 수 있길 바라요 모델을
07:19.510 --> 07:24.670
다루는 세 가지 다른 방법과 그 밑에 있는 일종의 서브 테크닉을요
07:25.210 --> 07:27.430
이제 어떻게 할 거예요?
07:27.430 --> 07:32.080
오늘 할 운동은 아주 유용할 겁니다 수업 내내 계속
07:32.080 --> 07:36.610
활용할 수 있죠 올라마를 배울 거니까요
07:36.850 --> 07:42.520
그럼 지체 없이 유피터랩으로 넘어가서 이 운동에 대해 설명하죠