WEBVTT 00:00.050 --> 00:02.540 이제 모델에 대해 비트 좀 할게요 00:02.570 --> 00:10.190 프런티어 모델이라는 용어가 종종 등장하는데 오늘날 가능한 가장 큰 모델을 00:10.190 --> 00:13.760 개척하는 llms를 뜻하죠 00:13.760 --> 00:18.830 사람들이 개척자 모델이라고 할 때 주로 비공개 소스 모델을 말합니다 GPT나 00:18.830 --> 00:21.230 클로드 같은 유료 모델이죠 00:21.260 --> 00:26.420 사실, 프런티어 모델이라고 하는 사람들도 있어요 가장 크고 강력한 오픈 00:26.420 --> 00:28.160 소스 모델을 언급할 때요 00:28.160 --> 00:30.770 문맥에 따라 둘 다 될 수 있어요 00:30.770 --> 00:35.300 먼저 비공개 프런티어 모델에 대해 얘기해 보죠 00:35.780 --> 00:38.450 슈퍼 스케일러라고도 불리죠 00:38.480 --> 00:42.140 가장 크고 높은 모형이죠 00:42.140 --> 00:47.120 먼저, 오픈AI의 GPT는 설명이 필요 없겠죠? 00:47.210 --> 00:54.020 2022년 말 챗GPT가 나왔을 때 그 출력에 다들 깜짝 놀랐어요 00:54.350 --> 00:56.210 당신도 잘 알 거예요 00:56.240 --> 00:58.370 인류학의 클로드예요 00:58.490 --> 01:01.700 앤트로픽은 오픈라이의 경쟁자죠 01:01.730 --> 01:02.840 잘 알려진 사실이죠 01:02.840 --> 01:06.530 데이터 과학자들이 좋아하는 건 클로드예요 01:06.560 --> 01:12.230 클로드와 GPT는 현재 순위표에서 막상막하로 평가받죠 01:12.260 --> 01:14.060 클로드는 살짝 더 날카롭죠 01:14.150 --> 01:17.090 제미니는 구글의 참가자죠 01:17.330 --> 01:21.800 라마를 검색했을 때 기억하실 거예요 구글에도 제마가 있어요 01:21.830 --> 01:23.900 오픈 소스 변종도요 01:23.900 --> 01:28.370 명령 R은 코어에서 접할 수도 있고 아닐 수도 있어요 01:28.400 --> 01:29.750 캐나다 인공지능 회사요 01:29.750 --> 01:36.440 당황스러움은 검색 엔진으로 다른 모델을 사용할 수 있지만 모델 그 자체도 01:36.440 --> 01:37.700 있어요 01:37.730 --> 01:41.210 이건 개척 시대의 대형 모델이에요 01:41.420 --> 01:44.780 오픈 소스 모델에 대해 얘기해보죠 01:44.780 --> 01:52.610 라마는 메타에서 따온 이름인데 오픈 소스 모델 중 가장 유명하죠 메타가 원조 라마를 01:52.610 --> 02:00.080 오픈 소스 소스 오픈 소싱해 오픈 소스 LMS 영역의 길을 포장한 거니까요 02:00.200 --> 02:05.270 프랑스 회사 미스트랄의 미스트랄도 있는데 모델명이에요 전문가들을 02:05.270 --> 02:07.010 섞은 거죠 02:07.010 --> 02:09.770 작은 모델도 여러 개 포함돼 있죠 02:10.160 --> 02:14.210 퀜은 오바마와 경기할 때 제가 언급했던 모델이에요 02:14.210 --> 02:16.010 강력한 모델이죠 02:16.010 --> 02:23.390 알리바바 클라우드에서 나온 건데 정말 인상적이에요 콴을 가끔 사용할 거예요 말씀드렸듯이 02:23.390 --> 02:26.750 크기에 비해 아주 강력하거든요 02:26.780 --> 02:34.490 젬마는 구글의 작은 모델이고 Fi는 마이크로소프트의 작은 오픈 소스 모델이죠 02:35.510 --> 02:38.990 헷갈리지만 아주 중요해요 02:38.990 --> 02:43.820 이미 아는 분들도 있겠지만 몇몇 분들은 계속 마음에 02:43.820 --> 02:45.470 걸렸을 거예요 02:45.470 --> 02:47.840 확실히 해두고 싶어요 02:47.840 --> 02:54.020 완전히 다른 접근법으로 모델을 사용할 수 있는 다양한 방법이 있어요 그 둘의 차이를 02:54.020 --> 02:58.430 이해하는 게 중요하죠 마주쳤을 때 다른 방식으로 사용될 수도 02:58.430 --> 02:59.180 있고요 02:59.180 --> 03:01.730 무슨 일인지 잘 생각해 봐요 03:01.730 --> 03:09.170 먼저 모델을 이용한 채팅 인터페이스가 있습니다 챗GPT 같은 거죠 채팅하는 웹 프런트엔드로서 03:09.170 --> 03:15.170 클라우드에서 실행 중인 뭔가를 호출하는 겁니다 LLM LM과의 상호 작용 03:15.170 --> 03:21.530 전 과정은 그들의 클라우드에서 OpenAI가 처리하고요 03:21.530 --> 03:26.900 챗GPT의 경우 클라우드와 제미니 어드밴스 등의 제약 회사가 있죠 03:27.560 --> 03:29.960 클라우드 API가 있어요 03:29.960 --> 03:35.780 여기서 클라우드에서 실행되는 걸 호출하지만 사용자 인터페이스가 03:35.780 --> 03:38.270 아니라 코드로 하죠 03:38.270 --> 03:45.950 요약본에 있는 유피터 노트북에서 유피터 랩은 OpenAI API라고 명명했죠 03:45.980 --> 03:52.310 OpenAI에 연결해서 API 호출을 하고 채팅 인터페이스를 이용하면 무료로 03:52.310 --> 03:58.040 사용할 수 있고 매달 사용료를 내야 사용자 인터페이스 채팅을 원하는 만큼 03:58.040 --> 04:00.380 사용할 수 있어요 04:00.410 --> 04:01.820 거기에도 한계가 있어요 04:02.360 --> 04:04.280 API는 달라요 04:04.280 --> 04:10.100 API는 구독이 없어요 매달 돈을 청구하지 않죠 대신 API 요청에 대한 비용을 04:10.100 --> 04:10.910 지불해요 04:10.940 --> 04:12.260 유료 API 경우에요 04:12.290 --> 04:17.900 오픈 소스 무료 API도 있어요 API를 직접 호출할 수 있죠 04:17.900 --> 04:23.990 랭 체인 같은 라이브러리도 있어요 일종의 추상 레이어를 제공하죠 랭 체인을 사용할 04:23.990 --> 04:24.820 수 있어요 04:24.820 --> 04:27.130 그 안에서 다양한 API를 호출할 수 있어요 04:27.130 --> 04:31.210 통합된 API 하나를 제공하죠 04:31.210 --> 04:34.210 랑 체인 같은 틀이 있어요 04:34.210 --> 04:39.460 랭 체인을 사용하는 사람을 보면 커버 아래 lm API만을 사용하죠 04:39.460 --> 04:45.850 더 나은 사용자와 API 인터페이스를 제공할 뿐이죠 더 일관성 있는 거요 04:46.360 --> 04:51.250 또 다른 API 유형은 약간 다른데요 관리되는 인공 지능 클라우드 서비스라는 04:51.250 --> 04:58.540 걸 사용합니다 아마존, 구글 또는 마이크로소프트 Azure 같은 공급자와 연결하는 거죠 비트로소프트 04:58.540 --> 05:00.160 클라우드 서비스 05:00.370 --> 05:07.390 클라우드에서 모델을 실행하고 공통 인터페이스를 제공해 여러분이 뒤에서 05:07.390 --> 05:09.550 실행할 수 있게 하죠 05:09.550 --> 05:11.680 오픈 소스일 수도 있고 폐쇄 소스일 수도 있죠 05:11.680 --> 05:13.510 아마존 베드록도 있어요 05:13.540 --> 05:14.650 아마존이 제공하는 거죠 05:14.650 --> 05:18.820 구글의 정점 인공지능은 구글과 애저 ML이죠 05:18.850 --> 05:21.850 다른 이름도 있어요 마이크로소프트가 제공하죠 05:21.850 --> 05:26.230 관리되는 인공지능 클라우드 서비스죠 05:26.230 --> 05:30.220 하지만 이 모든 것의 공통점은 로컬에서 코드를 작성한다는 거죠 05:30.220 --> 05:35.860 클라우드에서 실행되는 LM에 호출을 하는데 그게 클라우드 API예요 05:35.980 --> 05:43.660 세 번째 접근법은 LM에 대한 코드와 무게를 직접 알아내서 여러분의 05:43.660 --> 05:52.210 박스에서 실행하거나 원격 get box로 원격 조종하는 것이죠. 05:52.210 --> 05:56.650 다시 말씀드리지만 이 코스에서는 두 가지 다른 방법이 있어요 05:56.650 --> 05:58.930 그 둘의 차이를 이해하는 게 중요해요 05:58.930 --> 06:05.440 하나는 얼굴 안기입니다 파이썬 코드와 해당 모델이 있는 PyTorch 06:05.440 --> 06:09.250 코드에 엑세스할 수 있죠 06:09.250 --> 06:14.770 이 모델을 가지고 세분화 작업을 할 수 있습니다. 토큰화 텍스트 같은 작업을 06:14.770 --> 06:21.520 할 수 있고 토큰으로 모델을 호출할 수 있습니다. 실제로 모델을 운영할 수 있죠. 06:21.520 --> 06:26.980 일반적으로 구글 Colab 같은 걸 사용합니다 클라우드 내 06:26.980 --> 06:33.610 고성능 상자에서 실행할 수 있죠 일반적으로 로컬 상자는 그런 수준의 프로세싱을 06:33.610 --> 06:37.210 실행할 만큼 강력하지 않거든요 06:37.630 --> 06:45.730 그 대신 사람들은 이 코드를 고성능 C++ 코드로 최적화해 컴파일했고 06:45.760 --> 06:51.460 여러분의 박스에서 로컬로 실행할 수 있게 됐죠 06:51.460 --> 06:53.890 그게 올라마예요 06:54.070 --> 06:58.900 llama CPW라는 걸 사용합니다 C 플러스 코드로요 06:58.930 --> 07:01.420 그 말은 로컬로 실행할 수 있다는 거죠 07:01.420 --> 07:08.410 추론과 실행 모드로 모델을 실행하고 있지만 무슨 일이 일어나는지 제어할 능력은 07:08.410 --> 07:12.550 별로 없어요 코드가 완전히 컴파일됐으니까요 07:12.550 --> 07:14.650 그게 도움이 됐으면 좋겠네요 07:14.650 --> 07:19.510 세부 사항은 대충 말씀드렸지만 여러분께 보여드릴 수 있길 바라요 모델을 07:19.510 --> 07:24.670 다루는 세 가지 다른 방법과 그 밑에 있는 일종의 서브 테크닉을요 07:25.210 --> 07:27.430 이제 어떻게 할 거예요? 07:27.430 --> 07:32.080 오늘 할 운동은 아주 유용할 겁니다 수업 내내 계속 07:32.080 --> 07:36.610 활용할 수 있죠 올라마를 배울 거니까요 07:36.850 --> 07:42.520 그럼 지체 없이 유피터랩으로 넘어가서 이 운동에 대해 설명하죠