You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

151 lines
4.1 KiB

WEBVTT
00:00.830 --> 00:01.940
어서 오세요
00:01.940 --> 00:02.870
3주 차예요
00:02.870 --> 00:03.800
4일째예요
00:03.830 --> 00:11.720
오픈 소스 랜드로 돌아왔습니다 오픈 소스 모델을 어떻게 추론하는지 조사하고
00:11.720 --> 00:12.890
있죠
00:13.130 --> 00:17.120
오늘은 얼굴 껴안기 모범 수업을 해 볼게요
00:17.120 --> 00:20.390
파이프라인 API 얘기를 했었죠 상위 수준 API요
00:20.420 --> 00:26.090
그다음에는 낮은 수준의 API 얘기를 했습니다 토큰라이저로 시작해서 모델로 넘어갔죠
00:26.150 --> 00:28.580
그래서 뭘 할 수 있는데요?
00:28.610 --> 00:33.290
물론 지금은 개척 시대 모델의 코딩 외에도 다중 모듈 인공지능 비서를 제작하고
00:33.290 --> 00:38.270
있습니다 현재는 얼굴 포옹이나 파이프라인 토큰라이저를 사용하죠
00:38.300 --> 00:41.270
새로운 기술에 새로운 수업이죠
00:41.270 --> 00:49.010
얼굴을 안는 것의 모델 부분으로 들어가겠습니다 변압기를 생성하고 텍스트를 생성하기
00:49.010 --> 00:51.860
위해 실행하는 거죠 get it
00:51.860 --> 00:56.300
다섯 가지 모델로 결과를 비교할 거예요
00:56.300 --> 01:02.090
제가 3개를 같이 할 거예요 나머지 2개는 당신이 실험해 보세요
01:02.210 --> 01:07.910
추가 운동을 할 수 있게요 코드는 다 준비해 둘게요
01:08.300 --> 01:10.700
재미있을 것 같아요
01:10.970 --> 01:13.380
모델들이 그들을 소개하죠
01:13.380 --> 01:21.330
라마 3을 다시 작업하게 될 거예요 기함이자 획기적인 모델인 메타에서 한 대 왔어요
01:21.330 --> 01:29.670
마이크로소프트의 파이3 오픈 소스 모델과 구글의 젬마를 살펴볼 거예요
01:29.670 --> 01:32.190
스몰 사이즈예요
01:32.190 --> 01:36.450
제미니의 사촌이 구글의 제마죠
01:36.510 --> 01:41.880
여러분이 직접 실험해 볼 모델이 두 개 더 있어요
01:41.910 --> 01:49.830
하나는 미스트럴의 미스트럴이고 다른 하나는 퀸의 2번 선수예요
01:50.040 --> 01:53.190
취안토를 즐겨 보세요
01:54.270 --> 02:02.160
오픈 소스 모델과의 세 가지 측면도 다룰 겁니다 얼굴 프레임워크에서요
02:02.430 --> 02:05.610
첫 번째는 퀀타이즈라는 거예요
02:05.640 --> 02:13.080
이것은 모델의 무게의 정밀도를 줄이는 것입니다. 메모리에 쉽게 맞추고 로드도
02:13.080 --> 02:16.860
쉽게 하고 더 빠르게 달릴 수 있죠.
02:16.860 --> 02:23.820
퀀타이즈는 아주 중요한 기술로 GPU 하위 제품 중 하나로 작업할 수
02:23.820 --> 02:25.290
있게 해주죠
02:25.330 --> 02:29.650
트레이닝을 할 때 반드시 퀀타이즈를 사용할 수 있어야
02:29.650 --> 02:34.480
합니다 큰 오픈 소스 모델을 훈련하기 위해서요
02:34.510 --> 02:39.160
아까도 말했지만 Q 로라는 우리가 몇 주 후에
02:39.190 --> 02:42.040
사용할 기술의 이름이에요
02:42.040 --> 02:45.460
질문과 질문, 로라는 수량화의 약자예요
02:45.460 --> 02:49.960
이번 여정에서 퀀타이즈와 몇 번 부딪힐 거예요
02:50.650 --> 02:54.580
오늘은 모델 내부도 살펴볼 거예요
02:54.580 --> 03:00.310
다시 말씀드리지만 이론보다는 실용적인 수업이에요
03:00.460 --> 03:02.050
하지만 지금이 바로 그런 순간이에요
03:02.050 --> 03:10.750
포옹하는 트랜스포머 라이브러리 뒤에 있는 파이토치 층은 어떤 모습일지 살짝
03:10.780 --> 03:12.970
들여다볼게요
03:13.720 --> 03:20.050
지금은 스트리밍에 익숙해서 결과를 스트리밍할 수 있다고 말할
03:20.050 --> 03:21.520
필요도 없어요
03:21.520 --> 03:26.290
결과 스트리밍을 위해 오픈 소스 모델로 작업하는 방법을 보여드리죠
03:26.290 --> 03:32.440
이게 이번 항해에서 살펴볼 추가 사항입니다 얼굴을 껴안는 하위
03:32.440 --> 03:35.710
레벨 API를 실행하는 거죠
03:35.740 --> 03:36.940
얘기는 충분히 했어요
03:36.940 --> 03:38.350
Get it, get it 해 보죠