You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

286 lines
8.7 KiB

WEBVTT
00:01.040 --> 00:06.350
매주 끝날 때마다 도전 과제를 드리는 게 관례예요 혼자 해내야
00:06.350 --> 00:06.950
하죠
00:06.950 --> 00:12.050
여러분도 동의하시길 바라며 흥미로운 과제들이 있었지만 이번 주에 공개할게요 Tudum
00:12.050 --> 00:13.940
Tudum Tudum
00:13.940 --> 00:19.970
이번 과제가 지금까지 중 가장 흥미로워요 다들 이번 과제를 진지하게 받아들이고
00:19.970 --> 00:24.320
열심히 해 주길 바라요 나도 직접 할 거니까요
00:24.320 --> 00:28.220
이의를 제기합니다 최대한 빨리 끝내고 싶거든요
00:28.220 --> 00:30.080
멋진 post가 될 것 같아요
00:30.080 --> 00:33.410
정말 멋지고 재미있는 일이 될 것 같아요
00:33.410 --> 00:35.480
문제는 이거예요
00:35.510 --> 00:43.400
방금 만든 걸 이용해 개인 생산성을 높이기 위해 여러분의 정보에 기반한 여러분의
00:43.970 --> 00:47.390
지식 작업자를 만드는 거죠
00:47.390 --> 00:54.110
예를 들어 한 곳에 있는 모든 파일을 조립할 수 있어요 이미 하드 드라이브에
00:54.110 --> 00:56.750
있을 수도 있죠 전 그래요
00:57.650 --> 01:03.670
폴더 구조가 있는 여러분의 개인적 지식 기반이죠
01:04.360 --> 01:11.890
모든 걸 크로마로 벡터화할 수 있어요 그럼 여러분 고유의 벡터 데이터 저장소가 되죠 그
01:11.890 --> 01:18.430
위에 대화용 인공지능을 만들어 여러분의 정보에 관해 질문할 수 있어요
01:18.460 --> 01:23.320
제가 작업했던 프로젝트와 했던 일에 대한 정보의 양을 생각해 보면
01:23.320 --> 01:26.260
제 마음속에 그런 게 있을 리가 없어요
01:26.290 --> 01:33.580
뭔가를 파헤치는 데 많은 시간을 보내는데 제 개인적인 배경에 최적화된
01:33.610 --> 01:42.160
챗봇을 만들 생각을 하니 어쩌면 일과 개인적인 것을 합쳐서 연결할 수 있을지도
01:42.160 --> 01:44.470
몰라요
01:44.500 --> 01:50.230
제 연락처, 현재 직장, 이전 직장 등에서 저를 도와줄 수 있는
01:50.260 --> 01:53.080
누군가를 생각해 보세요.
01:53.230 --> 01:55.990
놀랍도록 강력한 아이디어예요
01:55.990 --> 01:58.420
그래서 직접 하게 돼서 정말 신나요
01:58.450 --> 02:03.380
더 멀리 갈 수 있는 방법이 몇 가지 있어요 정말 미친 짓을 하고 싶다면요
02:03.380 --> 02:04.820
다시 말하지만 그게 제 계획이에요
02:04.820 --> 02:13.640
그래서 전 지메일을 써요 인터넷 대부분이 그렇죠 코드 작성하는 건 꽤 쉬워요 구글 API에
02:13.640 --> 02:21.920
대항해 인증을 하고 구글 API를 통해 이메일을 읽을 수 있는 자신의 메일함에 엑세스
02:21.920 --> 02:25.280
권한을 가질 수 있죠
02:25.310 --> 02:26.390
전 쉽다고 봐요
02:26.390 --> 02:27.830
중간 크기예요
02:27.860 --> 02:33.170
인증해야 하는 코드는 좀 지루하지만 많은 사람들이 해 봐서 구글에 쉽게
02:33.170 --> 02:37.940
검색할 수 있어요 단계별로 어떻게 하는지 비트를 볼 수 있죠
02:37.940 --> 02:46.400
이메일 상자에 접속해서 메일을 불러오고 크롬으로 벡터화할 수 있죠
02:46.400 --> 02:49.850
이메일 기록도 있을 거예요
02:49.940 --> 02:56.780
물론 이 모든 맥락을 개척자 모델로 보여주는 건 완전히
02:56.780 --> 03:00.680
비현실적인 일이죠
03:00.680 --> 03:07.090
모든 자재가 제미니 1호 토큰보다 훨씬 클 거라고 상상할 수
03:07.120 --> 03:09.100
있어요 5번 섬광도 견뎌요
03:09.670 --> 03:18.220
하지만 래그를 이용해 벡터 데이터베이스에서 특정 질문에 가장 가까운 25개의 문서를 뽑아내는 건 전적으로
03:18.220 --> 03:21.310
가능합니다 그리고 그걸 제공할 수 있죠
03:22.390 --> 03:25.510
이메일 받은 편지함에 그렇게 할 수 있다고 상상해 보세요
03:25.510 --> 03:29.500
마이크로소프트 Office 파일이 있다면 그렇게 할 수도 있어요
03:29.500 --> 03:35.860
간단한 파이썬 라이브러리가 있습니다 Office 파일을 읽고 텍스트 버전으로 불러오죠
03:35.860 --> 03:41.200
구글 드라이브를 사용한다면 구글 드라이브에 있는 문서를 읽을 API가 있어요
03:41.230 --> 03:43.390
아주 쉬운 일은 아니죠
03:43.390 --> 03:49.840
감정할 게 좀 있지만 충분히 할 수 있어요 보상을 받으면 비트로도
03:49.840 --> 03:52.060
가치가 있죠
03:52.090 --> 03:59.500
마지막으로 작은 포인트를 말씀드리면 오픈AI 엠베딩 같은 것을 호출해 모든 데이터를 벡터화하는
03:59.530 --> 04:05.570
것을 우려할 수 있습니다 왜냐하면 항상 이런 느낌이 들거든요 개인 데이터로 호출하는
04:05.570 --> 04:11.330
것이 아무 데도 저장되지 않을 거라고 얼마나 확신하나요?
04:11.510 --> 04:16.430
그래서 이번 과제의 마지막 부분으로 그게 걱정된다면
04:16.430 --> 04:21.200
버트 같은 오픈 소스 모델을 직접 활용해도 좋아요
04:21.200 --> 04:23.630
벡터화는 직접 할 수 있어요
04:23.630 --> 04:25.520
두 가지 방법이 있어요
04:25.520 --> 04:31.400
여러분이 아는 방법은 구글 Colab을 불러올 수 있다는 겁니다 구글 드라이브를
04:31.430 --> 04:38.750
그 Colab에 매핑할 수 있어요 그걸 Colab에서 이용해 모든 문서를 그런 식으로 벡터화할 수
04:38.750 --> 04:39.410
있죠
04:39.410 --> 04:40.520
그게 한 가지 방법이죠
04:40.520 --> 04:41.780
아주 효과적일 거예요
04:41.810 --> 04:47.270
좀 더 고급인 다른 방법은 llama CP llama.CP라는 걸 이용하는
04:47.270 --> 04:54.200
겁니다 라이브러리인데 여러분 컴퓨터에서 로컬로 실행할 수 있죠 C++ 코드를 최적화해
04:54.200 --> 05:02.300
일부 모델을 추론 모드에서 여러분 박스에서 로컬로 실행합니다 여러분 박스를 떠나지 않고요
05:02.420 --> 05:10.870
클라우드로 가지 않고도 모든 문서를 벡터화하고 싶다면 이 방법을 최종적으로
05:10.870 --> 05:13.690
사용할 수 있어요
05:13.840 --> 05:21.820
하지만 결국 가장 어려운 건 개인적이고 개인적인 지식인을 만들어서 할 수 있다는
05:21.820 --> 05:23.770
걸 증명하는 거예요
05:23.770 --> 05:29.050
그게 너무 힘들다면 최소한 갖고 있는 텍스트 문서 몇 개를
05:29.050 --> 05:33.160
같은 폴더에 넣어 축소판을 만드세요
05:33.160 --> 05:34.090
그것만이라도 해 줘요
05:34.090 --> 05:35.410
그게 최소 기준치예요
05:35.410 --> 05:36.760
그 정도는 요구해야죠
05:36.760 --> 05:42.280
폴더 구조의 텍스트 문서를요 여러분 것을 위해 어떻게 작동하는지 볼 수 있도록요
05:42.280 --> 05:46.270
하지만 누군가 이 프로젝트를 실제로 해내면 좋겠어요
05:46.270 --> 05:50.080
저도 할 거예요 블로그 post도 쓸 거고요 기대되네요
05:50.110 --> 05:53.230
이것으로 래그 주간을 마칠게요
05:53.230 --> 05:59.470
그 시점에서 62점이 되죠 5%밖에 못 갔어요
05:59.470 --> 06:02.710
의욕이 샘솟는 걸 느끼셨길 바라요
06:02.710 --> 06:07.490
이제 많은 게 합쳐진다고 느끼길 바라요 이런 훈련을 계속하고
06:07.490 --> 06:14.150
지금 이렇게 배우기만 한다면 래그가 어떻게 작동하고 왜 효과적인지 직관적으로
06:14.150 --> 06:15.890
알 수 있을 거예요
06:15.920 --> 06:22.070
벡터 삽입과 벡터 데이터 저장소는 아실 겁니다 이 모든 것은 우리가 과거에 연구한 모든 것 외에도 프론티어
06:22.070 --> 06:27.860
모델과 툴을 이용한 인공지능 조수들 오픈 소스 모델에 얼굴을 끌어안기 파이프라인 토큰라이저 모델에
06:27.890 --> 06:34.130
맞는 LLM을 선택하는 데에 기여했죠 다양한 leaderboard를 이용해 올바른 LLM을 선택하기도
06:34.160 --> 06:39.050
했습니다 페이스 포옹의 오픈 LLM leaderboard처럼요
06:39.470 --> 06:42.230
중요한 순간이죠
06:42.230 --> 06:43.910
정말 신나요
06:44.000 --> 06:48.050
하지만 다음 주에는 완전히 새로운 걸 시작해요
06:48.080 --> 06:51.380
새로운 상업 프로젝트를 소개할 거예요
06:51.380 --> 06:56.750
얼굴 안기 게임 데이터셋을 다운로드 해서 데이터를 큐레이팅해 새롭고 흥미로운
06:56.750 --> 06:58.640
걸 시도할 거예요
06:58.640 --> 07:04.880
추론만 하던 것을 훈련으로 바꾼 셈이니 큰 발전이죠
07:04.910 --> 07:07.160
기대되네요, 그때 봐요