WEBVTT 00:01.040 --> 00:06.350 매주 끝날 때마다 도전 과제를 드리는 게 관례예요 혼자 해내야 00:06.350 --> 00:06.950 하죠 00:06.950 --> 00:12.050 여러분도 동의하시길 바라며 흥미로운 과제들이 있었지만 이번 주에 공개할게요 Tudum 00:12.050 --> 00:13.940 Tudum Tudum 00:13.940 --> 00:19.970 이번 과제가 지금까지 중 가장 흥미로워요 다들 이번 과제를 진지하게 받아들이고 00:19.970 --> 00:24.320 열심히 해 주길 바라요 나도 직접 할 거니까요 00:24.320 --> 00:28.220 이의를 제기합니다 최대한 빨리 끝내고 싶거든요 00:28.220 --> 00:30.080 멋진 post가 될 것 같아요 00:30.080 --> 00:33.410 정말 멋지고 재미있는 일이 될 것 같아요 00:33.410 --> 00:35.480 문제는 이거예요 00:35.510 --> 00:43.400 방금 만든 걸 이용해 개인 생산성을 높이기 위해 여러분의 정보에 기반한 여러분의 00:43.970 --> 00:47.390 지식 작업자를 만드는 거죠 00:47.390 --> 00:54.110 예를 들어 한 곳에 있는 모든 파일을 조립할 수 있어요 이미 하드 드라이브에 00:54.110 --> 00:56.750 있을 수도 있죠 전 그래요 00:57.650 --> 01:03.670 폴더 구조가 있는 여러분의 개인적 지식 기반이죠 01:04.360 --> 01:11.890 모든 걸 크로마로 벡터화할 수 있어요 그럼 여러분 고유의 벡터 데이터 저장소가 되죠 그 01:11.890 --> 01:18.430 위에 대화용 인공지능을 만들어 여러분의 정보에 관해 질문할 수 있어요 01:18.460 --> 01:23.320 제가 작업했던 프로젝트와 했던 일에 대한 정보의 양을 생각해 보면 01:23.320 --> 01:26.260 제 마음속에 그런 게 있을 리가 없어요 01:26.290 --> 01:33.580 뭔가를 파헤치는 데 많은 시간을 보내는데 제 개인적인 배경에 최적화된 01:33.610 --> 01:42.160 챗봇을 만들 생각을 하니 어쩌면 일과 개인적인 것을 합쳐서 연결할 수 있을지도 01:42.160 --> 01:44.470 몰라요 01:44.500 --> 01:50.230 제 연락처, 현재 직장, 이전 직장 등에서 저를 도와줄 수 있는 01:50.260 --> 01:53.080 누군가를 생각해 보세요. 01:53.230 --> 01:55.990 놀랍도록 강력한 아이디어예요 01:55.990 --> 01:58.420 그래서 직접 하게 돼서 정말 신나요 01:58.450 --> 02:03.380 더 멀리 갈 수 있는 방법이 몇 가지 있어요 정말 미친 짓을 하고 싶다면요 02:03.380 --> 02:04.820 다시 말하지만 그게 제 계획이에요 02:04.820 --> 02:13.640 그래서 전 지메일을 써요 인터넷 대부분이 그렇죠 코드 작성하는 건 꽤 쉬워요 구글 API에 02:13.640 --> 02:21.920 대항해 인증을 하고 구글 API를 통해 이메일을 읽을 수 있는 자신의 메일함에 엑세스 02:21.920 --> 02:25.280 권한을 가질 수 있죠 02:25.310 --> 02:26.390 전 쉽다고 봐요 02:26.390 --> 02:27.830 중간 크기예요 02:27.860 --> 02:33.170 인증해야 하는 코드는 좀 지루하지만 많은 사람들이 해 봐서 구글에 쉽게 02:33.170 --> 02:37.940 검색할 수 있어요 단계별로 어떻게 하는지 비트를 볼 수 있죠 02:37.940 --> 02:46.400 이메일 상자에 접속해서 메일을 불러오고 크롬으로 벡터화할 수 있죠 02:46.400 --> 02:49.850 이메일 기록도 있을 거예요 02:49.940 --> 02:56.780 물론 이 모든 맥락을 개척자 모델로 보여주는 건 완전히 02:56.780 --> 03:00.680 비현실적인 일이죠 03:00.680 --> 03:07.090 모든 자재가 제미니 1호 토큰보다 훨씬 클 거라고 상상할 수 03:07.120 --> 03:09.100 있어요 5번 섬광도 견뎌요 03:09.670 --> 03:18.220 하지만 래그를 이용해 벡터 데이터베이스에서 특정 질문에 가장 가까운 25개의 문서를 뽑아내는 건 전적으로 03:18.220 --> 03:21.310 가능합니다 그리고 그걸 제공할 수 있죠 03:22.390 --> 03:25.510 이메일 받은 편지함에 그렇게 할 수 있다고 상상해 보세요 03:25.510 --> 03:29.500 마이크로소프트 Office 파일이 있다면 그렇게 할 수도 있어요 03:29.500 --> 03:35.860 간단한 파이썬 라이브러리가 있습니다 Office 파일을 읽고 텍스트 버전으로 불러오죠 03:35.860 --> 03:41.200 구글 드라이브를 사용한다면 구글 드라이브에 있는 문서를 읽을 API가 있어요 03:41.230 --> 03:43.390 아주 쉬운 일은 아니죠 03:43.390 --> 03:49.840 감정할 게 좀 있지만 충분히 할 수 있어요 보상을 받으면 비트로도 03:49.840 --> 03:52.060 가치가 있죠 03:52.090 --> 03:59.500 마지막으로 작은 포인트를 말씀드리면 오픈AI 엠베딩 같은 것을 호출해 모든 데이터를 벡터화하는 03:59.530 --> 04:05.570 것을 우려할 수 있습니다 왜냐하면 항상 이런 느낌이 들거든요 개인 데이터로 호출하는 04:05.570 --> 04:11.330 것이 아무 데도 저장되지 않을 거라고 얼마나 확신하나요? 04:11.510 --> 04:16.430 그래서 이번 과제의 마지막 부분으로 그게 걱정된다면 04:16.430 --> 04:21.200 버트 같은 오픈 소스 모델을 직접 활용해도 좋아요 04:21.200 --> 04:23.630 벡터화는 직접 할 수 있어요 04:23.630 --> 04:25.520 두 가지 방법이 있어요 04:25.520 --> 04:31.400 여러분이 아는 방법은 구글 Colab을 불러올 수 있다는 겁니다 구글 드라이브를 04:31.430 --> 04:38.750 그 Colab에 매핑할 수 있어요 그걸 Colab에서 이용해 모든 문서를 그런 식으로 벡터화할 수 04:38.750 --> 04:39.410 있죠 04:39.410 --> 04:40.520 그게 한 가지 방법이죠 04:40.520 --> 04:41.780 아주 효과적일 거예요 04:41.810 --> 04:47.270 좀 더 고급인 다른 방법은 llama CP llama.CP라는 걸 이용하는 04:47.270 --> 04:54.200 겁니다 라이브러리인데 여러분 컴퓨터에서 로컬로 실행할 수 있죠 C++ 코드를 최적화해 04:54.200 --> 05:02.300 일부 모델을 추론 모드에서 여러분 박스에서 로컬로 실행합니다 여러분 박스를 떠나지 않고요 05:02.420 --> 05:10.870 클라우드로 가지 않고도 모든 문서를 벡터화하고 싶다면 이 방법을 최종적으로 05:10.870 --> 05:13.690 사용할 수 있어요 05:13.840 --> 05:21.820 하지만 결국 가장 어려운 건 개인적이고 개인적인 지식인을 만들어서 할 수 있다는 05:21.820 --> 05:23.770 걸 증명하는 거예요 05:23.770 --> 05:29.050 그게 너무 힘들다면 최소한 갖고 있는 텍스트 문서 몇 개를 05:29.050 --> 05:33.160 같은 폴더에 넣어 축소판을 만드세요 05:33.160 --> 05:34.090 그것만이라도 해 줘요 05:34.090 --> 05:35.410 그게 최소 기준치예요 05:35.410 --> 05:36.760 그 정도는 요구해야죠 05:36.760 --> 05:42.280 폴더 구조의 텍스트 문서를요 여러분 것을 위해 어떻게 작동하는지 볼 수 있도록요 05:42.280 --> 05:46.270 하지만 누군가 이 프로젝트를 실제로 해내면 좋겠어요 05:46.270 --> 05:50.080 저도 할 거예요 블로그 post도 쓸 거고요 기대되네요 05:50.110 --> 05:53.230 이것으로 래그 주간을 마칠게요 05:53.230 --> 05:59.470 그 시점에서 62점이 되죠 5%밖에 못 갔어요 05:59.470 --> 06:02.710 의욕이 샘솟는 걸 느끼셨길 바라요 06:02.710 --> 06:07.490 이제 많은 게 합쳐진다고 느끼길 바라요 이런 훈련을 계속하고 06:07.490 --> 06:14.150 지금 이렇게 배우기만 한다면 래그가 어떻게 작동하고 왜 효과적인지 직관적으로 06:14.150 --> 06:15.890 알 수 있을 거예요 06:15.920 --> 06:22.070 벡터 삽입과 벡터 데이터 저장소는 아실 겁니다 이 모든 것은 우리가 과거에 연구한 모든 것 외에도 프론티어 06:22.070 --> 06:27.860 모델과 툴을 이용한 인공지능 조수들 오픈 소스 모델에 얼굴을 끌어안기 파이프라인 토큰라이저 모델에 06:27.890 --> 06:34.130 맞는 LLM을 선택하는 데에 기여했죠 다양한 leaderboard를 이용해 올바른 LLM을 선택하기도 06:34.160 --> 06:39.050 했습니다 페이스 포옹의 오픈 LLM leaderboard처럼요 06:39.470 --> 06:42.230 중요한 순간이죠 06:42.230 --> 06:43.910 정말 신나요 06:44.000 --> 06:48.050 하지만 다음 주에는 완전히 새로운 걸 시작해요 06:48.080 --> 06:51.380 새로운 상업 프로젝트를 소개할 거예요 06:51.380 --> 06:56.750 얼굴 안기 게임 데이터셋을 다운로드 해서 데이터를 큐레이팅해 새롭고 흥미로운 06:56.750 --> 06:58.640 걸 시도할 거예요 06:58.640 --> 07:04.880 추론만 하던 것을 훈련으로 바꾼 셈이니 큰 발전이죠 07:04.910 --> 07:07.160 기대되네요, 그때 봐요