From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
286 lines
8.7 KiB
286 lines
8.7 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:06.350 |
|
매주 끝날 때마다 도전 과제를 드리는 게 관례예요 혼자 해내야 |
|
|
|
00:06.350 --> 00:06.950 |
|
하죠 |
|
|
|
00:06.950 --> 00:12.050 |
|
여러분도 동의하시길 바라며 흥미로운 과제들이 있었지만 이번 주에 공개할게요 Tudum |
|
|
|
00:12.050 --> 00:13.940 |
|
Tudum Tudum |
|
|
|
00:13.940 --> 00:19.970 |
|
이번 과제가 지금까지 중 가장 흥미로워요 다들 이번 과제를 진지하게 받아들이고 |
|
|
|
00:19.970 --> 00:24.320 |
|
열심히 해 주길 바라요 나도 직접 할 거니까요 |
|
|
|
00:24.320 --> 00:28.220 |
|
이의를 제기합니다 최대한 빨리 끝내고 싶거든요 |
|
|
|
00:28.220 --> 00:30.080 |
|
멋진 post가 될 것 같아요 |
|
|
|
00:30.080 --> 00:33.410 |
|
정말 멋지고 재미있는 일이 될 것 같아요 |
|
|
|
00:33.410 --> 00:35.480 |
|
문제는 이거예요 |
|
|
|
00:35.510 --> 00:43.400 |
|
방금 만든 걸 이용해 개인 생산성을 높이기 위해 여러분의 정보에 기반한 여러분의 |
|
|
|
00:43.970 --> 00:47.390 |
|
지식 작업자를 만드는 거죠 |
|
|
|
00:47.390 --> 00:54.110 |
|
예를 들어 한 곳에 있는 모든 파일을 조립할 수 있어요 이미 하드 드라이브에 |
|
|
|
00:54.110 --> 00:56.750 |
|
있을 수도 있죠 전 그래요 |
|
|
|
00:57.650 --> 01:03.670 |
|
폴더 구조가 있는 여러분의 개인적 지식 기반이죠 |
|
|
|
01:04.360 --> 01:11.890 |
|
모든 걸 크로마로 벡터화할 수 있어요 그럼 여러분 고유의 벡터 데이터 저장소가 되죠 그 |
|
|
|
01:11.890 --> 01:18.430 |
|
위에 대화용 인공지능을 만들어 여러분의 정보에 관해 질문할 수 있어요 |
|
|
|
01:18.460 --> 01:23.320 |
|
제가 작업했던 프로젝트와 했던 일에 대한 정보의 양을 생각해 보면 |
|
|
|
01:23.320 --> 01:26.260 |
|
제 마음속에 그런 게 있을 리가 없어요 |
|
|
|
01:26.290 --> 01:33.580 |
|
뭔가를 파헤치는 데 많은 시간을 보내는데 제 개인적인 배경에 최적화된 |
|
|
|
01:33.610 --> 01:42.160 |
|
챗봇을 만들 생각을 하니 어쩌면 일과 개인적인 것을 합쳐서 연결할 수 있을지도 |
|
|
|
01:42.160 --> 01:44.470 |
|
몰라요 |
|
|
|
01:44.500 --> 01:50.230 |
|
제 연락처, 현재 직장, 이전 직장 등에서 저를 도와줄 수 있는 |
|
|
|
01:50.260 --> 01:53.080 |
|
누군가를 생각해 보세요. |
|
|
|
01:53.230 --> 01:55.990 |
|
놀랍도록 강력한 아이디어예요 |
|
|
|
01:55.990 --> 01:58.420 |
|
그래서 직접 하게 돼서 정말 신나요 |
|
|
|
01:58.450 --> 02:03.380 |
|
더 멀리 갈 수 있는 방법이 몇 가지 있어요 정말 미친 짓을 하고 싶다면요 |
|
|
|
02:03.380 --> 02:04.820 |
|
다시 말하지만 그게 제 계획이에요 |
|
|
|
02:04.820 --> 02:13.640 |
|
그래서 전 지메일을 써요 인터넷 대부분이 그렇죠 코드 작성하는 건 꽤 쉬워요 구글 API에 |
|
|
|
02:13.640 --> 02:21.920 |
|
대항해 인증을 하고 구글 API를 통해 이메일을 읽을 수 있는 자신의 메일함에 엑세스 |
|
|
|
02:21.920 --> 02:25.280 |
|
권한을 가질 수 있죠 |
|
|
|
02:25.310 --> 02:26.390 |
|
전 쉽다고 봐요 |
|
|
|
02:26.390 --> 02:27.830 |
|
중간 크기예요 |
|
|
|
02:27.860 --> 02:33.170 |
|
인증해야 하는 코드는 좀 지루하지만 많은 사람들이 해 봐서 구글에 쉽게 |
|
|
|
02:33.170 --> 02:37.940 |
|
검색할 수 있어요 단계별로 어떻게 하는지 비트를 볼 수 있죠 |
|
|
|
02:37.940 --> 02:46.400 |
|
이메일 상자에 접속해서 메일을 불러오고 크롬으로 벡터화할 수 있죠 |
|
|
|
02:46.400 --> 02:49.850 |
|
이메일 기록도 있을 거예요 |
|
|
|
02:49.940 --> 02:56.780 |
|
물론 이 모든 맥락을 개척자 모델로 보여주는 건 완전히 |
|
|
|
02:56.780 --> 03:00.680 |
|
비현실적인 일이죠 |
|
|
|
03:00.680 --> 03:07.090 |
|
모든 자재가 제미니 1호 토큰보다 훨씬 클 거라고 상상할 수 |
|
|
|
03:07.120 --> 03:09.100 |
|
있어요 5번 섬광도 견뎌요 |
|
|
|
03:09.670 --> 03:18.220 |
|
하지만 래그를 이용해 벡터 데이터베이스에서 특정 질문에 가장 가까운 25개의 문서를 뽑아내는 건 전적으로 |
|
|
|
03:18.220 --> 03:21.310 |
|
가능합니다 그리고 그걸 제공할 수 있죠 |
|
|
|
03:22.390 --> 03:25.510 |
|
이메일 받은 편지함에 그렇게 할 수 있다고 상상해 보세요 |
|
|
|
03:25.510 --> 03:29.500 |
|
마이크로소프트 Office 파일이 있다면 그렇게 할 수도 있어요 |
|
|
|
03:29.500 --> 03:35.860 |
|
간단한 파이썬 라이브러리가 있습니다 Office 파일을 읽고 텍스트 버전으로 불러오죠 |
|
|
|
03:35.860 --> 03:41.200 |
|
구글 드라이브를 사용한다면 구글 드라이브에 있는 문서를 읽을 API가 있어요 |
|
|
|
03:41.230 --> 03:43.390 |
|
아주 쉬운 일은 아니죠 |
|
|
|
03:43.390 --> 03:49.840 |
|
감정할 게 좀 있지만 충분히 할 수 있어요 보상을 받으면 비트로도 |
|
|
|
03:49.840 --> 03:52.060 |
|
가치가 있죠 |
|
|
|
03:52.090 --> 03:59.500 |
|
마지막으로 작은 포인트를 말씀드리면 오픈AI 엠베딩 같은 것을 호출해 모든 데이터를 벡터화하는 |
|
|
|
03:59.530 --> 04:05.570 |
|
것을 우려할 수 있습니다 왜냐하면 항상 이런 느낌이 들거든요 개인 데이터로 호출하는 |
|
|
|
04:05.570 --> 04:11.330 |
|
것이 아무 데도 저장되지 않을 거라고 얼마나 확신하나요? |
|
|
|
04:11.510 --> 04:16.430 |
|
그래서 이번 과제의 마지막 부분으로 그게 걱정된다면 |
|
|
|
04:16.430 --> 04:21.200 |
|
버트 같은 오픈 소스 모델을 직접 활용해도 좋아요 |
|
|
|
04:21.200 --> 04:23.630 |
|
벡터화는 직접 할 수 있어요 |
|
|
|
04:23.630 --> 04:25.520 |
|
두 가지 방법이 있어요 |
|
|
|
04:25.520 --> 04:31.400 |
|
여러분이 아는 방법은 구글 Colab을 불러올 수 있다는 겁니다 구글 드라이브를 |
|
|
|
04:31.430 --> 04:38.750 |
|
그 Colab에 매핑할 수 있어요 그걸 Colab에서 이용해 모든 문서를 그런 식으로 벡터화할 수 |
|
|
|
04:38.750 --> 04:39.410 |
|
있죠 |
|
|
|
04:39.410 --> 04:40.520 |
|
그게 한 가지 방법이죠 |
|
|
|
04:40.520 --> 04:41.780 |
|
아주 효과적일 거예요 |
|
|
|
04:41.810 --> 04:47.270 |
|
좀 더 고급인 다른 방법은 llama CP llama.CP라는 걸 이용하는 |
|
|
|
04:47.270 --> 04:54.200 |
|
겁니다 라이브러리인데 여러분 컴퓨터에서 로컬로 실행할 수 있죠 C++ 코드를 최적화해 |
|
|
|
04:54.200 --> 05:02.300 |
|
일부 모델을 추론 모드에서 여러분 박스에서 로컬로 실행합니다 여러분 박스를 떠나지 않고요 |
|
|
|
05:02.420 --> 05:10.870 |
|
클라우드로 가지 않고도 모든 문서를 벡터화하고 싶다면 이 방법을 최종적으로 |
|
|
|
05:10.870 --> 05:13.690 |
|
사용할 수 있어요 |
|
|
|
05:13.840 --> 05:21.820 |
|
하지만 결국 가장 어려운 건 개인적이고 개인적인 지식인을 만들어서 할 수 있다는 |
|
|
|
05:21.820 --> 05:23.770 |
|
걸 증명하는 거예요 |
|
|
|
05:23.770 --> 05:29.050 |
|
그게 너무 힘들다면 최소한 갖고 있는 텍스트 문서 몇 개를 |
|
|
|
05:29.050 --> 05:33.160 |
|
같은 폴더에 넣어 축소판을 만드세요 |
|
|
|
05:33.160 --> 05:34.090 |
|
그것만이라도 해 줘요 |
|
|
|
05:34.090 --> 05:35.410 |
|
그게 최소 기준치예요 |
|
|
|
05:35.410 --> 05:36.760 |
|
그 정도는 요구해야죠 |
|
|
|
05:36.760 --> 05:42.280 |
|
폴더 구조의 텍스트 문서를요 여러분 것을 위해 어떻게 작동하는지 볼 수 있도록요 |
|
|
|
05:42.280 --> 05:46.270 |
|
하지만 누군가 이 프로젝트를 실제로 해내면 좋겠어요 |
|
|
|
05:46.270 --> 05:50.080 |
|
저도 할 거예요 블로그 post도 쓸 거고요 기대되네요 |
|
|
|
05:50.110 --> 05:53.230 |
|
이것으로 래그 주간을 마칠게요 |
|
|
|
05:53.230 --> 05:59.470 |
|
그 시점에서 62점이 되죠 5%밖에 못 갔어요 |
|
|
|
05:59.470 --> 06:02.710 |
|
의욕이 샘솟는 걸 느끼셨길 바라요 |
|
|
|
06:02.710 --> 06:07.490 |
|
이제 많은 게 합쳐진다고 느끼길 바라요 이런 훈련을 계속하고 |
|
|
|
06:07.490 --> 06:14.150 |
|
지금 이렇게 배우기만 한다면 래그가 어떻게 작동하고 왜 효과적인지 직관적으로 |
|
|
|
06:14.150 --> 06:15.890 |
|
알 수 있을 거예요 |
|
|
|
06:15.920 --> 06:22.070 |
|
벡터 삽입과 벡터 데이터 저장소는 아실 겁니다 이 모든 것은 우리가 과거에 연구한 모든 것 외에도 프론티어 |
|
|
|
06:22.070 --> 06:27.860 |
|
모델과 툴을 이용한 인공지능 조수들 오픈 소스 모델에 얼굴을 끌어안기 파이프라인 토큰라이저 모델에 |
|
|
|
06:27.890 --> 06:34.130 |
|
맞는 LLM을 선택하는 데에 기여했죠 다양한 leaderboard를 이용해 올바른 LLM을 선택하기도 |
|
|
|
06:34.160 --> 06:39.050 |
|
했습니다 페이스 포옹의 오픈 LLM leaderboard처럼요 |
|
|
|
06:39.470 --> 06:42.230 |
|
중요한 순간이죠 |
|
|
|
06:42.230 --> 06:43.910 |
|
정말 신나요 |
|
|
|
06:44.000 --> 06:48.050 |
|
하지만 다음 주에는 완전히 새로운 걸 시작해요 |
|
|
|
06:48.080 --> 06:51.380 |
|
새로운 상업 프로젝트를 소개할 거예요 |
|
|
|
06:51.380 --> 06:56.750 |
|
얼굴 안기 게임 데이터셋을 다운로드 해서 데이터를 큐레이팅해 새롭고 흥미로운 |
|
|
|
06:56.750 --> 06:58.640 |
|
걸 시도할 거예요 |
|
|
|
06:58.640 --> 07:04.880 |
|
추론만 하던 것을 훈련으로 바꾼 셈이니 큰 발전이죠 |
|
|
|
07:04.910 --> 07:07.160 |
|
기대되네요, 그때 봐요
|
|
|