From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
205 lines
6.2 KiB
205 lines
6.2 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:07.850 |
|
지난주에는 코드를 60,000배나 빠르게 만드는 모델로 작업했는데 정말 |
|
|
|
00:07.850 --> 00:08.960 |
|
굉장했죠 |
|
|
|
00:08.990 --> 00:13.130 |
|
깊은 인상을 받았길 바라요 저도 그랬거든요 이번 주말에는 |
|
|
|
00:13.130 --> 00:17.150 |
|
더 깊은 인상을 받길 바라요 제가 준비한 걸 보면요 |
|
|
|
00:17.180 --> 00:20.330 |
|
걸레 회수 작업이군요 |
|
|
|
00:20.330 --> 00:25.850 |
|
이미 가능한 증강세대 기술은 개척자 모델이나 얼굴 트랜스포머를 껴안는 |
|
|
|
00:25.880 --> 00:27.200 |
|
코드였죠 |
|
|
|
00:27.200 --> 00:32.660 |
|
프로젝트에 맞는 LLM을 선택하고 코드를 생성하는 솔루션을 빌드하세요 |
|
|
|
00:32.690 --> 00:38.480 |
|
오늘은 걸레 회수 증강세대의 원대한 아이디어에 대해 배울 거예요 |
|
|
|
00:38.480 --> 00:43.520 |
|
그 전에 Rag와의 상호 작용을 살펴볼 거예요 그리고 Rag에 숨은 |
|
|
|
00:43.520 --> 00:48.440 |
|
작은 아이디어에 대해서도 얘기할 겁니다 사실 꽤 명백하죠 |
|
|
|
00:48.470 --> 00:50.960 |
|
사실 이미 생각해 두셨을 수도 있죠 |
|
|
|
00:51.230 --> 00:55.520 |
|
그런 다음 작은 아이디어를 이용해 래그의 장난감 버전을 구현할 거예요 |
|
|
|
00:55.520 --> 00:57.410 |
|
어떻게 작동하는지 감이 잘 와요 Get it |
|
|
|
00:57.410 --> 01:00.050 |
|
다음 주 전에 진짜 일을 할 거예요 |
|
|
|
01:00.080 --> 01:03.610 |
|
우선 누더기에 대한 직감부터 말씀드릴게요 |
|
|
|
01:03.610 --> 01:09.340 |
|
모델에 보내는 정보인 프롬프트를 강화함으로써 모델의 성능을 강화할 수 있다는 |
|
|
|
01:09.340 --> 01:10.750 |
|
건 이미 확인했죠 |
|
|
|
01:10.750 --> 01:12.310 |
|
여러 가지 방법으로 그렇게 했어요 |
|
|
|
01:12.310 --> 01:18.790 |
|
멀티샷 프롬프팅을 이용해 모델에 일련의 질문과 답을 예로 보냈는데요 |
|
|
|
01:18.790 --> 01:26.290 |
|
도구를 사용해 LLM이 우리 코드로 다시 호출해 응답을 보충하거나 작업을 수행하는 |
|
|
|
01:26.290 --> 01:30.250 |
|
데 사용되는 코드를 실행했어요 |
|
|
|
01:30.250 --> 01:36.970 |
|
LLM에 보내는 것의 일부로 추가적인 컨텍스트를 제공하는 다른 방법도 있었습니다 시스템 프롬프트를 |
|
|
|
01:36.970 --> 01:38.200 |
|
포함해서요 |
|
|
|
01:38.290 --> 01:48.100 |
|
그래서 이 아이디어를 새로운 단계로 끌어올릴 수 있을지 고민했죠 프롬프트에 좀 더 구체적인 정보를 |
|
|
|
01:48.370 --> 01:49.840 |
|
제공하면서요 |
|
|
|
01:49.840 --> 01:53.470 |
|
현재 당면한 문제와 특히 관련이 있죠 |
|
|
|
01:53.500 --> 02:00.760 |
|
그래서 때로는 정보 데이터베이스를 만들기도 합니다. 왜냐하면 이건 지식 데이터베이스니까요. |
|
|
|
02:00.760 --> 02:04.240 |
|
지식 기반으로 알려져 있죠. 지식 기반이요. |
|
|
|
02:04.540 --> 02:11.950 |
|
사용자가 질문을 할 때마다 그 지식 기반에서 먼저 살펴봅니다 우리가 |
|
|
|
02:11.950 --> 02:15.970 |
|
빼낼 수 있는 관련 정보가 있는지요 |
|
|
|
02:15.970 --> 02:21.280 |
|
있다면 프롬프트에 입력하면 됩니다 모델에 프롬프트로 전송되죠 |
|
|
|
02:21.310 --> 02:22.510 |
|
그게 다예요 |
|
|
|
02:22.540 --> 02:27.340 |
|
사실 아주 간단한 아이디어입니다 아마 여러분도 이미 생각해두셨겠죠 |
|
|
|
02:27.340 --> 02:29.020 |
|
아까 연습할 때요 |
|
|
|
02:30.100 --> 02:36.910 |
|
그럼 다이어그램에서 get 뒤에 있는 작은 아이디어를 보여드리죠 나중에 더 큰 아이디어로 |
|
|
|
02:36.910 --> 02:41.830 |
|
갈 거라고 약속드립니다 덜 명확해지고 더 의미 있어지는 거죠 |
|
|
|
02:41.830 --> 02:47.290 |
|
하지만 여기서 우리가 하려는 말은 사용자가 질문을 하는 것부터 시작하자는 거죠 |
|
|
|
02:47.290 --> 02:51.220 |
|
코드로 오면 보통은 그걸 바로 LLM으로 보내죠 |
|
|
|
02:51.220 --> 02:56.920 |
|
하지만 그 전에 기술 기반에서 관련 배경 정보가 있는지 쿼리를 |
|
|
|
02:56.920 --> 02:58.210 |
|
해요 |
|
|
|
02:58.210 --> 03:02.890 |
|
그런 경우 해당 정보를 추출해 프롬프트에 포함시키죠 |
|
|
|
03:02.920 --> 03:08.470 |
|
LM을 보내면 당연히 응답이 돌아오죠 늘 그렇듯이요 하지만 이 추가 컨텍스트를 |
|
|
|
03:08.500 --> 03:09.940 |
|
고려하면 좋겠네요 |
|
|
|
03:09.940 --> 03:12.880 |
|
그게 사용자에게 돌아가는 거죠 |
|
|
|
03:13.030 --> 03:17.050 |
|
랙에 담긴 아이디어는 그게 다예요 |
|
|
|
03:17.980 --> 03:23.500 |
|
이제 작은 아이디어의 작은 예로 이걸 작동시켜 볼게요. |
|
|
|
03:23.680 --> 03:27.670 |
|
보험 기술 신생 기업에서 일한다고 가정해 보죠 |
|
|
|
03:27.670 --> 03:35.080 |
|
가짜 기술 회사인 보험 신생 기업이 될 거예요 보험이란 단어가 인보어죠 |
|
|
|
03:35.080 --> 03:40.270 |
|
LM을 한데 뭉쳐서요 그게 제 창의력의 한계죠 |
|
|
|
03:40.630 --> 03:48.250 |
|
폴더 형태의 지식 기반은 회사의 공유 드라이브에서 가져온 거죠 |
|
|
|
03:48.250 --> 03:55.780 |
|
공유 드라이브의 전체 콘텐츠죠 인공지능 지식 작업자를 만드는 게 우리 작업이에요 |
|
|
|
03:55.780 --> 04:00.460 |
|
지식 노동자라는 표현은 때때로 회사에서 일하는 사람을 |
|
|
|
04:00.460 --> 04:08.340 |
|
뜻하기도 합니다 전문가로서 회사의 정보를 분석하고 질문과 답을 수행하는 사람이죠 |
|
|
|
04:08.340 --> 04:12.630 |
|
LLM으로 할 수 있는 거죠 |
|
|
|
04:12.630 --> 04:16.920 |
|
지식 기반의 정보로 보충할 수 있어요 |
|
|
|
04:17.430 --> 04:22.110 |
|
장난감 구현을 해볼게요 둔기요 |
|
|
|
04:22.350 --> 04:28.170 |
|
기본적으로 이 파일들을 읽어볼 거예요 제품과 직원들 |
|
|
|
04:28.170 --> 04:30.780 |
|
사전처럼 저장할 거예요 |
|
|
|
04:30.780 --> 04:36.360 |
|
질문이 들어올 때마다 해당 단어나 직원의 이름이 질문 어딘가에 |
|
|
|
04:36.360 --> 04:38.610 |
|
나오는지를 찾아보죠 |
|
|
|
04:38.610 --> 04:42.750 |
|
만약 그렇다면 전체 직원 기록을 프롬프트에 밀어넣을 거예요 |
|
|
|
04:42.750 --> 04:48.210 |
|
일종의 매뉴얼, 무식한 Rag 구현이죠 막후에서 어떻게 작동하는지 |
|
|
|
04:48.210 --> 04:49.950 |
|
좋은 감각을 제공해요 |
|
|
|
04:49.950 --> 04:52.350 |
|
마술이 없다는 걸 보여줄 거예요 |
|
|
|
04:52.380 --> 04:55.500 |
|
모델의 성능을 즉시 향상시켜주죠 |
|
|
|
04:55.500 --> 04:58.770 |
|
Get 절차가 끝나면 더 신나는 걸 할 거예요 |
|
|
|
04:58.770 --> 05:03.000 |
|
하지만 지금은 주피터랩에 가서 직접 천을 만들어 보죠
|
|
|