From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
436 lines
13 KiB
436 lines
13 KiB
WEBVTT |
|
|
|
00:01.220 --> 00:07.940 |
|
자랑하고 싶진 않지만 이번 주 프로젝트는 정말 |
|
|
|
00:07.940 --> 00:12.920 |
|
잘 해낸 것 같아요 정말 즐거웠어요 |
|
|
|
00:12.920 --> 00:15.110 |
|
지금은 잘 굴러가요 정말 좋네요 |
|
|
|
00:15.110 --> 00:19.250 |
|
정말 마음에 들어요 빨리 들어가서 보여드리고 싶네요 Get it |
|
|
|
00:19.520 --> 00:22.790 |
|
늘 그렇듯 소개부터 시작하죠 |
|
|
|
00:22.790 --> 00:26.870 |
|
아주 빨리 코드로 가보겠습니다 지금은 get it에 있으니까요 |
|
|
|
00:26.870 --> 00:31.250 |
|
거대한 I로 깊이 들어갈 거예요 |
|
|
|
00:31.280 --> 00:32.750 |
|
화제의 중심이죠 |
|
|
|
00:32.750 --> 00:35.630 |
|
Get it은 요즘 모두가 질리지 않는 거죠 |
|
|
|
00:35.720 --> 00:42.410 |
|
그러니 깊이 파고들 가치가 있죠 LMS의 다양한 구성 요소에 대해 |
|
|
|
00:42.410 --> 00:50.120 |
|
더 많이 배울 기회로 사용합니다 지난 7주 반 동안 이미 작업해온 것들이죠 |
|
|
|
00:50.120 --> 00:56.990 |
|
오늘 우리가 할 것은 에이전틱 워크플로, 에이전트 프레임워크 그리고 에이전트 |
|
|
|
00:56.990 --> 00:59.720 |
|
프레임워크를 구축하는 거예요 |
|
|
|
00:59.720 --> 01:07.430 |
|
오늘 그걸 할 겁니다 푸시 알림을 보낼 수 있는 거죠 RSS 피드를 보고 찾은 훌륭한 |
|
|
|
01:07.430 --> 01:10.520 |
|
서비스에 대한 정보와 함께요 |
|
|
|
01:10.520 --> 01:14.840 |
|
모든 조각을 하나로 합치는 거죠 |
|
|
|
01:15.140 --> 01:23.210 |
|
그 전에 간단히 얘길 좀 하죠 에이전트 인공지능과 에이전트 워크플로가 |
|
|
|
01:23.210 --> 01:25.370 |
|
정확히 뭐죠? |
|
|
|
01:25.370 --> 01:33.860 |
|
진실한 대답은 이 용어가 모호하다는 겁니다 지금도 여러 집단이 |
|
|
|
01:33.890 --> 01:35.870 |
|
남용하고 있죠 |
|
|
|
01:35.870 --> 01:38.240 |
|
여러 가지 의미로 쓰이죠 |
|
|
|
01:38.240 --> 01:43.640 |
|
하지만 한 걸음 물러나서 지난 주에도 잠깐 언급했지만 한 걸음 |
|
|
|
01:43.640 --> 01:49.850 |
|
물러나서 생각해 보면 에이전트 인공지능의 주요 특징인 특징들을 이 5가지 |
|
|
|
01:49.850 --> 01:52.580 |
|
요소로 구성할 수 있어요 |
|
|
|
01:52.580 --> 01:56.510 |
|
어떤 사람들은 더 많다고 하고 어떤 사람들은 less라고 |
|
|
|
01:56.510 --> 01:57.140 |
|
하죠 |
|
|
|
01:57.140 --> 02:00.130 |
|
하지만 이 다섯 가지가 가장 중요하다고 생각해요 |
|
|
|
02:00.160 --> 02:06.160 |
|
에이전트 솔루션은 더 큰 문제, 더 복잡한 문제를 작은 조각으로 |
|
|
|
02:06.160 --> 02:13.330 |
|
나누는 겁니다 잠재적으로 LMS나 소프트웨어의 일반 비트로 실행할 |
|
|
|
02:13.330 --> 02:15.280 |
|
수 있는 거죠 |
|
|
|
02:15.460 --> 02:22.960 |
|
하지만 어려운 작업을 분석하는 능력은 에이전트 솔루션의 특징이죠 |
|
|
|
02:23.110 --> 02:28.990 |
|
지금까지 다뤘던 도구 사용, 함수 호출, 구조화된 출력들을 살펴보죠 |
|
|
|
02:28.990 --> 02:33.250 |
|
그것도 에이전트 솔루션의 소관 사항에 속하는 경우가 많죠 |
|
|
|
02:33.250 --> 02:39.160 |
|
LMS에 단순한 대화 이상의 것을 주는 아이디어인가요? 채팅 |
|
|
|
02:39.190 --> 02:41.350 |
|
응답을 요청하세요 |
|
|
|
02:41.350 --> 02:45.190 |
|
하지만 더 탄탄한 구조에 맞아야 해요 |
|
|
|
02:45.190 --> 02:47.830 |
|
이 특정 JSON 포맷에서 출력이 필요해요 |
|
|
|
02:47.830 --> 02:51.250 |
|
다른 활동을 수행하기 위해 이런 함수를 호출할 수 있어요 |
|
|
|
02:51.250 --> 02:56.860 |
|
에이전트식 인공지능과 환경에 그렇게 들어맞는 거죠 |
|
|
|
02:56.890 --> 02:58.660 |
|
프레임워크 환경이죠 |
|
|
|
02:58.690 --> 02:59.860 |
|
다른 단어들이요 |
|
|
|
02:59.860 --> 03:08.920 |
|
하지만 일종의 샌드박스 같은 것으로 모든 에이전트가 이용할 수 있는 기능성들을 |
|
|
|
03:08.920 --> 03:11.260 |
|
제공하죠 |
|
|
|
03:11.290 --> 03:14.140 |
|
대표적인 예가 메모리 같은 거예요 |
|
|
|
03:14.140 --> 03:19.600 |
|
과거에 일어난 일을 반영하는 비트 정보를 모든 에이전트가 공유할 수 있는 그런 |
|
|
|
03:19.600 --> 03:24.040 |
|
것이 있다면 그건 에이전트 환경이 되겠죠 다른 에이전트들이 어떤 |
|
|
|
03:24.040 --> 03:27.820 |
|
식으로든 서로 호출할 수 있도록 해주는 그런 거요 |
|
|
|
03:28.810 --> 03:33.760 |
|
그리고 전형적으로, 다시 말씀드리지만 이건 꼭 필요한 건 아닌 예시예요 |
|
|
|
03:33.760 --> 03:36.490 |
|
이게 없으면 에이전트 해결책이 없는 게 아니에요 |
|
|
|
03:36.490 --> 03:42.430 |
|
에이전트 솔루션에는 기획 에이전트가 있는 경우가 종종 있습니다 어떤 순서로 어떤 |
|
|
|
03:42.430 --> 03:44.920 |
|
작업을 할지 결정하는 책임자죠 |
|
|
|
03:44.920 --> 03:49.660 |
|
일반적으로 사람들이 이에 대해 얘기할 때 기획 에이전트 그 자체가 LLM이라고 |
|
|
|
03:49.660 --> 03:54.310 |
|
생각하죠 작업을 받아 알아낼 수 있는 거죠 이렇게 하고 저렇게 하고 이렇게 하는 |
|
|
|
03:54.310 --> 03:54.970 |
|
거요 |
|
|
|
03:54.970 --> 03:57.020 |
|
LLM이 아니어도 돼요 |
|
|
|
03:57.050 --> 04:01.820 |
|
간단한 문제이고 5단계 정도만 있다면 파이썬 코드를 작성해서 |
|
|
|
04:01.820 --> 04:07.190 |
|
그 단계를 호출하거나 JSON 구성 파일을 만들면 돼요 |
|
|
|
04:07.460 --> 04:13.550 |
|
하지만 여러분의 플래너로 간주되는 뭔가가 있어야만 해요 이 박스에 체크할 |
|
|
|
04:13.580 --> 04:19.010 |
|
수 있도록요 꼭 필요한 건 아니지만요 여기 마지막 건 지금까지 별로 |
|
|
|
04:19.010 --> 04:22.430 |
|
다루지 않은 건데 일종의 핵심이죠 |
|
|
|
04:22.460 --> 04:28.820 |
|
상징적인 것과 그렇지 않은 것을 구분하는 단 하나의 기준은 |
|
|
|
04:28.820 --> 04:31.460 |
|
바로 자율성이에요 |
|
|
|
04:31.460 --> 04:43.610 |
|
그게 당신의 인공지능 솔루션이 인간과 대화하는 걸 초월하는 존재라는 생각이죠 |
|
|
|
04:43.610 --> 04:51.680 |
|
메모리를 본 적이 있어요 래그 솔루션 같은 Q&A 채팅을 했거든요 보험 회사에 |
|
|
|
04:51.680 --> 04:59.700 |
|
대해 얘기할 때요 당연히 메모리가 있었죠 다른 예제도 있었어요 |
|
|
|
04:59.730 --> 05:05.790 |
|
항공사 채팅도 메모리가 있었지만 그건 자율 인공지능이라고 볼 수 없어요 |
|
|
|
05:05.820 --> 05:11.190 |
|
메모리는 앱이 실행되고 사람이 상호 작용할 때만 존재했어요 |
|
|
|
05:11.490 --> 05:15.810 |
|
그 외에는 어떤 존재감도 없었어요 |
|
|
|
05:15.810 --> 05:18.360 |
|
자율성이라는 개념은 일부에 불과해요 |
|
|
|
05:18.390 --> 05:24.180 |
|
그리고 이 생명체가 더 영구적으로 존재할 거라는 느낌도 들고요 |
|
|
|
05:24.210 --> 05:26.100 |
|
무대 뒤에서 달리고 있어요 |
|
|
|
05:26.130 --> 05:29.280 |
|
비트가 마법처럼 들리겠지만 전혀 그렇지 않아요 |
|
|
|
05:29.310 --> 05:34.590 |
|
보다시피 기본적으로 실행 중인 프로세스가 있다면 일부 활동을 수행하는 거죠 |
|
|
|
05:34.620 --> 05:39.420 |
|
인간의 상호 작용이 꼭 필요한 건 아니에요 그것만으로도 충분하죠 |
|
|
|
05:39.450 --> 05:41.550 |
|
에이전트 해결책 같네요 |
|
|
|
05:42.090 --> 05:45.720 |
|
간단히 말해서 아주 명확한 건 없어요 |
|
|
|
05:45.750 --> 05:46.740 |
|
정의요 |
|
|
|
05:46.740 --> 05:52.920 |
|
인공지능 솔루션을 사용할 때 더 어려운 문제를 해결하는 경우가 |
|
|
|
05:52.920 --> 06:00.750 |
|
많습니다 여러 모델이 조화를 이루는 문제인데 즉각적인 대응이 아니죠 |
|
|
|
06:00.750 --> 06:08.430 |
|
우리가 잘 아는 채팅 인터페이스는 에이전트식 인공지능 솔루션이에요 |
|
|
|
06:08.970 --> 06:13.020 |
|
에이전트 기능을 제공하는 프레임워크가 많아요 |
|
|
|
06:13.020 --> 06:16.860 |
|
랑산은 대리인으로서 능력이 뛰어나요 |
|
|
|
06:16.860 --> 06:19.440 |
|
요원들을 끌어안으면 Get it이 가능해요 |
|
|
|
06:19.680 --> 06:22.560 |
|
그라디오는 다른 것도 많이 갖고 있어요 |
|
|
|
06:22.560 --> 06:25.410 |
|
어떤 건 코드도 없어요 |
|
|
|
06:25.410 --> 06:28.230 |
|
다양한 모델을 꿰매기만 하면 돼요 |
|
|
|
06:28.230 --> 06:34.140 |
|
일부는 코드가 더 많이 포함돼 있어요 랭 체인에서 제공하는 것처럼요 |
|
|
|
06:34.140 --> 06:39.450 |
|
여러분께 말씀드리고 싶은 것 중 하나는 이런 플랫폼 대부분이 옐름스의 |
|
|
|
06:39.450 --> 06:45.540 |
|
추상화에 있다는 겁니다 랭 체인이 전에 Rag에 대해 했던 것처럼요 |
|
|
|
06:45.540 --> 06:50.910 |
|
에이전트식 인공지능 솔루션을 구축하는 건 그런 추상화가 필요 없어요 |
|
|
|
06:50.910 --> 06:54.980 |
|
`Lms'에 직접 전화하는 법을 아니까 우리가 직접 하면 돼요 |
|
|
|
06:54.980 --> 06:59.300 |
|
LMS가 실행되도록 할 수도 있고 올바른 정보를 올바른 곳으로 보낼 수도 있죠 |
|
|
|
06:59.360 --> 07:06.500 |
|
달 착륙선은 이제 달 착륙선 공학의 달인이 되었습니다 달 착륙선 공학의 달인이 되기까지 5% 가까이 남은 거죠 |
|
|
|
07:06.500 --> 07:08.360 |
|
당신 능력 안에서요 |
|
|
|
07:08.360 --> 07:14.180 |
|
이 세션에선 에이전틱 인공지능 프레임워크를 구축할 텐데요 에이전트를 생성하는 |
|
|
|
07:14.180 --> 07:20.510 |
|
걸 보겠습니다 이미 보신 클래스들이죠 파이썬 코드로 운영하는 거예요 |
|
|
|
07:20.510 --> 07:25.610 |
|
우리가 만든 코드로 조합해서 함께 만들 거예요 아주 좋은 방법이죠 |
|
|
|
07:25.610 --> 07:29.030 |
|
무슨 일이 일어나는지 더 잘 알 수 있고요 |
|
|
|
07:29.030 --> 07:33.740 |
|
요원들 사이에 어떤 정보가 오가는지 볼 수 있어요 |
|
|
|
07:33.860 --> 07:41.540 |
|
물론 규격화된 걸 사용할 수도 있어요 더 추상화 층 제품요 |
|
|
|
07:41.540 --> 07:42.440 |
|
원하신다면요 |
|
|
|
07:42.470 --> 07:47.510 |
|
랑산이나 다른 데서 구할 수 있는 건 다 찾아봐요 |
|
|
|
07:47.600 --> 07:51.650 |
|
지금 하는 걸 다시 하는 것도 재미있을 것 같아요 |
|
|
|
07:51.680 --> 07:56.750 |
|
기성품으로 만드는 게 훨씬 더 쉬울 거예요 |
|
|
|
07:56.750 --> 07:59.270 |
|
Get it의 핵심으로 들어갈 거예요 |
|
|
|
07:59.300 --> 08:05.270 |
|
우리만의 에이전트 프레임워크를 구축하고 여러 개의 llms가 |
|
|
|
08:05.270 --> 08:12.620 |
|
문제를 해결하는 데 참여하게 할 겁니다 인터넷에서 좋은 거래를 찾아내고 찾으면 |
|
|
|
08:12.620 --> 08:15.950 |
|
메시지를 보내는 거죠 |
|
|
|
08:15.980 --> 08:19.100 |
|
프레임워크가 어떻게 생겼는지 잠깐 되짚어보죠 |
|
|
|
08:19.100 --> 08:20.480 |
|
우리 건축물은 뭘까요? |
|
|
|
08:20.510 --> 08:25.070 |
|
이게 우리가 만들고 있는 워크플로예요 |
|
|
|
08:25.310 --> 08:32.240 |
|
모델 3대가 운영 중이고 앙상블 에이전트가 모델에게 연락해요 |
|
|
|
08:32.420 --> 08:37.670 |
|
이건 비트를 좀 늘린 예라고 할 수 있죠 다른 모델에게 연락하는 앙상블 모델은 당나귀가 |
|
|
|
08:37.670 --> 08:39.530 |
|
나온 지 오래됐거든요 |
|
|
|
08:39.530 --> 08:46.040 |
|
에이전트 인공지능이라고 불린 적은 없지만 이것들은 독립된 클래스로서 실행되고 있고 동일한 |
|
|
|
08:46.040 --> 08:51.500 |
|
구조와 기능을 가지고 있습니다 프레임워크에 로그인하고 참여하는 것과 동일합니다 |
|
|
|
08:51.530 --> 08:56.930 |
|
이것들을 독립된 에이전트로 생각하는 것이 합리적입니다 원한다면 파이썬 |
|
|
|
08:56.930 --> 09:00.410 |
|
프로세스에서 실행할 수도 있고요 |
|
|
|
09:00.440 --> 09:05.780 |
|
간단히 말하자면 그냥 직접 호출하는 거죠 그렇게 할 수도 있어요 |
|
|
|
09:06.140 --> 09:11.420 |
|
그래서 저는 이 세 가지 에이전트가 각각 다른 세 가지 모델을 수행한다고 |
|
|
|
09:11.420 --> 09:16.910 |
|
제안했어요 그리고 앙상블 에이전트가 각각의 에이전트를 호출해서 |
|
|
|
09:16.910 --> 09:23.600 |
|
협업하게 한 다음 선형 회귀 추를 적용해서 제품의 가격을 매기는 거죠 |
|
|
|
09:23.690 --> 09:27.260 |
|
스캐너 요원은 지난번에 봤던 거예요 |
|
|
|
09:27.260 --> 09:28.490 |
|
이 사람은 에이전트예요 |
|
|
|
09:28.520 --> 09:31.340 |
|
스캐너 에이전트를 부르며 끝냈어요 |
|
|
|
09:31.340 --> 09:41.480 |
|
나가서 피드를 수집하고 Gpt4 0을 호출할 수 있습니다 각 거래에 대한 간결한 설명과 관련된 |
|
|
|
09:41.510 --> 09:45.140 |
|
가격점을 찾는 방법으로요 |
|
|
|
09:45.140 --> 09:46.340 |
|
그게 한데 모이죠 |
|
|
|
09:46.340 --> 09:51.160 |
|
입력 메모리가 있었던 걸 기억하실 겁니다 모든 걸 하나로 붙이는 접착제의 |
|
|
|
09:51.160 --> 09:52.270 |
|
일부죠 |
|
|
|
09:52.600 --> 09:58.540 |
|
이미 드러난 거래를 드러내지 말라고 메모리를 통해 말하죠 |
|
|
|
09:59.800 --> 10:04.990 |
|
오늘 살펴볼 것은 모두 함께 가져오는 이 노란 상자입니다 메시징 에이전트를 |
|
|
|
10:04.990 --> 10:09.730 |
|
살펴볼 건데요 여러분 폰으로 푸시 알림을 보내는 아주 간단한 거죠 |
|
|
|
10:09.730 --> 10:11.650 |
|
아주 근사할 거예요 |
|
|
|
10:11.680 --> 10:15.520 |
|
활동을 조정할 수 있는 기획 기획 요원이죠 |
|
|
|
10:15.520 --> 10:20.500 |
|
LM이 되지는 않을 겁니다 간단한 파이썬 스크립트가 될 겁니다 하지만 쉽게 LM이 |
|
|
|
10:20.500 --> 10:21.190 |
|
될 수 있죠 |
|
|
|
10:21.850 --> 10:26.170 |
|
에이전트 프레임워크도 있는데 엄청 고급스럽게 들리네요 |
|
|
|
10:26.170 --> 10:28.090 |
|
전혀 화려하지 않아요 |
|
|
|
10:28.090 --> 10:32.800 |
|
단순히 이 모든 에이전트가 있고 메시지가 계속되게 해주는 거죠 |
|
|
|
10:32.800 --> 10:36.520 |
|
그게 오늘날의 에이전트 프레임워크 생성이죠 |
|
|
|
10:36.520 --> 10:41.860 |
|
내일은 사용자 인터페이스를 만들 겁니다 모든 걸 멋지게 감싸줄 |
|
|
|
10:41.860 --> 10:43.390 |
|
인터페이스요 |
|
|
|
10:43.690 --> 10:48.520 |
|
하지만 동기가 충분해서 갈 준비가 됐길 바라요 |
|
|
|
10:48.550 --> 10:50.440 |
|
주피터랩에서 만나요
|
|
|