From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
304 lines
8.9 KiB
304 lines
8.9 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:04.340 |
|
2주 차, 4일째에 함께해 주셔서 감사해요 |
|
|
|
00:04.370 --> 00:06.920 |
|
오늘 멋진 걸 많이 준비했어요 |
|
|
|
00:06.920 --> 00:15.770 |
|
오늘도 레벨업의 날입니다 중요한 비즈니스 가치를 창출하는 Lms를 이용해 여러분의 역량을 향상하는 |
|
|
|
00:15.770 --> 00:19.490 |
|
새로운 기술을 개발하는 날이죠 |
|
|
|
00:19.940 --> 00:26.240 |
|
늘 그렇듯, 이미 할 수 있는 일을 간단히 요약해보죠 트랜스포머와 관련된 용어를 설명하세요 |
|
|
|
00:26.240 --> 00:27.290 |
|
잘 아시네요 |
|
|
|
00:27.290 --> 00:33.920 |
|
상위 3개 프런티어 모델을 위해 API를 자신 있게 코딩했고 최근에는 챗봇 비서를 제작했습니다 |
|
|
|
00:33.920 --> 00:37.670 |
|
대화형 UI를 갖춘 인공지능 챗봇이죠 |
|
|
|
00:37.670 --> 00:43.400 |
|
이제 OpenAI의 메시지 구조에 아주 익숙해졌죠 그래디오를 위한 채팅 |
|
|
|
00:43.400 --> 00:46.130 |
|
함수가 어떻게 작동하는지도요 |
|
|
|
00:46.310 --> 00:49.880 |
|
오늘은 도구에 대해 알아보죠 |
|
|
|
00:49.880 --> 00:54.080 |
|
결국 정의도 할 수 있고 공통 유스케이스를 갖게 될 겁니다 도구를 |
|
|
|
00:54.080 --> 00:57.650 |
|
사용하는 인공지능 보조도 코딩할 수 있고요 |
|
|
|
00:57.650 --> 00:58.910 |
|
Get it, get it 해 보죠 |
|
|
|
00:59.570 --> 01:02.420 |
|
그럼 도구가 뭘까요? |
|
|
|
01:02.900 --> 01:11.780 |
|
즉, 프런티어 모델은 외부 기능과 외부 기능성을 연결할 수 있죠 |
|
|
|
01:11.810 --> 01:14.570 |
|
도구의 의미는 그보다 더 광범위해요 |
|
|
|
01:14.570 --> 01:15.650 |
|
다른 것도 가능해요 |
|
|
|
01:15.680 --> 01:21.110 |
|
하지만 보통 툴이라고 하면 외부 기능에 접근하는 |
|
|
|
01:21.140 --> 01:23.870 |
|
개척자 모델을 뜻하죠 |
|
|
|
01:23.870 --> 01:32.300 |
|
LLM의 지식을 확장함으로써 더 많은 회신이 가능하게 합니다 응용 프로그램 내에서 고급 액션을 |
|
|
|
01:32.330 --> 01:39.380 |
|
수행할 수 있고 성능을 향상할 수도 있습니다 예를 들어 계산기를 제공할 수도 있죠 |
|
|
|
01:39.530 --> 01:44.510 |
|
지난 시간에 말했듯이 아주 신비롭게 들릴 수도 있어요 |
|
|
|
01:44.510 --> 01:47.090 |
|
어떻게 어떻게 된 거죠? |
|
|
|
01:47.090 --> 01:52.430 |
|
계산기 같은 걸 만들어 보죠 계산을 하는 함수요 일종의 파이썬 |
|
|
|
01:52.430 --> 01:54.860 |
|
코드도 할 수 있는 함수요 |
|
|
|
01:54.860 --> 01:59.960 |
|
그런 다음 그걸 LLM에 주고 이걸 사용하라고 하는 거죠 |
|
|
|
01:59.960 --> 02:03.140 |
|
내 컴퓨터로 이 소프트웨어를 작동시켜요 |
|
|
|
02:03.140 --> 02:05.210 |
|
신비롭게 들리네요 |
|
|
|
02:05.210 --> 02:06.860 |
|
비트가 좀 으스스하네요 |
|
|
|
02:06.920 --> 02:09.790 |
|
하지만 그렇지 않아요 |
|
|
|
02:09.790 --> 02:10.930 |
|
별로 안 똑똑해요 |
|
|
|
02:10.930 --> 02:13.840 |
|
워크플로우는 아주 간단해요 |
|
|
|
02:13.870 --> 02:15.130 |
|
특종이에요 |
|
|
|
02:15.130 --> 02:24.220 |
|
LM이 호출할 수 있는 사용 가능한 함수를 정의하는 것부터 시작하죠 |
|
|
|
02:24.220 --> 02:25.900 |
|
이 함수들을 정의하죠 |
|
|
|
02:25.900 --> 02:27.100 |
|
계산기가 있다고 가정해 보죠 |
|
|
|
02:27.100 --> 02:28.390 |
|
계산기는 정의했어요 |
|
|
|
02:28.390 --> 02:32.920 |
|
입력과 출력은 무엇인지 LM이 언제 사용해야 하는지도요 |
|
|
|
02:33.010 --> 02:36.550 |
|
달 착륙선에 그 얘기를 하는 거죠 |
|
|
|
02:36.550 --> 02:42.430 |
|
뭔가를 하려고 호출할 때 사용자에게 응답할 수 있는지 묻죠 |
|
|
|
02:42.430 --> 02:45.760 |
|
이 도구에 엑세스할 수 있어요 |
|
|
|
02:45.790 --> 02:51.970 |
|
LM이 응답할 때 프롬프트로 응답할 수도 있고 혹은 다른 것으로 응답할 수도 |
|
|
|
02:51.970 --> 02:57.490 |
|
있습니다 응답을 생성해야 한다면 먼저 당신이 말한 도구를 실행하도록 |
|
|
|
02:57.490 --> 03:03.310 |
|
요청해야 합니다 입력으로 실행하고 출력을 제공해야 하죠 |
|
|
|
03:03.310 --> 03:12.280 |
|
그걸 가져가서 도구를 실행하고 LM에 응답을 다시 제공하면 LM은 응답을 생성하는 |
|
|
|
03:12.280 --> 03:14.770 |
|
데 사용하죠 |
|
|
|
03:14.860 --> 03:20.140 |
|
제 말을 이해하신다면 사실 그렇게 대단하진 않아요 |
|
|
|
03:20.140 --> 03:24.850 |
|
LM을 호출하면 응답이 옵니다 당신이 갖고 있다고 한 도구를 호출해 |
|
|
|
03:24.850 --> 03:25.570 |
|
주세요 |
|
|
|
03:25.600 --> 03:31.630 |
|
그렇게 하면 LM에 다시 제공됩니다 그럼 더 풍부한 반응을 제공하죠 |
|
|
|
03:32.320 --> 03:38.620 |
|
잘 따라오신다면 지난 랩에서 했던 것과 크게 다르지 않다는 |
|
|
|
03:38.650 --> 03:45.970 |
|
걸 아실 겁니다 문자열을 찾아 프롬프트에 추가 컨텍스트를 삽입해 LM으로 |
|
|
|
03:45.970 --> 03:52.330 |
|
간 거요 프롬프트에 추가 컨텍스트를 삽입하는 거죠 |
|
|
|
03:52.360 --> 03:52.930 |
|
좋아요 |
|
|
|
03:52.960 --> 03:56.860 |
|
어쨌든 헷갈리신 게 아니면 좋겠네요 코드를 보시면 다 이해될 거예요 |
|
|
|
03:56.860 --> 03:57.820 |
|
약속드리죠 |
|
|
|
03:58.630 --> 04:00.550 |
|
먼저 유스 케이스가 뭐죠? |
|
|
|
04:00.550 --> 04:02.500 |
|
보통 언제 이걸 하죠? |
|
|
|
04:02.500 --> 04:07.150 |
|
자주 보게 되는 게 네 가지 있어요 |
|
|
|
04:07.330 --> 04:15.100 |
|
도구를 이용해 추가 데이터를 가져올 수도 있어요 데이터베이스에서 찾아보고 지식을 추가하는 것처럼요 |
|
|
|
04:15.100 --> 04:19.720 |
|
지난 랩에서 벨트랑 했던 것과 비슷하다고 생각하실 |
|
|
|
04:19.720 --> 04:23.800 |
|
수 있지만 대신 도구를 사용할 수 있어요 |
|
|
|
04:24.370 --> 04:30.940 |
|
LM이 행동을 취하는 방법으로 사용할 수 있습니다 회의를 예약하는 것처럼요 그럼 |
|
|
|
04:30.970 --> 04:34.120 |
|
액세스 권한의 일부로 말할 수 있죠 |
|
|
|
04:34.120 --> 04:40.240 |
|
실제로 이런 물건을 운반할 능력이 있고 비행기 표를 사서 다음 일을 |
|
|
|
04:40.240 --> 04:41.710 |
|
할 수 있어요 |
|
|
|
04:41.860 --> 04:47.050 |
|
기본적으로 응답을 보면 사용하고 싶은 툴이 뭔지 알려줍니다 방금 |
|
|
|
04:48.580 --> 04:51.880 |
|
언급한 것처럼요 사용 사례는 계산기예요 |
|
|
|
04:51.880 --> 04:59.530 |
|
LMS는 계산에 약하기로 유명하죠 영어로 토큰을 예측하는 게 전부니까요 |
|
|
|
04:59.530 --> 05:04.360 |
|
심층 신경망에 계산기가 내장돼 있지 않아요 |
|
|
|
05:04.360 --> 05:07.090 |
|
하지만 도구로 제공할 수 있어요 |
|
|
|
05:07.270 --> 05:13.240 |
|
보시다시피 GPT 4는 요즘 연산에 아주 능숙하죠 |
|
|
|
05:13.240 --> 05:17.800 |
|
배후에서 일어나는 일이 이런 건 아닌지 궁금하네요 계산을 |
|
|
|
05:17.800 --> 05:22.020 |
|
실행하기 위해 고유한 도구를 사용할 수 있는 거죠 |
|
|
|
05:22.020 --> 05:26.010 |
|
추측일 수도 있지만 아주 합리적인 것 같아요 |
|
|
|
05:27.090 --> 05:34.260 |
|
UI 수정도 할 수 있어요 여기 도구가 있다고 말할 수 있게요 |
|
|
|
05:34.260 --> 05:39.390 |
|
사용자 인터페이스에서 다양한 걸 업데이트하는 함수를 사용할 수 있어요 |
|
|
|
05:39.390 --> 05:46.980 |
|
LLM은 UI에서 변화를 촉발하는 직접적인 기능을 갖게 됩니다 LLM과 UI 사이에 |
|
|
|
05:46.980 --> 05:51.600 |
|
더 탄탄한 통합을 갖는다는 건 멋진 아이디어죠 |
|
|
|
05:52.740 --> 06:00.090 |
|
두 번째에 대해 짚고 넘어갈 게 하나 있어요 네 번째 것은 행동을 취하고 UI 수정하는 |
|
|
|
06:00.090 --> 06:03.660 |
|
거죠 이걸 달성할 다른 방법이 있어요 |
|
|
|
06:03.660 --> 06:09.090 |
|
그게 당신이 원하는 전부라면 더 간단한 방법이겠죠 |
|
|
|
06:09.210 --> 06:14.460 |
|
전에 했던 걸 바탕으로 잠시 멈춰서 제가 뭘 하려는지 |
|
|
|
06:14.490 --> 06:16.470 |
|
생각해 보세요 |
|
|
|
06:17.070 --> 06:24.740 |
|
답은 이거죠 초기 실험 중 하나에서 JSON에서 모델이 구조적 응답으로 응답하게 한 거 |
|
|
|
06:24.740 --> 06:29.900 |
|
기억하시죠? 그 응답은 JSON이 정보를 제공했고요 |
|
|
|
06:29.900 --> 06:35.180 |
|
저희의 경우는 링크가 중요했어요 완전한 자격의 링크와 수집할 링크에 대한 정보를 |
|
|
|
06:35.180 --> 06:36.440 |
|
더 많이 주는 거였죠 |
|
|
|
06:36.470 --> 06:41.900 |
|
유사하게 모델에게 JSON에서 반응하도록 요청할 수도 있어요 회의를 예약하기 위해 어떤 행동을 취해야 하는지 |
|
|
|
06:41.900 --> 06:46.790 |
|
또는 JSON에서 반응해야 하는지 사용자 인터페이스를 어떻게 수정하길 원하는지에 근거해서요 |
|
|
|
06:46.790 --> 06:50.690 |
|
도구를 사용하는 것 외에 다른 방법도 있어요 |
|
|
|
06:50.690 --> 06:55.970 |
|
하지만 스트리밍 백 텍스트 외에 도구를 제공하고 싶다면 이게 좋은 해결책이에요 |
|
|
|
06:55.970 --> 07:00.740 |
|
그게 이걸 사용하기에 가장 좋은 때죠 LM이 작업하는 다른 여러 가지 작업과 |
|
|
|
07:00.740 --> 07:01.730 |
|
함께요 |
|
|
|
07:01.730 --> 07:05.600 |
|
이런 도구들이 기능에 추가되는 거죠 |
|
|
|
07:06.800 --> 07:13.250 |
|
이제 할 일은 항공사 고객 지원 에이전트를 정보에 따라 만드는 거죠 |
|
|
|
07:13.250 --> 07:19.190 |
|
우리가 파리로 간다고 말하고 파리행 비행기 표 가격으로 답장을 |
|
|
|
07:19.190 --> 07:21.170 |
|
받아야 해요 |
|
|
|
07:21.170 --> 07:22.310 |
|
그게 목적이죠 |
|
|
|
07:22.310 --> 07:26.960 |
|
도구를 이용해 알아보겠습니다 실험실에서 방법을 알아보죠
|
|
|