From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
313 lines
7.5 KiB
313 lines
7.5 KiB
WEBVTT |
|
|
|
00:00.830 --> 00:04.250 |
|
실험실의 라디오 방송에 잘 오셨어요 |
|
|
|
00:04.250 --> 00:05.180 |
|
할 일이 더 있어요 |
|
|
|
00:05.210 --> 00:06.620 |
|
계속하죠 |
|
|
|
00:06.620 --> 00:14.150 |
|
마지막으로 본 것은 간단한 사용자 인터페이스를 구축한 것이었죠 LLM을 호출하고 아주 |
|
|
|
00:14.150 --> 00:16.610 |
|
재미있는 농담을 했어요 |
|
|
|
00:16.850 --> 00:20.060 |
|
계속 진행하죠 |
|
|
|
00:20.060 --> 00:28.250 |
|
다음으로 할 일은 보조에게 가격 인하를 요청하는 겁니다 보다 나은 사용자 |
|
|
|
00:28.250 --> 00:32.540 |
|
인터페이스를 얻는 방법으로요 |
|
|
|
00:32.960 --> 00:40.940 |
|
그러디오에서 좋은 서식을 마크다운으로 써서 결과를 보여주면 좋지 않을까요? |
|
|
|
00:40.940 --> 00:47.690 |
|
텍스트 상자 대신에 마크다운으로 대체할 수 있다면 완벽한 형식의 |
|
|
|
00:47.690 --> 00:51.560 |
|
마크다운으로 결과물이 나올 거예요 |
|
|
|
00:51.560 --> 00:53.180 |
|
그러면 정말 좋겠죠? |
|
|
|
00:53.210 --> 00:54.380 |
|
좋지 않을까요? |
|
|
|
00:55.190 --> 00:56.900 |
|
무슨 말인지 아시겠죠? |
|
|
|
00:57.770 --> 00:59.030 |
|
정말 그래요 |
|
|
|
00:59.030 --> 00:59.840 |
|
이 정도면 돼요 |
|
|
|
01:00.020 --> 01:02.510 |
|
메시지를 생각해 보죠 |
|
|
|
01:02.510 --> 01:03.740 |
|
예를 들어 볼게요 |
|
|
|
01:03.890 --> 01:14.240 |
|
어떻게 타임스스퀘어에서 그랜드 센트럴까지 가죠? Get you get the time |
|
|
|
01:14.960 --> 01:17.120 |
|
뉴욕 항법팀에 질문이 있어요 |
|
|
|
01:17.120 --> 01:18.710 |
|
어떻게 되나 보죠 |
|
|
|
01:19.640 --> 01:21.440 |
|
그 생각을 하는 거예요 |
|
|
|
01:22.400 --> 01:23.360 |
|
다 됐어요 |
|
|
|
01:23.360 --> 01:24.440 |
|
이렇게 대답하죠 |
|
|
|
01:24.440 --> 01:28.370 |
|
타임스퀘어에서 뉴욕 그랜드 센트럴 터미널까지 가는 길은 모두 제 말을 이해했어요 |
|
|
|
01:28.370 --> 01:29.660 |
|
Get it |
|
|
|
01:29.870 --> 01:34.040 |
|
이 단계를 따라가면 멋진 헤딩이 나와요 |
|
|
|
01:34.310 --> 01:41.810 |
|
괜찮은 sub 탄환과 번호도 있고 GPT 4에서 받은 표시된 모든 |
|
|
|
01:41.810 --> 01:43.820 |
|
것이 있어요. |
|
|
|
01:43.850 --> 01:47.000 |
|
아주 쉽고 좋네요 |
|
|
|
01:47.390 --> 01:50.360 |
|
다른 방법도 한번 살펴보죠 |
|
|
|
01:51.500 --> 01:53.420 |
|
스트리밍요 |
|
|
|
01:53.420 --> 01:55.700 |
|
스트리밍은 지난번에도 익숙해졌잖아요 |
|
|
|
01:55.700 --> 02:01.840 |
|
그라디오 유저 인터페이스로 결과를 스트리밍할 수 있나요? 주피터 출력 셀로 되돌아올 |
|
|
|
02:01.840 --> 02:03.820 |
|
때 했던 것처럼요 |
|
|
|
02:03.820 --> 02:04.960 |
|
자, 시작하죠 |
|
|
|
02:04.990 --> 02:07.300 |
|
함수를 바꾸죠 |
|
|
|
02:07.330 --> 02:10.840 |
|
예전엔 GPT라는 메시지였죠 |
|
|
|
02:10.870 --> 02:12.400 |
|
이제 GPT 스트림으로 만들 거예요 |
|
|
|
02:12.430 --> 02:13.420 |
|
함수가 달라요 |
|
|
|
02:13.420 --> 02:15.610 |
|
중요한 건 이게 함수가 아니란 거죠 |
|
|
|
02:15.610 --> 02:20.320 |
|
발전기 같은 거예요 결과적으로 끝날 거예요 |
|
|
|
02:20.320 --> 02:26.170 |
|
그라디오는 우리가 함수 기능을 부여한 게 아니라 발전기를 줬다는 걸 눈치챌 거예요 |
|
|
|
02:26.170 --> 02:32.830 |
|
그 때문에 그라디오는 자동으로 반복적으로 재생되고 발전기에서 돌아오는 |
|
|
|
02:32.830 --> 02:35.980 |
|
부분마다 채워넣게 되죠 |
|
|
|
02:36.100 --> 02:38.020 |
|
늘 있는 일이죠 |
|
|
|
02:38.020 --> 02:45.100 |
|
메시지를 생성하면 이번엔 같은 API 호출이란 걸 기억하실 겁니다 하지만 스트리밍에서 넘긴 건 |
|
|
|
02:45.100 --> 02:46.120 |
|
true죠 |
|
|
|
02:46.150 --> 02:47.770 |
|
클로드가 어떻게 하는지 알죠? |
|
|
|
02:47.860 --> 02:48.790 |
|
그러길 바라요 |
|
|
|
02:48.820 --> 02:54.220 |
|
클로드는 특성이 없어요 대신 .Create 대신 .Timle을 호출하죠 |
|
|
|
02:54.220 --> 02:56.290 |
|
그 외에는 아주 비슷해요 |
|
|
|
02:56.350 --> 02:58.810 |
|
여기서 주목할 게 하나 있어요 |
|
|
|
02:58.840 --> 03:01.110 |
|
그래디오와 아주 미묘하게 일치하죠 |
|
|
|
03:01.140 --> 03:08.820 |
|
결과를 그라디오로 스트리밍할 때 결과를 하나씩 스트리밍하지 않아요 |
|
|
|
03:08.820 --> 03:15.870 |
|
지금까지 누적된 결과를 전부 스트리밍해야 해요 그리고 누적 결과를 점점 더 오랫동안 스트리밍해야 |
|
|
|
03:15.870 --> 03:16.410 |
|
하죠 |
|
|
|
03:16.410 --> 03:20.520 |
|
제가 뭘 하는지 보이시죠 빈 문자열로 시작해요 |
|
|
|
03:20.520 --> 03:28.110 |
|
각각의 덩어리에 추가하고 지금까지 누적된 총 결과를 산출하는 거죠 |
|
|
|
03:28.260 --> 03:34.830 |
|
그렇게 하지 않으면 출력 셀에 각 덩어리가 나타났다가 사라지고 |
|
|
|
03:34.830 --> 03:37.140 |
|
다른 것으로 대체되죠 |
|
|
|
03:37.140 --> 03:38.910 |
|
이렇게 해야 해요 |
|
|
|
03:38.910 --> 03:42.900 |
|
무슨 뜻인지 모르겠다면 수확 결과 대신 수확량 덩어리를 입력해 보세요 |
|
|
|
03:43.050 --> 03:43.290 |
|
미안해요 |
|
|
|
03:43.320 --> 03:46.200 |
|
큰 덩어리를요 0살요 델타 닷 콘텐츠요 |
|
|
|
03:46.320 --> 03:46.590 |
|
네 |
|
|
|
03:46.590 --> 03:49.350 |
|
무슨 말인지 알게 될 거예요 |
|
|
|
03:49.350 --> 03:50.910 |
|
보기 안 좋을 거예요 |
|
|
|
03:51.150 --> 03:59.640 |
|
어쨌든 이게 스트림 GPT입니다 메시지 GPT였던 함수를 스트림으로 대체하기만 하면 |
|
|
|
03:59.760 --> 04:06.390 |
|
좋을 것 같은데요 GPT와 Gadio가 나머지를 해결했네요 |
|
|
|
04:06.390 --> 04:09.300 |
|
이건 발전기일 뿐 함수가 아니란 걸 알아냈죠 |
|
|
|
04:09.300 --> 04:11.610 |
|
따라서 결과를 스트리밍하길 원할 거예요 |
|
|
|
04:11.610 --> 04:15.360 |
|
그래서 타자기 애니메이션 같은 효과를 내야 했죠 |
|
|
|
04:15.390 --> 04:18.660 |
|
그렇게 간단한지 확인해 보죠 |
|
|
|
04:18.660 --> 04:20.190 |
|
그렇게 간단해요? |
|
|
|
04:20.520 --> 04:21.660 |
|
시작할게요 |
|
|
|
04:21.690 --> 04:29.940 |
|
Get it, get it, get it, it 타임스스퀘어에서 그랜드 센트럴까지 어떻게 가죠? |
|
|
|
04:32.310 --> 04:33.360 |
|
다 됐어요 |
|
|
|
04:33.510 --> 04:34.470 |
|
그럼요, 간단하죠 |
|
|
|
04:34.500 --> 04:35.460 |
|
당연히 그렇겠죠 |
|
|
|
04:35.490 --> 04:36.930 |
|
결과를 내보내죠 |
|
|
|
04:36.930 --> 04:37.920 |
|
잘 어울려요 |
|
|
|
04:37.920 --> 04:40.380 |
|
마크다운이 아주 멋져요 |
|
|
|
04:40.890 --> 04:47.280 |
|
클로드와의 관계가 얼마나 쉬운지 보여드리지 않으면 제 일이 아니겠죠 |
|
|
|
04:47.280 --> 04:51.540 |
|
전에 언급했었죠 클로드의 API 호출이 저기 있는 게 보이시죠 |
|
|
|
04:51.540 --> 04:52.800 |
|
아주 비슷해요 |
|
|
|
04:52.800 --> 04:55.650 |
|
닷 스트림을 호출하면 매개변수에서 통과 못 해요 |
|
|
|
04:55.650 --> 05:00.470 |
|
최대 토큰을 지정해야 한다는 걸 기억하세요 시스템 메시지는 따로 보내지죠 |
|
|
|
05:00.500 --> 05:02.240 |
|
그 외에는 아주 비슷해요 |
|
|
|
05:02.270 --> 05:05.510 |
|
스트리밍은 결과만을 위한 거죠 |
|
|
|
05:05.690 --> 05:08.030 |
|
결과는 스트림으로서 컨텍스트 관리자죠 |
|
|
|
05:08.030 --> 05:13.070 |
|
그럼 전처럼 완전한 반응을 보여드리죠 |
|
|
|
05:13.550 --> 05:16.670 |
|
이 시점에서 지루할 정도로 간단해요 |
|
|
|
05:16.670 --> 05:17.780 |
|
Get it, get it, get it, get it, it! 농담 이해하죠? |
|
|
|
05:17.810 --> 05:21.050 |
|
그 함수를 전달하는 거죠 |
|
|
|
05:21.050 --> 05:24.110 |
|
지금은 클로드랑 얘기하고 있어요 |
|
|
|
05:24.110 --> 05:25.640 |
|
우리도 같은 질문을 할 거예요 |
|
|
|
05:25.670 --> 05:31.910 |
|
Get it, get it, get it, it, it, it, it! 타임스스퀘어에서 그랜드 센트럴까지 어떻게 가죠? |
|
|
|
05:33.290 --> 05:40.250 |
|
클로드의 답장은 비트보다 짧고 두 가지밖에 없지만 구조가 잘 짜여 있죠 |
|
|
|
05:40.250 --> 05:41.720 |
|
서식이 멋지네요 |
|
|
|
05:41.720 --> 05:43.820 |
|
정말 훌륭해요 |
|
|
|
05:44.120 --> 05:53.750 |
|
GPT나 클로드 중 하나를 선택함으로써 한 걸음 더 나아갈 수 있어요 |
|
|
|
05:53.750 --> 05:56.840 |
|
Get in get은 다음 세션에서 다룰게요 |
|
|
|
05:56.840 --> 05:57.980 |
|
조금만 더 버텨요
|
|
|