실험실의 라디오 방송에 잘 오셨어요
할 일이 더 있어요
계속하죠
마지막으로 본 것은 간단한 사용자 인터페이스를 구축한 것이었죠 LLM을 호출하고 아주
재미있는 농담을 했어요
계속 진행하죠
다음으로 할 일은 보조에게 가격 인하를 요청하는 겁니다 보다 나은 사용자
인터페이스를 얻는 방법으로요
그러디오에서 좋은 서식을 마크다운으로 써서 결과를 보여주면 좋지 않을까요?
텍스트 상자 대신에 마크다운으로 대체할 수 있다면 완벽한 형식의
마크다운으로 결과물이 나올 거예요
그러면 정말 좋겠죠?
좋지 않을까요?
무슨 말인지 아시겠죠?
정말 그래요
이 정도면 돼요
메시지를 생각해 보죠
예를 들어 볼게요
어떻게 타임스스퀘어에서 그랜드 센트럴까지 가죠? Get you get the time
뉴욕 항법팀에 질문이 있어요
어떻게 되나 보죠
그 생각을 하는 거예요
다 됐어요
이렇게 대답하죠
타임스퀘어에서 뉴욕 그랜드 센트럴 터미널까지 가는 길은 모두 제 말을 이해했어요
Get it
이 단계를 따라가면 멋진 헤딩이 나와요
괜찮은 sub 탄환과 번호도 있고 GPT 4에서 받은 표시된 모든
것이 있어요.
아주 쉽고 좋네요
다른 방법도 한번 살펴보죠
스트리밍요
스트리밍은 지난번에도 익숙해졌잖아요
그라디오 유저 인터페이스로 결과를 스트리밍할 수 있나요? 주피터 출력 셀로 되돌아올
때 했던 것처럼요
자, 시작하죠
함수를 바꾸죠
예전엔 GPT라는 메시지였죠
이제 GPT 스트림으로 만들 거예요
함수가 달라요
중요한 건 이게 함수가 아니란 거죠
발전기 같은 거예요 결과적으로 끝날 거예요
그라디오는 우리가 함수 기능을 부여한 게 아니라 발전기를 줬다는 걸 눈치챌 거예요
그 때문에 그라디오는 자동으로 반복적으로 재생되고 발전기에서 돌아오는
부분마다 채워넣게 되죠
늘 있는 일이죠
메시지를 생성하면 이번엔 같은 API 호출이란 걸 기억하실 겁니다 하지만 스트리밍에서 넘긴 건
true죠
클로드가 어떻게 하는지 알죠?
그러길 바라요
클로드는 특성이 없어요 대신 .Create 대신 .Timle을 호출하죠
그 외에는 아주 비슷해요
여기서 주목할 게 하나 있어요
그래디오와 아주 미묘하게 일치하죠
결과를 그라디오로 스트리밍할 때 결과를 하나씩 스트리밍하지 않아요
지금까지 누적된 결과를 전부 스트리밍해야 해요 그리고 누적 결과를 점점 더 오랫동안 스트리밍해야
하죠
제가 뭘 하는지 보이시죠 빈 문자열로 시작해요
각각의 덩어리에 추가하고 지금까지 누적된 총 결과를 산출하는 거죠
그렇게 하지 않으면 출력 셀에 각 덩어리가 나타났다가 사라지고
다른 것으로 대체되죠
이렇게 해야 해요
무슨 뜻인지 모르겠다면 수확 결과 대신 수확량 덩어리를 입력해 보세요
미안해요
큰 덩어리를요 0살요 델타 닷 콘텐츠요
네
무슨 말인지 알게 될 거예요
보기 안 좋을 거예요
어쨌든 이게 스트림 GPT입니다 메시지 GPT였던 함수를 스트림으로 대체하기만 하면
좋을 것 같은데요 GPT와 Gadio가 나머지를 해결했네요
이건 발전기일 뿐 함수가 아니란 걸 알아냈죠
따라서 결과를 스트리밍하길 원할 거예요
그래서 타자기 애니메이션 같은 효과를 내야 했죠
그렇게 간단한지 확인해 보죠
그렇게 간단해요?
시작할게요
Get it, get it, get it, it 타임스스퀘어에서 그랜드 센트럴까지 어떻게 가죠?
다 됐어요
그럼요, 간단하죠
당연히 그렇겠죠
결과를 내보내죠
잘 어울려요
마크다운이 아주 멋져요
클로드와의 관계가 얼마나 쉬운지 보여드리지 않으면 제 일이 아니겠죠
전에 언급했었죠 클로드의 API 호출이 저기 있는 게 보이시죠
아주 비슷해요
닷 스트림을 호출하면 매개변수에서 통과 못 해요
최대 토큰을 지정해야 한다는 걸 기억하세요 시스템 메시지는 따로 보내지죠
그 외에는 아주 비슷해요
스트리밍은 결과만을 위한 거죠
결과는 스트림으로서 컨텍스트 관리자죠
그럼 전처럼 완전한 반응을 보여드리죠
이 시점에서 지루할 정도로 간단해요
Get it, get it, get it, get it, it! 농담 이해하죠?
그 함수를 전달하는 거죠
지금은 클로드랑 얘기하고 있어요
우리도 같은 질문을 할 거예요
Get it, get it, get it, it, it, it, it! 타임스스퀘어에서 그랜드 센트럴까지 어떻게 가죠?
클로드의 답장은 비트보다 짧고 두 가지밖에 없지만 구조가 잘 짜여 있죠
서식이 멋지네요
정말 훌륭해요
GPT나 클로드 중 하나를 선택함으로써 한 걸음 더 나아갈 수 있어요
Get in get은 다음 세션에서 다룰게요
조금만 더 버텨요