5일째에 오신 걸 환영해요
진짜로요
주피터 공책에 있는 거예요
오늘은 5일째예요 5주 차죠, 준비됐어요
예전과 똑같아요
4일 반이 아니라 4일 차와 똑같은 거예요
크로마 Datastore를 사용하고 있습니다 빠르게 살펴보겠습니다 이미
다 알고 계시니까요
그리고 그래디오 인터페이스로 돌아갈 거예요 get it
이렇게요
그게 우리를 따라잡았죠
그려진 거예요
무대 뒤에서 2D와 3D 도표가 펼쳐지죠
하지만 그럴 시간이 없어요
지금요
계속 가야 해요
먼저 보여드릴 게 있어요 전에 했던 조류 실험은 바이브스 실험처럼 채도로도
효과가 있어요
우리도 빨리 해보죠
철자를 틀리게 쓴 새장은 어떤 역할을 했죠?
상상이 돼요
두고 봐야죠
네
채도가 전혀 문제가 없어요
놀랍지도 않네요
좋아요, 하지만 잘 안 될 만한 걸 보여드리죠
먼저 직원 인사 자료를 좀 볼게요
지식 기반으로 가서 직원들을 살펴보죠 맥신 톰프슨의
직원 기록을 살펴볼 거예요
마크다운으로 시작하죠
그래서 완전히 파손된 모습을 보게 되죠
맥신 톰프슨의 인사 기록이에요 텍사스주 오스틴에 사는 데이터 엔지니어죠
잠시 주목해 주셨으면 하는 게 있어요 여기 아래를 보시면
맥신이 2023년 올해의 엘름 이노베이터로 선정된 게 보일 거예요
2023년 엘름 최고의 혁신가 부문에서 아이오티상을 수상했죠
고백하자면 이 문장은 제가 추가했어요
GPT 4나 클로드가 만든 합성 데이터의 일부로 만들어진 건 아니었어요
다 내 탓이에요
끔찍해요
그러니 날 탓해요
이제 5일 차로 돌아가서 질문을 하나 할게요 누가 이겼을까요?
누가 2023년에 권위 있는 슈리람 올해의 혁신자 상을 받았는지를요
뭐라고 쓰여 있는지 보죠
모른다고 나오네요
직설적으로 말하네요
퉁명스럽죠
그게 흥미로워요
실패하고 말았죠
그게 우리가 제공한 정보였어요
서류에 다 나와 있었어요
비트가 좀 실망스럽네요
그러니 이제 이 문제를 진단해 봐야죠
그렇게 함으로써 랑체인의 작동 원리를 비트 아래서 배울 거예요
그리 놀랍지도 않을 거예요
여기선 어떤 상황인지 볼 수 있죠 Get up
아주 유용한 게 있어요 표준 아웃 콜백 처리기라는 걸 만드는 거죠
말 그대로 뒤에서 무슨 일이 일어나는지 표준에 프린트할
수 있게 해주는 거예요
여러분이 아주 익숙한 동일한 코드예요
경보를 울리는 거죠
메모리를 만드는 거죠
리트리버와 대화 사슬을 만듭니다 이 아름다운 한 줄이 LM을 통과하죠
리트리버, 메모리요
제가 하나를 더 넘기고 있는 게 보이시죠 콜백 목록이에요
여기선 한 개의 콜백만 만들고 있어요 표준 아웃 콜백 처리기죠
여러분이 예상하시듯이 반복적으로 표준에 프린트될 겁니다 이 대화
사슬이 실행될 때요
다시 문제입니다 누가 이겼을까요?
전 다르게 표현했어요 Put it up Put it up Put it up
똑같이 해 보죠
2023년 Iet상을 받은 사람은 누구일까요?
됐어요
그 질문을 해보죠
Get get get, get get, get 답을 찾아볼게요
뭐라고 쓰여 있는지 보죠
비트 박스를 통해 흔적을 얻으면 랭 체인이 어떻게 돌아가는지 알
수 있죠
다양한 물체가 있어요
이런 걸 체인이라고 하는데 대화를 구성하는 단계를 거치면서 연결되는
거예요 래그 쿼리요
다양한 콜백을 이용해 각 단계에서 일어나는 일에 대해 보다 상세히
프린트할 수도 있어요 원한다면요
하지만 정말 중요한 건 GPT 4에 도달하는 프롬프트죠
여기 있네요
시스템요
다음 컨텍스트를 이용해 사용자의 질문에 답하세요
모르면 모른다고 하면 되잖아요
없는 말 지어내지 마세요
정말 흥미로운 건 랭 체인 전문가들이 다양한 llm에
보낼 이상적인 프롬프트란 거예요
따라서 이건 여러분이 자신의 프로젝트에 사용하기에 아주 좋아요
아주 공들여 쓴 거예요
아주 효과적인 약이에요 GPT 4가 환각 증상을 보이지 않게 막았으니까요
각본이 잘 짜여진 게 좋았어요
하지만 문제가 있어요
이 컨텍스트가 제공된 곳은∙∙∙ 여기 나오는 LM이죠
보시면 아시겠지만 여러 덩어리에서 몇 개만 추출한 거예요
두세 덩어리인데 인사 기록에서 빼낸 것 같아요
하지만 옳지 않아요
아이오티상은 언급하지 않으니까요
안타깝게도 이 경우엔 엉뚱한 덩어리를 식별했어요
그리고 이 마지막 부분이 질문이에요
아이오티상을 받은 인간이라고 쓰여 있어요
내가 인간이에요
그 질문에 대한 답을 하기에는 좋은 맥락이 없었어요
그래서 이런 반응을 보였겠죠
그럼 어떻게 해야 할까요?
래그와 관련해 아주 흔한 문제입니다 올바른 컨텍스트를 제공하지 않을
때요
할 수 있는 게 몇 가지 있어요
하나는 청킹 전략을 다시 살펴보는 거예요
서류를 어떻게 덩어리로 나누죠?
그러고 있어요?
네
바로 시도해 볼 만한 게 몇 가지 있어요
그 중 하나는 청크링 대신에 전체 문서를 컨텍스트로 보낼 수 있다는 거죠
그래서 전체 문서를 get get get에 넣고 가장 가까운 문서를 찾아봤어요
반대로 큼직큼직하게 잘라 입자가 곱거나 작을 수도 있어요
또한 덩어리 간의 중첩을 조사해서 겹치는 부분이 늘어나는지 줄어들는지 확인할
수도 있죠
이런 경우에는 유용한 정보를 제공할 가능성이 더 크죠
모두 조사해볼 만한 것들이에요. 청킹 전략이 잘 작동하도록 하기 위해서요. 그래서 올바른 컨텍스트가 제공되고 있어요.
Get up!
한 가지 더 있어요
아주 간단해요
이 경우에 그렇게 할 거예요
get의 개수를 조절하는 거죠 실제로 전송되는 컨텍스트의 양을요
음, 저희 경우엔 그냥∙∙∙ 여기로 전송되는 건 3개일
거예요 전송되는 덩어리의 수를 컨트롤할 수 있어요 이렇게 할 수 있죠
리트리버 벡터 스토어를 리트리버로 생성할 때 얼마나 많은 덩어리를 반환하고 넘길지
정할 수 있어요
이 경우에 전 25개의 덩어리가 생성돼 전달되도록 지정했어요
경험상 LLM에 많은 컨텍스트를 보내는 게 좋아요
Rms는 관련 맥락에만 초점을 맞추고 불필요한 맥락을 무시하는 데 뛰어나요
그러니 덩어리를 많이 보내는 게 좋아요
그러지 않는 게 나은 상황도 가끔 있어요
예를 들어 오픈AI가 제공하는 최신 모델 중 하나가 그 예입니다 즉각적으로
더 자세히 살펴보고 보이지 않는 곳에서 분석을 통해 제대로 이해하는 모델이죠
일종의 사고의 연속이죠
그리고 비관련 컨텍스트를 많이 제공하지 않는 걸 추천합니다 그러면 속도가
느려지고 모델이 산만해지니까요
하지만 가끔씩 나오는 예들을 보면 경험상 일반적인 규칙은 더 많은 컨텍스트가
좋다는 거죠
이 경우에는 큰 해가 되지 않아요 가장 가까운 25개를 두세 개보다 더 많이 주는
거죠
덩어리가 총 123개예요
그러니 이건 전체 데이터의 5분의 1에 불과해요
전체 데이터 세트를 보내는 게 아니에요
가장 관련 있는 25개의 청크를 선택하고 있어요 LLM을 보내기 위한 콘텐츠 중 가장 관련 있는 5분의 1이죠
잘 되는지 보죠
이걸 실행할게요
그리고 전처럼 평소대로 그래디오 인터페이스를 켜죠
그럼 바로 질문을 시작하죠 누가 이겼는지 누가 그걸 사용하게 됐는지요
그래서 일관성을 유지하죠
2023년 아이티유상을 수상했죠
어디 보죠
드럼 부탁해요
맥신이에요
맥신은 명망 높은 Iot 2023 상을 받았어요
달 착륙선에 더 많은 덩어리를 제공한 게 문제 해결이었죠
이제 돌아가서 이걸 실험해 보세요
어려운 질문을 해보세요
언제든 문서에 몇 가지 삽입해 어떻게 되는지 볼 수 있어요
그리고 다양한 청량 전략을 실험해 보는 거죠
전체 문서를 입력해보세요 더 작은 덩어리로요 100글자 정도로요 더 많거나 덜 겹치게요 그게
결과의 질에 어떤 영향을 미치는지 느껴보세요 너무 적은 컨텍스트를 제공할 수도 있고요 Get it
너무 많은 컨텍스트를 제공하면 어떤 영향을 미치는지 알 수 있죠
그래서 NTSB의 반응이 less로 나오는 것 같아요
그래서 좋은 점과 나쁜 점을 파악하고 가장 효과적인 방법을 잘 파악할 수 있도록요
get it
그럼 다음 영상에서 다시 만나요