첫 번째 운동을 소개하게 돼서 기쁘고 어떻게 만드실지 정말 기대되네요
PC나 터미널 창을 사용하신다면 아나콘다 프롬프트를 선택하세요
Mac에 있다면 프로젝트 루트 디렉터리로 가야 해요
LM 엔지니어링은 LMS 활성화 콘다 또는 그걸 사용한다면 가상env와 동등한 것으로 아나콘다를 활성화합니다 그런 다음 JupyterLab을
입력해 Jupyter 랩을 불러와요
왼쪽 파일 브라우저에 이런 주가 있을 거예요
아니면 이미 첫 주 폴더에 있을 수도 있죠 그런 경우 이런 식으로 되죠
이제 둘째 날 운동 공책을 꺼내세요 이렇게 나올 거예요
계획은 이래요
코드에서 llama를 호출하는 방법을 볼 거예요
파이썬 코드를 이용해 llama 모델을 호출할 거예요 여러분 컴퓨터에서 실행되는 거죠
그런 다음 할 일은∙∙∙ 첫 번째 설정부터요
get get을 하면 결과를 볼 수 있어요
여러분이 할 일은 어제 완료한 요약 프로젝트를 업데이트하는 겁니다 그리고 OpenAI
호출 대신 Olama를 사용해 여러분의 로컬 모델을 사용하세요
OpenAI API에 등록하지 않았다면 이번이 처음 할 기회예요
우선 라마를 쓸 거라고 설명해 드릴게요
라마를 사용하면 API 요금이 안 들어요
오픈 소스 소스예요
당신 박스에서 작동해요
공짜예요
또 다른 장점은 데이터가 상자 밖으로 나가지 않는다는 거죠
여러분이 뭔가 작업하고 있다면 그게 클라우드로 절대 가면 안 되는
기밀 데이터든 간에 이건 인터넷에서 데이터가 떠나지 않고 로컬에서 작업할 수 있는 기술을 제공하죠
단점은 개척자 모델은 오픈 소스 모델보다 훨씬 크고 강력하다는
거예요
그러니 결과가 그렇게 강하지 않을 거라고 예상해야 해요
하지만 한 통당 1센트도 안 되는 돈을 냈으니 당연한
거죠
먼저 올라마에 가서 올라마를 설치한 걸 복습해보죠
기억하세요 다운로드 버튼만 누르면 바로 레이스가 시작되죠
그걸 완료했다면 여기 localhost 11434 링크를 방문하면 이 올라마가 실행 중인 메시지를 볼 수 있습니다
실행 중이라는 걸 알려주는 거죠
안 나오면 터미널이나 PowerShell을 불러와 OlamaService를 입력하면 실행될
거예요
거기 가면 라마가 뛰는 걸 볼 수 있어요
만약 비트가 작동하지 않는다면 디버깅과 조사를 해보시고 저에게 연락하세요
제가 도와드릴게요
몇 가지 일을 할 거예요
이제 상수를 설정할게요
이건 제 로컬 상자 이 포트의 URL이에요 슬래시 API 슬래시 채팅에서 실행되는 포트가 보이시죠
모델이라 불리는 상수도 가질 거예요 그게 라마 3이 되겠죠 2번요
여기 이 메시지들은 여러분이 이 구조를 알아보셨으면 합니다 메시지와
같은 구조니까요
비트를 좀 다르게 표현해 볼게요
전에 얘기했던 메시지와 같은 거예요
오픈라이에 쓰는 거예요
메시지는 사전 목록이에요 사전들요
각 사전은 역할의 키를 갖고 있고 그 값은 사용자나 시스템 그리고 콘텐츠의 키입니다 그 값은
사용자 메시지나 시스템 메시지죠
간단히 말하자면 사용자 프롬프트가 이런 말을 하는 거죠 인공지능이 재생되는 일부 비즈니스
응용 프로그램을 묘사하라
실행해 보죠
이제 그걸 페이로드라는 JSON 객체에 넣을 거예요 모델과 메시지를 지정하는 거죠 결과를
스트림하지 않고요
Get it 결과만 받으면 돼요
파이썬 패키지 요청을 이용해 JSON 내의 이 URL 패스 게시할 거예요
그런 다음 JSON을 메시지 콘텐츠 필드에서 살펴보겠습니다 호출을 하면
어떻게 되는지 보죠
지금은 제 상자에서 제 상자까지 로컬로 웹 요청을 하고 있어요
라마 3에 연결되고 있어요 라마가 제공하는 2가지 모델이죠
이게 그 결과예요
그 결과는 정말 훌륭하다고 장담해요
상업적 응용 프로그램에 대해 알고자 하는 거니까 일부 응답을
읽어보고 관심 있는 게 있는지 보세요
이걸 보여드린 건 뒤에서 무슨 일이 벌어지는지 설명하고
싶어서예요 이런 URL 즉, 로컬 상자에 대한 웹 요청을 만들고 있죠
하지만 사실 알라마의 친절한 분들이 파이썬 패키지를 개발해 주셔서 작업이 더 간단해졌어요
한 줄로 하면 돼요
이걸로 시작할 수도 있지만 웹 요청을 만드는 단계를 보여드릴게요 실제 무슨 일이
일어나는지 직관적으로 알 수 있게요
Allama라는 멋진 패키지가 있어요 그냥 가져오면 되죠 Allama.챗이라고
입력하고 모델 통과, 메시지 통과 그리고 응답 콘텐츠를 가져오면 돼요
그걸 실행하면 기본적으로 같은 게 나오죠 get
자, 보세요
저기 있네요
그리고 제 생각엔 네, 벌써 차이가 있다는 걸 알겠어요
물론 매번 독특하죠
이건 좀 긴 것 같네요
티업은 다 했어요
이제 당신에게 달렸어요
첫날 이 솔루션을 구축한 걸 기억하실 겁니다 웹사이트를 요약하는 뭔가를 구축했죠
그걸 달성하기 위해 OpenAI에 호출했어요
사실 오픈AI를 호출한 건 여기죠
여러분이 하실 일은 이 2일 차 운동 랩을 계속하면서 동일한 요약기 코드를 추가하는 겁니다
그래야 Ulama 오픈 소스 모델인 llama 3을 사용하는 웹사이트를 만들
수 있으니까요 요약하고 싶다면 다른 모델을 사용하세요
그게 연습이죠
솔루션은 솔루션 폴더에 있어요 필요하면 쓰세요
하지만 이건 된 것 같네요 다음 영상에서 다시 뵙죠