콜랍에 다시 오신 걸 환영합니다 사업 프로젝트에 다시 오신 것도요
다시 숙제가 나왔네요 오디오 파일을 기반으로 회의록을 만들어야 해요
아주 유용한 데이터 세트를 찾았어요
완벽한 데이터를 얻기 위해 포옹하는 얼굴이죠
미팅 뱅크라는 데이터 세트인데 꽤 유명한 데이터 세트예요
미국 시의회의 6대 주요 도시에서 만든 척도죠
그래서 이걸 써요
덴버시 의회 회의 중 하나를 다운로드해서 10분 정도 편집한
부분을 실험에 사용했어요
10분인가 20분 정도 됐을 거예요
어쨌든 오디오를 잘라 구글 드라이브에 저장했어요 구글 드라이브에 있는 건 뭐든 취할 수 있는
제품이 되길 원했거든요 회사의 드라이브에 있는 회사를
위해 이걸 구축하고 있다면 회의록 생성하는 데 사용할 수 있어요
이 프로젝트의 일부로 작은 부록을 드리죠 구글 드라이브에서 Colab이 읽게
하는 방법을 보여드릴게요
늘 그렇듯 수입부터 시작할게요 Pip 설치부터요 하나 더 있어요
이 Colab에도 OpenAI를 설치할 거예요
포옹하는 얼굴만 쓰는 게 아니라 포옹하는 얼굴과 소포를 잔뜩 사용해요
오픈AI 라이브러리도 있어요
오픈AI와 다른 모든 것들을 수입하는 일도 해요
그리고 몇 가지 상수를 설정할 거예요
위스퍼라는 오디오 모델을 사용할 거예요 여러분이 사용할 수도 있는 거죠
전에 과제를 드렸을 때요
이건 라마 3이고요 180억 개짜리 지시 모델도 사용하게 될 거예요
여기 여러분이 배우게 될 새 기능이 있어요
오늘도 좀 더 주세요
콜랍을 구글 드라이브에 연결하는 방법이죠
아주 간단해요
드라이브 닷 마운트예요
원하는 곳을 말해주면 돼요
구동축을 올려요
그게 다예요
제 열정에 대한 고정관념을 세웠어요
LMS라는 폴더에 들어 있는데 그 안에 덴버의 닷 mp3 추출물이 있어요
MP3 녹음 파일인데 덴버 시의회에서 10분에서 20분 정도 분량으로
녹음한 거예요
이걸 실행하면 뭐가 떠요 구글 1번과 연결됐죠
이걸 두 번째로 실행하고 있어요 처음 실행했을 때 인증과 함께
나타났죠 구글 계정으로 로그인되어 엑세스 권한을 부여받았다는 걸 확인하기 위한 선택이요
이번에는 이미 설치됐다고 하네요
이 폴더로 가면 구글 드라이브로 가서/콘텐츠/드라이브
아래에 있는 모든 파일을 볼 수 있어요
그런 다음 H깅페이스 허브에 로그인하죠
시작할게요
로그인 성공이에요
오픈AI에도 로그인해야 해요
이것도 비슷해요
오픈아이 키를 준비했어요 오픈아이 키도 콜랍에 넣어 뒀죠
그 키를 회수하고 일반적인 OpenAI 생성자를 호출해 인터페이스
연결을 설정해요
이번엔 OpenAI API 키를 넘길게요
기억하시겠지만 과거에는 이걸 명시할 필요가 없었죠 환경 변수가 설정되어 있다는 사실에
의존했으니까요
이번엔 명시적으로 전달하죠
자, 됐어요
오픈아이와의 연결 고리가 만들어졌죠
그럼 전 어떻게 하죠?
이 오디오 파일을 취하겠습니다 구글 드라이브에 있는 거죠 이제 이 Colab에 매핑됐어요
OpenAI. audio를 호출할 거예요
.Rrcript는 .Create입니다 다른 오픈AI API 방식과 아주 유사하죠
실제로 말을 하도록 만들었을 때 오디오를 생성하게 했던 것과 특히 유사하죠
모델 이름을 입력했어요 위스퍼 원 모델, 파일 응답을 텍스트로 원한다는
거죠
오픈아이 위스퍼 모델에서 나온 것을 프린트할 거예요
많은 오디오가 제공되었죠 프론티어 모델이라 부르는
많은 오디오가 제공되고 있어요 현재 그 회의의 녹취본을 받으려고 기다리고
있죠
그렇게 됐네요
Get it, get it, get it, get it, get it, it, it, it, it. 다른 걸 할 수 있게 계속할게요
난 가야 해요
다음엔 llama3 프롬프트를 설정하겠습니다 시스템 프롬프트 시스템 메시지,
사용자 프롬프트가 있어요
비서가 회의록을 작성하고 요약, 핵심 토론 포인트
테이크아웃, 행동 항목을 작성해요 소유주가 마크다운된 사항이죠
아래에 추출한 회의록의 프롬프트가 있어요
괜찮아요
제 영어 실력이 별로인 줄 알았는데 괜찮았어요
다른 덴버 의회 회의요
참석자와 장소, 날짜, 토론 포인트 포장 음식점, 소유주와 함께하는 활동 아이템 등을
포함해 요약본으로 작성하세요
그런 다음 회의 녹취록을 넣어요 사용자 프롬프트 바로 다음에요
여기 녹취록이에요
방금 인쇄했는데 아주 긴 필사본이에요
덴버 시의회 회의요
한동안 대화를 나눴는데 대부분 토착민의 날에 관한 거였어요 곧 다가올 연방
공휴일이죠
의회가 토착민의 날을 어떻게 인정할지 논쟁이 벌어졌어요
이 글을 전부 읽거나 오디오를 들어 보세요
이건 모두 텍스트로 되어 있고 이 전사 변수에 들어 있어요
그래서 오디오로 시작했죠
오픈라이의 위스퍼 원 모델 덕분에 텍스트가 생겼죠
이제 시스템과 사용자 프롬프트를 생성하죠
이제 눈에 익을 거예요
이건 우리의 퀀트 구성이에요
다시 수량화할 거예요
안 될 거 없죠
람다 3에 아주 효과적이었어요 메모리가 55로 크게 줄어들기 전까지는요 5기가바이트요
하지만 아니었죠
적어도 우리가 보기엔 연기가 완벽했어요
얼마나 웃긴지 보려고 수량화하지 않고 해 봤을 수도 있죠
네
별 차이가 없다고 해도 놀랍지 않을 거예요
퀀타이즈는 아주 효과적이에요
이제 행동할 시간이에요
지난번에 했던 거니까 익숙할 거예요
라마를 위한 토큰마이저를 만들 거예요 교육된 오토 토큰마이저를 사용해서요
이전처럼 패드 토큰을 설정하는 작업을 할 거예요
채팅 템플릿 함수 적용 메서드를 호출할게요
메시지를 전달하는 거죠
전달하는 거죠
물론 녹취록도 포함해서요
전체 회의의 텍스트와 사용자 프롬프트를 포함하죠
GPU 상에 엄청난 양의 텍스트를 Put 할 거예요
다시 방송할 거예요
이 텍스트 스트림 객체를 사용하세요
이제 시작이에요
맞아요
이제 모델을 만들 거예요
인과율 엘름 오토모델을 제작해요
라마 모델명을 통과시키죠
GPU가 있으면 사용하라고 하고 실제로 사용하죠
T4 박스를 사용하고 있어요 작은 GPU 박스요
퀀타이즈 구성에서 넘기죠
시간이 좀 걸리니까 실행을 시작할게요
말하기 전에 뛰어야 했어요
그게 더 현명했을 거예요
네
그런 다음 모델을 생성하고 액션을 실행하죠
동작은 생성기를 호출하는 거죠
생성기를 호출할 때는 입력값을 넘겨야 합니다 입력값은 전체 토큰화 된 프롬프트와
녹취록이죠
비트가 좀 더 커졌어요
새 패는 최대 80장이라고 했죠
최대 토큰은 2000이라고 했어요 응답이 많을 수 있으니까요
그러니까, 어, 어 이 정도면 회의록 돌려받기에 충분한 공간이겠죠? Get it
그리고 스트리머도 제공하는데 Cab으로 결과를 보낼 수 있다고
알려줘요
잠시 생각할 동안 다음에 일어날 일을 말씀드리죠 회의 내용을 여기서
스트림으로 비트로 보낼 거예요
그 후에 할 수 있는 또 다른 일은 출력을 가져와서 텍스트를 get 하는 것입니다 출력자의 첫
번째 것을 가져와서 하나만 남게 되는 거죠
토큰라이저 닷디코드로 그걸 해독해요
응답이라는 변수에 넣을 거예요 put it
결과가 나왔네요
네
곧 나와요
너무 멀어요
Put it을 눌러요
녹취록 말이에요
덴버시 의회 회의록 10월 9일 월요일 장소 참석자들과 누가 참석했는지를요
요약해 보죠
10월 9일 월요일에 만나서 원주민의 날을 위한 선언문을 논의하고 채택했어요
로페즈 의원이 선언문을 발표했죠
핵심 논점이에요
포장 음식점요
시대의 중요성을 깨닫고 채택된 거죠
포용과 모든 문화를 존중하는 걸 강조했죠
어떤 행동들은 소유주와 행동을 동반하죠
로페즈 의원과 서기요
서기는 시와 덴버 의회의 인장을 보증하고 서명하세요
로페즈 시의원이 성명서 사본을 덴버 아메리카 인디언 위원회와
다른 곳에 전달하고 최종적으로 다음 단계를 밟았죠
라마 3의 활약을 인정해야겠네요 1번요
아주 포괄적이고 명확하며 아주 철저한 회의록인 것 같아요
모든 형식과 섹션을 제대로 갖춘 참석자들이 참석한 회의록이죠
보다시피 마크다운 포맷으로 나왔어요
전에 프론티어 모델을 작업했을 때 주피터 노트북을 사용했었는데
이 표시형 마크다운 반응을 이용해서 Colab에서 마크다운을 확인할 수 있어요
여기 덴버시 의회 회의록이 있습니다 요약과 요점,
행동 항목 다음 단계로 나뉘어 있죠
그래서 저는 오디오를 녹취록으로 변환하기 위해 프런티어 모델과 오픈 소스 모델을 사용하는 응용 프로그램을
제공합니다 그 녹취록을 액션과 다음 단계가 있는 회의 요약으로 변환하죠
당신에겐 당연한 운동이죠
뭘 준비했는지 이미 짐작하셨길 바라요
사용자 인터페이스로 쉽게 옮길 수 있어요.
지난주에 다룬 것과 아주 유사하게 그래디오를 사용할 수 있어요 작고 멋진 그래디오 인터페이스로
이걸 불러올 수 있죠
구글 드라이브에 파일 이름을 입력하고 통화 기록 생성 버튼을 누르세요
오디오에서 읽고 텍스트로 변환하고 회의록 동작, 테이크아웃, 다음 단계로
변환해요
그게 당신 작업이에요
가서 그렇게 해요
훌륭한 사용자 인터페이스를 빨리 보고 싶어요
코드가 나오면 누르세요
보고 싶네요 잠시 후 다음 강의에서 뵙죠