침착맨 영상 검색기 제작 후기(with GPTs)

AI업계에 머물다 세상(회사)에 출사표(퇴직서)를 던지고 프리랜서(백수)로서 2개월…

요새 핫하디 핫한 LLM을 이용해서 뭔가 대단한 것을 만들어 세상을 바꾸고 싶다는 생각으로 뛰쳐 나왔으나

현실은 시궁창.. ㅎ

뭐라도 해봐야겠다는 생각에 나온 아이디어 ‘침착한 검색기’!!

‘침투부 찾아요’ 게시판에서 착안하여 해당 게시판의 역할을 할 수 있는 앱을 만들어 봐야겠다 결심.

재밌을 것 같기도 하고 요새 기업들 사이에서 가장 수요 높은 기능과 유사한 AI 기술 스택을 필요로 하기 때문에 단순 경험으로써도 나쁘지 않겠다 생각.

그리하야 ‘침착한 검색기’ 프로젝트 시작!

처음은 즐거웠음.. 처음엔..

가벼운 마음으로 임했으나 전혀 가볍지 않았던 프로젝트..

생각보다 복잡도가 엄청난 프로젝트라는 것을 깨닫는데 그리 오래걸리지는 않았음..

기능 : 사용자가 보고 싶은 부분을 입력 → 사용자가 보고 싶어하는 부분의 후보군을 링크로 제공

구현 및 인터페이스 : chatGPT의 유료 버전으로 사용 가능한 GPTs를 통하여 앱 실행 및 사용자 인터페이스 구성 

• 안타깝게도 유료 버전이 아닌 앱을 만들기 위해서는 상당한 GPU 또는 API 사용료가 들며 직접 구성해야할 부분이 많아지기 때문에 일단 패스
• 개인 사이트에서 누구나 쓸 수 있도록 개방하는 것도 염두는 하고 있으나, 사용자가 거의 없을 것이고 관리해야 될 부분은 늘어날 것이기에 그럴 가능성은 적을 듯..

데이터 흐름 : 사용자의 질문 → GPT → 자체 제작 서버 → GPT → 답변 링크

• 먼저 사용자가 GPTs를 통하여 질문 시 해당 질문이 자체 제작 서버로 넘어옴
• 자체 제작 서버에서는 질문의 답이 될 만한 후보군을 검색하여 해당 부분 영상 링크를 다시 GPTs로 넘겨줌
• GPTs는 넘겨 받은 후보군을 말로써 설명하며 사용자에게 링크 제공

여기 까지는 참 좋았음..

뭔가 다 잘 될거 같고 생각보다 쉬울 것 같고 ㅎㅎ

침착맨 영상의 스크립트의 질과 양을 보기 전까지는..

위의 로직은 기본적으로 영상 자막을 활용하여 검색을 함.

그러다 보니 영상의 스크립트의 질이나 양이 검색 수준에 매우 큰 영향을 미침.

문제1. 원박 영상이 모든 영상을 커버하지 못한다.(종종 원박에 없는 영상이 존재)

그렇다고 본채널, 플러스채널 등의 영상 내용도 넣는 다면 중복이 생기는 바람에 성능에 악영향을 미친다.

원박과 본채널 영상이 동일한 부분임에도 편집이 들어가 스크립트가 살짝 다르다 보니 이걸 걸러내는 것도 상당한 노동이 소요되므로 원박만 ㄱㄱ

문제2. 원박 영상 중에서도 스크립트가 사용 불가한 영상의 경우 스크립트가 없다.

약 1300개의 원박 영상 중 200개 가량은 스크립트 사용 불가 영상이기에 검색 불가 상태. 하지만 이 부분은 돈으로 해결 가능. 

사용자가 꾸준히 있다면 추가할 계획

문제3. 여기서부터 정말 큰 문제.. 너무나 큰 문제.. 양이 너무 많다.

약 6000만자 가량의 스크립트.. 책으로 150~200권 분량..

일반적인 기업 수준으로 들어오는 과제 레벨을 넘어 섰음..

‘침착맨이 빵이에요라고 하는 영상 알려주세요’

‘여러분 똥 맛 볼거에요? 라고 침착맨이 말하는 영상 알려주세요’  

이런 류의 질문을 책 150권 안에서 찾는 작업..

어렵다.. 하지만 이게 끝이 아니다..

문제4. 스크립트 내용이 상당히 난해하다..

사실 이렇게 상당한 분량 안에서 원하는 내용을 검색하려면 텍스트 내용이 어느 정도 취합이 되어야 검색 성능을 높힐 수 있음.

글의 내용이 요약이 된다거나 특정 의미를 가진다 던가, 내용의 세부 분류가 있다던가 해야 하는데

우리 모두 알고있겠지만…

내용이 앞뒤가 없는 경우가 대부분...

특히 게임 영상은 오디오가 겹치는 경우도 많고 글만 보면 도대체 어떤 상황인지 알 수 없는 경우가 많음.

예를 들면,

‘너무 호들 떨었어 빵 나 잘하고 있었 나 진짜 잘하고 있었는데 나 길 다 보이고 있었는데 빵 빵 빠바방 응요 빵 응요 빵 방구뽕 응요 빵 이미 이미 글러스 이미이 그림 자체가 글렀어 빠바방 빵이 이도저도 아닌 구도로 가면은 얘 안 돼 응요 좋은데 지금 빵 여기 딱 합쳐주고 빠바방 으 응요 빵 이미 빵 큰 산이 나눠졌다 아 괜찮아 빵 아 찮 왼쪽으로야지 왼쪽으로 가야지 어 여기다 놔 그지 빵 가야지 그리고 여기 위에다 놔 왼쪽으로 가야지 왼쪽으로가 여기다 가야지 여기다 가야지 ’

‘생각된다 뺑 약 100 나쁜 압승 나쁜 나쁜 같은 나쁜 나쁜 날 행 예 야 누가 헬기 때 않냐 예법 택견 소리죠 예 아 아씨 끌어들이게 그렇게 하기 싫은데 이제 와서 아아아 toko 5 셔 때 일단 탈줄 아는 될것 같아요 저는 환 1 탐험하면서 그런 거 같아요 4 아 아 이소 깎아 풀 간 쿨 랑 아 으 아 아 아 으 보스 연례 보스의 않냐 그 어느 1 문어 빼게 정신을 못 차리 4 카라 2 한번에’

문제5. 여기에 자막은 자동 자막

비교적 잘된 부분도 많이 있긴 하지만 그렇지 못한 부분도 많다. 이 또한 성능에 악영향을 크게 미친다.

예를 들면,

‘섬 3통 이색 똥물 a 색 똘 으 the per 와 긴게 랄 수 있는 공력 진실을 기능 하세요 어 안 써 음 감사합니다 아 이번에 다리우스 배나 호텔이 는거 들어봐야 겠다 lc 랑 좀 어울리는 그게 뭐가 있습니까’

문제6. 사용자가 직원이 아니다.

일반적으로 이런 AI 시스템을 적용하는 경우 직원 교육도 같이 할 것이고 이상하게 사용한다면 

‘그렇게 사용하시면 안되고 이렇게 사용하시면 좋아요.’라고 할 수 있음. 하지만 대중에 오픈된 서비스의 경우 그럴 수가 없음. 대중은 뭘 해야 하면 그냥 안씀.

그렇다 보니 항상 시스템이 잘 작동할 수 있는 질문을 하는 것은 아니게 되고 체감 성능이 상당히 떨어질 수 있음.

어렵다.. 어려워.. 하지만 난 할 수 있다.. 아니 백수는 해내야 한다.. 라는 마음가짐으로 일단 시작

음.. 근데 여기서 부턴 구체적인 내용은 찐 개발 얘기인데 관심들이 없으시겠죠..? 패스

어쨋든 2달 간의 머리 터지는 삽질 끝에 그래도 한 10번 물어보면 답을 하나도 못하는 수준에서 

2~3개는 답해 내는 수준으로 끌어낼 수 있었음.

프로젝트의 난이도를 고려했을 때 10개 중 5개 정도 맞았다면 매우 매우 만족스러운 수준으로 판단할 수 있음.

이러한 상황을 고려했을 때 2~3개면 개인 프로젝트로는 성공적..ㅎ

하지만 지금처럼 한가한 백수 생활이 길어진다면 성능을 더 높힐 계획을 가지고 있음.(10개 중 4개는 맞출 수 있는 수준의 성능 목표로)

지금은 말그대로 베타서비스라고 볼 수 있을 듯.

마지막으로 GPT4 말투 세팅

관심있는 분들은 많이 들어 보셨겠지만 프롬프트 엔지니어링이란걸 하며 조금 더 사용자 친화적인 인터페이스 세팅

침착한 검색기 사용자는 침착맨님 말투에 익숙할 것으로 예상하여 그럴듯한 말투 주입.

완성!!!!!!!!!

로고는 예전에 유행하던 이말년스타일 화풍 변환 AI모델을 사용한 결과물 활용

힘들었다.. 하지만 뿌듯하다.. 그치만 아쉽다..

혹시라도 사용하실 분이 계시다면

https://chat.openai.com/g/g-XEzi0yTYN-cimcaghangeomsaeggi

유료버전 chatGPT 사용하시는 분들은 해당 링크로 가시면 사용하실 수 있습니다.

그럴 일 없겠지만 혹~~시 라도 단순한 호기심에 유료 결제를 해서 사용해보고 싶은 마음이 생기신다면 절대 그러지 말아주세요. 그만한 가치 없습니다.