최~~~~고로 인기!
용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

안냐세요 요번엔 Shorten Paper GPT 라는 걸 만들어 봤는데용

한동현
23.05.02
·
조회 451

안냐새요

 

이전에 GPT를 이용한 크롬 익스텐션 번역기를 만들어 봤습니다.

라는 글을 올렸던 일개 대학원생임니다.

 

요번엔 논문이 너무나 읽기 싫었던 나머지

GPT를 이용해 문서의 길이를 줄여주는 툴을 만들어 봤습니다.

(.txt, .csv, .pdf, .doc, .docx, .json, .xml, .yaml, .html, .md, .tex 파일을 지원합니다.)

사용하실려면 GitHub 링크

문서로 잘 정리해서 매우 간단하게 쓰실 수 있게 올려놨으니까용.

필요하신 분들이 사용해보셨으면 좋겠습니다.

매뉴얼로 영어로 막 어쩌구저쩌구 써놨는데 저도 GPT로 막 돌려서 쓴 거니깐용.

 

그렇게 어렵지 않으니 너무 겁먹지 마시구, Requirements에 있는 것만 설정 해주시면

`papers_to_be_shorten` 폴더에 원하는 문서 넣고 실행 파일만 누르면 자동으로 다 되니까 한번 써보셨으면 좋겠네요!

 

막 트윅해서 더 좋게 만들고픈 고급 사용자라면 세심히 읽어야 겠지만요!

 

 

만들고서 배포하는 이유…는

다른 이유는 없고, 저는 그냥 다른 사람들과 함께 우하하! 할 수 있는 경험이 참 좋습니다.

주변 친구들한테 써보게 한 리뷰로는, 그래도 쓸만하다! 라고 하네요.

참 재밌다! 우하하

 

음 요약 결과 예시를 첨부해드릴개요. 12페이지 되는 논문이구요.

실제 abstract과 비교했을 때 내용 상 큰 결함이 없다고 볼 수 있었읍니다.

사람이 직접 요약한 abstract보다 더 잘할 순 없지만, 더한 장점은 원하는 비율로 줄일 수 있다는 거겠쬬.

우하하!

아무쪼록… 재밌게 써주셨으면 좋겠네요 😢

각종 피드백도 환영입니다!

 

사용상 질문도 댓글로 달아주시면 최대한 답변 드리갰습니닥

댓글
서망고
23.05.02
한동현 글쓴이
23.05.02
한동현 글쓴이
23.05.02
대충 중요한 점은 두 가지 임니다
1. GPT가 처리하지 못하는 굉장히 긴 길이의 문서를 처리할 수 잇따. (길이에 제한이 업따)
2. 원하는 축소 비율을 정할 수가 잇따 (0~1 배율)
슈윙거팬티도둑파인만
23.05.02
좋은 툴 감사합니다. 총 네 가지 질문이 있는데요
1. 한번 분석에 어느 정도의 토큰을 사용하나요? 토큰 대신 달러(GPT-4, GPT-3.5 기준)로 말씀해주셔도 좋겠습니다.
2. 혹시 한국어도 지원이 되나요?
3. 저널 이외에 분석기사, 연구원 보고서, 복잡한 도표도 지원이 가능한가요?
4. 아아아아주 나중에 많은 시간이 생기면 레포지토리를 포크해서 단순 요약 이외에 논문에서 제시한 방법론에 대한 비판, 사회적 영향 등을 요구하는 방향으로도 만들고 싶은데 혹시 쉽게 할 수 있을까요?(혹은 user input만 바꿔도 간단히 수행할 수 있을까요?)
여러 모로 아주 유용한 툴이네요. 깃헙 아이디는 꼭 기억하고 있겠습니다 ㅎㅎ
한동현 글쓴이
23.05.02
1. 토큰 사용 개수.
- 총 사용량은 문서 길이와 설정하신 세팅값에 따라 정해집니다. 문서의 전체가 설정된 값으로 쪼개어져 여러번 들어가는데, 문장의 연속성을 위해 요약 대상이 아닌 앞뒤 문장도 같이 들어갑니다. 이 비율을 .env 파일에서 조정하실 수 있습니다. Default 설정으론, 약 7만자의 문서가 6만 토큰 정도를 사용했습니다. 문서 입력시 최대한 불필요한 것들을 제거하는 걸 추천드립니다. 여러 설정 튜닝도 추천하구요.
2. 한국어 지원.
- 가능합니다. 근데 테스트 결과로는 자동으로 영어로 바꿔서 출력하더군요. 출력 언어 강제도 물론 쉽게 추가할 수 있어서 해보려고 합니다.
3. 다양한 입력 형식 지원.
- 모든 것은 gpt가 합니다. gpt가 가능한 것은 다 가능합니다. 그리고, gpt는 대부분의 문서 형식을 딱히 가리지 않습니다. 다만, 표와 같은 형식이 중요한 정보는 문장으로 뭉뚱그릴 가능성이 높고, 너무 복잡한 문맥구조도 어려워할 겁니다. GPT4 사용으로 설정을 바꾸어 이해능력을 높여볼 수 있습니다. 아, 사진도 gpt가 못하니 무시됩니다.
4. 모델의 수정 여부.
- 프롬프트를 바꾸시면 쉽게 달성 가능합니다. 문서 요약 시 원하는 질문을 넣을 수 있게 하는 기능도 추가하려고 합니다. 예를 들어, ‘약점에 대해 집중하고, 네 의견을 추가해줘.’ 같은 식이겠죠.
이렇게 관심 가져주셔서 감사합니다. 아직까진 장난감 수준이라 생각해서, 가능한 더 발전시켜 보려고 합니다.😄
슈윙거팬티도둑파인만
23.05.02
완벽한 답변 감사합니다. 덕분에 혼자 상상하던 것들에 대해 나름 현실적인 접근을 할 수 있게 되었네요 ㅎ
autoGPT 만드신 분도 떼돈 벌었다고 하던데 님도 그렇게 되길 기원할게요
@한동현
한동현 글쓴이
23.05.08
4번에 해당하는, 원하는 instruction을 고려하도록 설정할 수 있는 기능을 추가했습니다.
혹시 관심 있으실까봐 알려드려요!

🚀궤도사령부(궤도) 전체글

현재글 안냐세요 요번엔 Shorten Paper GPT 라는 걸 만들어 봤는데용 8
궤도
한동현
·
조회수 452
·
23.05.02
페르미역설 강의 해‘줘’요
궤도
CcoKko
·
조회수 540
·
23.05.02
과학과 시적표현의 만남은 정말 멋진거같아요. 2
궤도
네바다
·
조회수 468
·
23.05.02
별에 관한 노래 설명해주세용 (feat.베텔게우스)
궤도
뚜뚜루
·
조회수 404
·
23.05.02
우주배경복사 온도 질문이요 3
궤도
김치참치제육왕만두
·
조회수 418
·
23.05.02
우주론 보고있다가 궁금한점생겼어요! 1
궤도
침궤풍펄
·
조회수 424
·
23.05.02
궤도님 이번 우주론 강의 정말 너무 잘 봤습니다 1
궤도
치무차쿠만
·
조회수 390
·
23.05.02
인급동 갔네요 2
궤도
궤도준수
·
조회수 1000
·
23.05.02
궤도님 책에 누가 클레임 걸었는데요 7
궤도
토니오크뢰거
·
조회수 1241
·
23.05.02
침원박 인기순으로 나열하면 3
궤도
전설의포켓몬
·
조회수 683
·
23.05.02
방송에서 나폴리탄 괴담 과학으로 풀어주세오
궤도
4인치맨
·
조회수 411
·
23.05.02
엘니뇨 라니냐가 오락까락 끼락까락 9
궤도
옾카페2대수호자
·
조회수 696
·
23.05.02
쌀을 씻을때 첫 물은 생수를 사용하라? 10
궤도
김돌돌
·
조회수 804
·
23.05.02
궤도님 요즘 제가 유튜브 보면서 궁금한것들 언젠가 다뤄주실려나요? 1
궤도
ttmdyb
·
조회수 452
·
23.05.02
결국 나무위키에 박제되고야 만 금세기 최고의 퇴마 주문 32
궤도
배추살땐무도사
·
조회수 11400
·
23.05.02
궤도님, 혹시 탑건: 매버릭 보셨나요? 1
궤도
탑건캡틴매버릭
·
조회수 431
·
23.05.01
이렇게 고급 강의를 방구석에 누워서 들어도 되는 것인가
궤도
췸쵁뫤
·
조회수 506
·
23.05.01
궤도님 넷플릭스에 고대의 아포칼립스 보셨나요?
궤도
fbeolx
·
조회수 471
·
23.05.01
우주가 가속팽창하는 것은 공간의 휘어짐 때문이 아닐까요? 2
궤도
우와와앙
·
조회수 399
·
23.05.01
1ml 비커 2
궤도
내맴이잔슴
·
조회수 771
·
23.05.01