용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

안냐세요 요번엔 Shorten Paper GPT 라는 걸 만들어 봤는데용

한동현
23.05.02
·
조회 445

안냐새요

 

이전에 GPT를 이용한 크롬 익스텐션 번역기를 만들어 봤습니다.

라는 글을 올렸던 일개 대학원생임니다.

 

요번엔 논문이 너무나 읽기 싫었던 나머지

GPT를 이용해 문서의 길이를 줄여주는 툴을 만들어 봤습니다.

(.txt, .csv, .pdf, .doc, .docx, .json, .xml, .yaml, .html, .md, .tex 파일을 지원합니다.)

사용하실려면 GitHub 링크

문서로 잘 정리해서 매우 간단하게 쓰실 수 있게 올려놨으니까용.

필요하신 분들이 사용해보셨으면 좋겠습니다.

매뉴얼로 영어로 막 어쩌구저쩌구 써놨는데 저도 GPT로 막 돌려서 쓴 거니깐용.

 

그렇게 어렵지 않으니 너무 겁먹지 마시구, Requirements에 있는 것만 설정 해주시면

`papers_to_be_shorten` 폴더에 원하는 문서 넣고 실행 파일만 누르면 자동으로 다 되니까 한번 써보셨으면 좋겠네요!

 

막 트윅해서 더 좋게 만들고픈 고급 사용자라면 세심히 읽어야 겠지만요!

 

 

만들고서 배포하는 이유…는

다른 이유는 없고, 저는 그냥 다른 사람들과 함께 우하하! 할 수 있는 경험이 참 좋습니다.

주변 친구들한테 써보게 한 리뷰로는, 그래도 쓸만하다! 라고 하네요.

참 재밌다! 우하하

 

음 요약 결과 예시를 첨부해드릴개요. 12페이지 되는 논문이구요.

실제 abstract과 비교했을 때 내용 상 큰 결함이 없다고 볼 수 있었읍니다.

사람이 직접 요약한 abstract보다 더 잘할 순 없지만, 더한 장점은 원하는 비율로 줄일 수 있다는 거겠쬬.

우하하!

아무쪼록… 재밌게 써주셨으면 좋겠네요 😢

각종 피드백도 환영입니다!

 

사용상 질문도 댓글로 달아주시면 최대한 답변 드리갰습니닥

댓글
서망고
23.05.02
한동현 글쓴이
23.05.02
한동현 글쓴이
23.05.02
대충 중요한 점은 두 가지 임니다
1. GPT가 처리하지 못하는 굉장히 긴 길이의 문서를 처리할 수 잇따. (길이에 제한이 업따)
2. 원하는 축소 비율을 정할 수가 잇따 (0~1 배율)
슈윙거팬티도둑파인만
23.05.02
좋은 툴 감사합니다. 총 네 가지 질문이 있는데요
1. 한번 분석에 어느 정도의 토큰을 사용하나요? 토큰 대신 달러(GPT-4, GPT-3.5 기준)로 말씀해주셔도 좋겠습니다.
2. 혹시 한국어도 지원이 되나요?
3. 저널 이외에 분석기사, 연구원 보고서, 복잡한 도표도 지원이 가능한가요?
4. 아아아아주 나중에 많은 시간이 생기면 레포지토리를 포크해서 단순 요약 이외에 논문에서 제시한 방법론에 대한 비판, 사회적 영향 등을 요구하는 방향으로도 만들고 싶은데 혹시 쉽게 할 수 있을까요?(혹은 user input만 바꿔도 간단히 수행할 수 있을까요?)
여러 모로 아주 유용한 툴이네요. 깃헙 아이디는 꼭 기억하고 있겠습니다 ㅎㅎ
한동현 글쓴이
23.05.02
1. 토큰 사용 개수.
- 총 사용량은 문서 길이와 설정하신 세팅값에 따라 정해집니다. 문서의 전체가 설정된 값으로 쪼개어져 여러번 들어가는데, 문장의 연속성을 위해 요약 대상이 아닌 앞뒤 문장도 같이 들어갑니다. 이 비율을 .env 파일에서 조정하실 수 있습니다. Default 설정으론, 약 7만자의 문서가 6만 토큰 정도를 사용했습니다. 문서 입력시 최대한 불필요한 것들을 제거하는 걸 추천드립니다. 여러 설정 튜닝도 추천하구요.
2. 한국어 지원.
- 가능합니다. 근데 테스트 결과로는 자동으로 영어로 바꿔서 출력하더군요. 출력 언어 강제도 물론 쉽게 추가할 수 있어서 해보려고 합니다.
3. 다양한 입력 형식 지원.
- 모든 것은 gpt가 합니다. gpt가 가능한 것은 다 가능합니다. 그리고, gpt는 대부분의 문서 형식을 딱히 가리지 않습니다. 다만, 표와 같은 형식이 중요한 정보는 문장으로 뭉뚱그릴 가능성이 높고, 너무 복잡한 문맥구조도 어려워할 겁니다. GPT4 사용으로 설정을 바꾸어 이해능력을 높여볼 수 있습니다. 아, 사진도 gpt가 못하니 무시됩니다.
4. 모델의 수정 여부.
- 프롬프트를 바꾸시면 쉽게 달성 가능합니다. 문서 요약 시 원하는 질문을 넣을 수 있게 하는 기능도 추가하려고 합니다. 예를 들어, ‘약점에 대해 집중하고, 네 의견을 추가해줘.’ 같은 식이겠죠.
이렇게 관심 가져주셔서 감사합니다. 아직까진 장난감 수준이라 생각해서, 가능한 더 발전시켜 보려고 합니다.😄
슈윙거팬티도둑파인만
23.05.02
완벽한 답변 감사합니다. 덕분에 혼자 상상하던 것들에 대해 나름 현실적인 접근을 할 수 있게 되었네요 ㅎ
autoGPT 만드신 분도 떼돈 벌었다고 하던데 님도 그렇게 되길 기원할게요
@한동현
한동현 글쓴이
23.05.08
4번에 해당하는, 원하는 instruction을 고려하도록 설정할 수 있는 기능을 추가했습니다.
혹시 관심 있으실까봐 알려드려요!

🚀궤도사령부(궤도) 전체글

사령부 여러분 가시기 전에 이거 하나만 알려주세요 1
궤도
게시판
·
조회수 4019
·
24.03.18
이 게시판은 곧 이벤트호라이즌으로?
궤도
성이름
·
조회수 1341
·
24.03.18
(초초스압) 궤도사령부에 쏘아 올리는 마지막 불꽃: 짤털 3
궤도
배추살땐무도사
·
조회수 1567
·
24.03.17
마지막 질문이 있습니다. 1
궤도
정사민수
·
조회수 1534
·
24.03.17
테이저건 1
궤도
휴지통
·
조회수 495
·
24.03.17
우주 관련 여러가지 망상에서 의문점이 있습니다. 1
질문
마약상
·
조회수 696
·
24.03.17
혹시나 길을 잃어버린 당신께 100
궤도
궤도
·
조회수 18876
·
24.03.17
스포주의) 키링과 함께 파묘 보고왔습니다 9
궤도
야이신짱구야
·
조회수 1322
·
24.03.16
궤도민수 vs 애굽민수 3
궤도
내친구라이카
·
조회수 881
·
24.03.16
궤도님 태블렛 바꾸신거같네요?? 4
궤도
애굽궤도
·
조회수 1019
·
24.03.15
안될과학(항성님)과 함께하는 스타쉽3차 중계영상(편집본)
궤도
무로돌아감
·
조회수 414
·
24.03.15
궤도님 목격 썰 4
궤도
정사민수
·
조회수 934
·
24.03.15
가설도 과학계에서 주류이론이라고 말할수 있나요? 4
질문
kjnnn0
·
조회수 643
·
24.03.15
쌍둥이 역설 이해가 안돼요 도와주세요 2
질문
총호사마의
·
조회수 716
·
24.03.15
안될과학과 함께하는 '스타쉽' 3차 발사 생중계 2
정보
무로돌아감
·
조회수 705
·
24.03.14
궤도님 소식 이제 어디서듣죠 9
궤도
궤줌마
·
조회수 1754
·
24.03.14
아인슈타인 생일카페 4
궤도
나는야물개다
·
조회수 1129
·
24.03.14
무한궤도 1
궤도
내마음깊은곳의너
·
조회수 527
·
24.03.14
체르멜로 정리와 바둑AI 미래?
궤도
오목오목
·
조회수 592
·
24.03.14
이번 팝업에서 1
궤도
Savemylife
·
조회수 457
·
24.03.14