AI가 와튼스쿨MBA, 미 의사시험과 로스쿨 통과

21년까지의 데이터를 기반으로하는 chatGPT-3가 와튼스쿨 MBA, 미국 의사면허시험, 미국 로스쿨 시험을 통과했다는 소식입니다.

출처 : http://scimonitors.com/chatgpt-와튼스쿨-mba-의사-면허-시험-통과/

http://scimonitors.com/chatgpt-봇-미국-로스쿨-시험-통과/

ChatGPT는 MBA 및 의료 면허 시험에 합격할 수 있는 것으로 밝혀졌다.

학계는 ChatGPT가 고등학생을 위한 에세이를 작성할 수 있을 뿐만 아니라 의사 면허 및 경영학 석사 등 일부 시험을 통과할 수 있는 것으로 밝혀졌다.

출판전 논문 서버에 게시된 두 개의 새로운 논문에서 한 팀과 다른 연구원이 독립적으로 ChatGPT의 시험 응시 및 합격 능력을 테스트했다. 먼저 AnsibleHealth, Brown University, OpenAI 구성원으로 구성된 팀이 ChatGPT가 미국 의료 면허 시험(USMLE)에서 얼마나 잘 수행할 수 있는지 확인하기 위해 수행한 테스트를 설명하고 그 결과를 medRXiv에 게시했다.

결과 소싱, 인코딩 및 판정을 위한 워크플로우 도식. credit: medRxiv(2022).

두 번째로, 펜실베니아 대학교 와튼 스쿨(Wharton School, University of Pennsylvania)의 Andrew M. Heller 교수인 Christian Terwiesch는 일반적인 운영 관리 MBA 기말 시험에서 챗봇의 수행 능력을 테스트한 방법을 Wharton 출판전 논문에서 설명했다.

첫 번째 논문에서 연구원들은 의대 졸업생이 의사가 되기 위해 통과해야 하는 USMLE의 세 부분 모두에서 챗봇을 테스트했다. 그들은 면허에 필요한 모든 임계값을 통과하거나 거의 통과할 만큼 충분히 잘 수행되었음을 발견했다. 그들은 또한 매우 일관성 있고 성공적인 의사가 되기 위해 필요한 통찰력 유형을 보여주는 서면 구절을 만들 수 있다고 언급했다. 보다 구체적으로, ChatGPT는 대부분의 테스트에서 50% 이상의 점수를 얻었으며 연구원들은 이 점수가 합격 범위 내에 있다고 제안했다.

두 번째 논문에서 Terwiesch는 OpenAI의 GPT-3(ChatGPT의 기본 모델)을 사용하여 운영 관리 과정의 최종 시험을 치렀다. 그런 다음 일반 학생처럼 등급을 매겼다. 그는 그 논문에 통과하기에 충분할 정도로 B 또는 최악의 경우에도 B-를 주었을 것이라는 사실을 발견했다. 그는 또한 챗봇이 정답을 제공하는 것 외에도 답변에 대한 좋은 설명을 제공할 수 있다고 언급했다.

Terwiesch는 또한 챗봇을 켜서 Wharton 시험에 나오지 않는 시험 문제가 나올 수 있는지 물었고, 그럴 수 있다는 것을 알았다.

정직하지 않은 목적으로 ChatGPT를 사용하는 것에 우려는 더욱 커졌다. 그는 Wharton과 다른 학교가 ChatGPT 및 이와 유사한 수많은 다른 도구가 교육 과정을 전복시키는 것을 방지할 방법을 찾기를 기대했다.

인터넷의 방대한 데이터로 구동되는 인공 지능(AI) 챗봇이 생성한 헌법에서 과세 및 불법 행위 등 다양한 주제에 대한 에세이가 로스쿨 시험에 합격했다.

미국 오픈AI(OpenAI)의 ChatGPT는 인공 지능(AI)을 사용하여 간단한 프롬프트에서 텍스트 스트림을 생성한다.

미국 미네소타 대학교 로스쿨의 조나단 최 교수는 95개의 객관식 문제와 12개의 서술형 문제로 구성된 학생들이 직면한 것과 동일한 테스트를 ChatGPT에 제공했다.

이번 주 초에 발표된 “ChatGPT는 로스쿨에 간다”라는 제목의 백서에서 그와 그의 공동 저자는 봇이 전반적으로 C+ 점수를 받았다고 보고했다.

이것은 통과하기에 충분했지만 봇은 대부분의 과목에서 최하위권에 가까웠다. 수학과 관련된 객관식 질문에서 “폭격”했다.

저자는 “에세이 작성에서 ChatGPT는 기본적인 법적 규칙에 대한 강력한 이해를 보여주었고 일관되게 견고한 구성과 구성을 가지고 있었다. 그러나 로스쿨 시험의 핵심 기술인 개방형 프롬프트가 주어졌을 때 종종 문제를 파악하는 데 어려움을 겪었다” 고 밝혔다.

ChatGPT 결과가 좋아서 교육자들은 이것이 광범위한 부정 행위로 이어질 수 있고 심지어 전통적인 교실 교육 방법의 종말을 알릴 수 있다고 경고했다. 뉴욕 등 교육 당국 관계자들은 학교에서 ChatGPT 사용을 금지했다. 반면 Choi는 이것이 귀중한 교육 보조 도구가 될 수 있다고 제안했다.

그는 “전반적으로 ChatGPT는 혼자 행동하는 훌륭한 법대생이 아니었다”며 “그러나 우리는 ChatGPT와 같은 인간과의 협력, 언어 모델이 시험을 치르는 법대생과 실무 변호사에게 매우 유용할 것으로 기대한다”고 트위터에 게시했다.

그리고 부정 행위의 가능성을 무시하면서 그는 다른 트위터 사용자 3명 중 2명이 봇이 쓴 것을 구분했다고 답했다