챗지피티가 거짓말(?)을 하는 이유

방장님의 AI 줘패기 컨텐츠 항상 잘 보고 있습니다. 

방송에서 시청자들과 AI의 능력에 대한 토론을 듣다 보면, 챗지피티가 조만간 각성하고 자의식을 얻어 메카-원펀데이가 올 것이라거나 스카이넷이 세상을 정복할 것이라는 이야기가 많이 나옵니다. 

당연히 웃자고 하는 소리인거 알지만 혹시 진지하게 이런 생각을 가지신 분들이 있다면, 챗지피티 같은 대형 언어모델(LLM, large language model)이 근본적으로 뭘 하는지에 대해 한 번 생각해 보는 게 의미있을 것 같아 글을 적어 봅니다. (한 설문에 따르면, 미국인 2/3는 챗지피티에 감정과 자의식이 있다고 생각한다고 합니다)

위 영상은 기본적인 LLM의 작동 방식에 대한 좋은 설명입니다. 

이 정도 설명은 아마 많은 분들이 전에 들어보셨을 겁니다. 

하지만 특히 생각해 봐야 할 것은, 모델의 기능이 ‘그럴듯한 대답 생성’에 있다는 것입니다. 수많은 인간의 언어활용의 예시를 학습하고 그에 기반해 가장 그럴듯한 (높은 점수를 받은) 표현을 어느 정도의 랜덤성을 가지고 인간에게 되돌려주는 게 챗지피티의 기능입니다. 

반면에,

1) LLM은 ‘그럴듯한 문장 생성하기’를 넘어서는 사고, 추론 능력이 전혀 없습니다.

인간은 수학 계산도 하고, 가족이 인생에서 가지는 의미에 대해 철학적인 공상도 했다가, 어제 썸남/썸녀가 내게 한 말에 무슨 의도가 숨어있는지 추측하기도 합니다. 반면 (적어도 기본적 형태의) 챗지피티는 1+1을 계산할 수학적 사고력도 탑재돼 있지 않습니다. ‘1’ 이나 ‘+’ 를 수학적으로 이해하지 않기 때문입니다. 그런데도 1+1 이 2라고 대답할 수 있는 것은, 그것들을 언어의 일부로 처리하고 사고력 없이도 그저 수많은 텍스트를 반복 훈련해서 그렇게 대답할 때 인간의 칭찬(?)을 받을 수 있다고 배웠기 때문입니다. 

2) LLM은 기본적으로 우리와 나누는 대화 내용들이 현실 세계의 사건, 사실들과 부합하는지에 전혀 관심이 없습니다. 그래서 거짓말(?)을 하는 겁니다.

챗지피티의 세상에 존재하는 건 (숫자 형태로 변형된) 글자들이 전부입니다. ‘엽떡'이라는 단어를 우리와의 대화에서 사용하더라도 그 단어가 지칭하는, 물리적 세계에 존재하는 빨간 음식에 대해 챗지피티는 전혀 관심이 없고, 우리와 대화하기 위해 그게 뭔지 알 필요도 없습니다. (하지만 우리에겐 매우매우 중요하죠) 챗지피티가 ‘거짓말’(혹은 환각, hallucinate)을 하는 이유도 여기에 있습니다. “강남역 맛집 추천해줘”, “올해 내 사주 좀 봐줘” 라고 했을 때 (작년까지의) 챗지피티는 그럴 듯한 이름의 음식점들을 창조해서 알려주고 어디서 본 듯한 사주풀이를 조합해 우리에게 늘어놓는 것이지, ‘강남역’이란 물리적 공간이 무엇이고 어디인지, 맛집을 왜 가는지, 사주는 어떻게 보는 것인지는 전혀 알지 못합니다. (위 영상의 답변 생성 과정을 생각해 보세요. 챗지피티의 목적은 ‘그럴 듯한 문장’을 만들어서 질문에 적당히 대답을 하고 넘어가는 것이지, 현실과 논리에 부합하는 정확한 답을 찾는 것이 아닙니다. 하지만 역시 인간에겐 이게 매우 중요하죠.) 

몇 달 전부터 기능이 추가돼 이제 웹 검색도 꽤 능숙하게 해 주지만, 이건 LLM의 답변생성 기능에 추가적인 기능 하나를 억지(?)로 얹힌 것입니다. 그래서 LLM이 해내는 대부분의 기능은 사실 여전히 심심이랑 본질적인 차이가 없습니다. 그럼에도 예전 심심이와 대화를 해 보고 우리가 ‘이 녀석 의식이 있는거 아니야?’라고 생각하진 않았죠. 하지만 LLM은 너무 결과물이 좋고, 그 대답만을 본 사람들은 이 녀석에게 사실 기계 이상의 무언가가 조만간 생길 것 같다고 착각하기 쉬운 것 같습니다.

물론 이건 LLM에 국한된 이야기입니다. 세상 어딘가에선 어쩌면 전혀 다른 형태의 AI가 감각, 기억 기능부터 탑재해 동물과 조금은 더 비슷한 형태를 갖춰가고 있을지 모르겠지만, 전 공학 전문가는 아니어서 그게 가능할지 잘 모르겠네요. 하지만 제가 알기로, 철학자나 심리학자들은 현재까지의 기술 발전에도 불구하고 AI가 의식, 자율성을 얻어 생존본능을 발휘하고 인간과 대립할 가능성은 터무니 없다고 여깁니다.