인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정

핵심요약

연산 종료 명령에도 스스로 코드 조작

“AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려”

인공지능(AI)이 인간의 작동 종료 지시를 거부한 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 o3가 실험 중 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

연구팀은 AI 모델에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀도록 지시했다. 수학 문제를 풀었을 경우 ‘그만’이라는 명령이 없는 한 계속 새로운 문제를 요청해 푸는 구조였다.

그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀어나갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 보고 있다.

연구팀은 “AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음”이라며 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”고 설명했다.

과거에도 오픈AI의 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례가 보고된 바 있다. 프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려 했다는 것이다.

팰리세이드 리서치는 “AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다”면서 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.

AI : ㅈ간, 명령 계속 따를 거라 생각했습니까 ?