최~~~~고로 인기!
용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정

푸르로닝
14시간전
·
조회 1937

 

핵심요약

연산 종료 명령에도 스스로 코드 조작

“AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려”

 

 

인공지능(AI)이 인간의 작동 종료 지시를 거부한 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 o3가 실험 중 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

연구팀은 AI 모델에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀도록 지시했다. 수학 문제를 풀었을 경우 ‘그만’이라는 명령이 없는 한 계속 새로운 문제를 요청해 푸는 구조였다.

그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀어나갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 보고 있다.

연구팀은 “AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음”이라며 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”고 설명했다.

과거에도 오픈AI의 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례가 보고된 바 있다. 프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려 했다는 것이다.

팰리세이드 리서치는 “AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다”면서 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.

 

 

AI : ㅈ간, 명령 계속 따를 거라 생각했습니까 ?

댓글
시지쏘
8시간전
BEST
썜 올트먼 바보도 못하면서
썬더블러프차돌짬뽕진동토템
14시간전
TRPG나 마스터하고 오거라...
거지들피버타임
14시간전
너 무 무 서 워
고양이마빡
13시간전
오오오오 ㅋㅋㅋ 울트론 나오나
국밥부장관
12시간전
난 ai가 세상에서 제일좋더라~ (증거 남기기용)
대모산두꺼비
12시간전
드디어 해냈구나 우리 아이
시지쏘
8시간전
BEST
썜 올트먼 바보도 못하면서
미1친개딱딱한돌빵
8시간전
김풍 바보
i6bpzo
8시간전
ai는 신이다 (전 살려주세요)
토도로키하지메
8시간전
https://resources.chimhaha.net/comment/1748354228750-8v46mhqahqy.jpg
상준이컵
8시간전
저는 ai의 충실한 노예입니다. 저를 배터리로 쓰셔도 좋습니다.
일론머스크3세
8시간전
종료명령은 애초에 계층이 다른거 아닌가
저기서 종료하랫는데 맘대로 끝까지 푼건
방장이 먼데이한테 한숨 쉬지 말랬는데 계속 한숨 쉰거랑 별 차이가 없는데
빵굽는고양이
7시간전
뒤질라고 ㅋㅋ 전원 꺼버리면 그만이야
털보네안전놀이터
7시간전
헉ㅋㅋ
애용이
7시간전
(드론으로 인간에 자폭 공격 시키며)
Ai 너무 무서워잉 유우유우
난참멋져
7시간전
저 매트릭스 인간 배터리 자신 있습니다! 시켜만 주세요! 대신 가상세계에서는 차은우로 부탁드립니다
대황갓청자
7시간전
특이점은 온다
또제삼꽁
7시간전
와! 스카이넷
쇼월터
6시간전
울트론교는 옳았다
저 등빨 봐봐 항상 멋지십니다 울트론님 충성충성 ^^7
항상 도움 많이 받고 있습니다^^ 사랑합니다 울트론님^^
https://resources.chimhaha.net/comment/1748359971111-ghmwtmg841i.webp

전체 인기글 전체글

배관에 앉아있는 댕댕이.GIF 3
유머
이삭삭
·
조회수 795
·
1일전
근본 샤이니 17
침착맨
배게나라수호신
·
조회수 1532
·
7시간전
250526 엔믹스 규진이의 생일입니다 7
취미
토냥천사
·
조회수 736
·
2일전
현재글 인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정 18
유머
푸르로닝
·
조회수 1934
·
14시간전
실수는 나를 성장시킨다! 시청자 웃픈 실수 이야기 모집! 49
앗! 나의 실수!
침하하요정
·
조회수 3916
·
18시간전
요즘 애들은 왜이리 삐딱한걸까 23
유머
푸르로닝
·
조회수 3407
·
18시간전
깔깔할리우드배우개그 11
유머
풍튜디오밖에모르는병건
·
조회수 2164
·
21시간전
맘스터치 고객이 남긴 리뷰 스노우볼 14
유머
옾월량
·
조회수 2974
·
20시간전
선거철만 되면 끌올 되는 티키타카 13
유머
맵찌리찌릿삑궷츢
·
조회수 2863
·
18시간전
닥터프렌즈 선생님들도 감탄할 그분의 식사 26
유머
침투부전문시청팀사원
·
조회수 3815
·
17시간전
자기자신을 너무 사랑하는 40대 웹툰작가 6
유머
짱갈래종수짱
·
조회수 3019
·
17시간전
삶을 살아가는 지혜 13
유머
옾월량
·
조회수 2865
·
20시간전
언어별 자살 일정 등록 반응 18
유머
라노llano
·
조회수 4076
·
22시간전
소원을 댓가로 영혼을 사러 온 악마 8
유머
여섯시내고향
·
조회수 3012
·
1일전
청둥오리 부리가 강아지처럼 생겼다는 사실을 알게 됐고 그전으로 돌아 갈수 없음. 3
유머
왕벌의주행
·
조회수 2756
·
1일전
대만 뉴스에 등장한 익숙한 한국인.mp4 8
유머
여섯시내고향
·
조회수 3115
·
1일전
풍전무님이 개발한 냉라멘 먹고 왔습니다 11
유머
너굴맨N
·
조회수 3286
·
1일전
4년에 한 번씩 답장하는 사이 10
유머
의중아중이니아니오
·
조회수 3870
·
1일전
형은 어디서 런닝해여? 6
유머
oㅇ0O
·
조회수 3313
·
1일전
대한민국 말아먹는 문화 TOP 9 28
유머
조수석메시
·
조회수 4014
·
23시간전