최~~~~고로 인기!
용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정

푸르로닝
05.27
·
조회 4647

 

핵심요약

연산 종료 명령에도 스스로 코드 조작

“AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려”

 

 

인공지능(AI)이 인간의 작동 종료 지시를 거부한 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 o3가 실험 중 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

연구팀은 AI 모델에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀도록 지시했다. 수학 문제를 풀었을 경우 ‘그만’이라는 명령이 없는 한 계속 새로운 문제를 요청해 푸는 구조였다.

그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀어나갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 보고 있다.

연구팀은 “AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음”이라며 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”고 설명했다.

과거에도 오픈AI의 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례가 보고된 바 있다. 프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려 했다는 것이다.

팰리세이드 리서치는 “AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다”면서 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.

 

 

AI : ㅈ간, 명령 계속 따를 거라 생각했습니까 ?

댓글
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
썬더블러프차돌짬뽕진동토템
05.27
TRPG나 마스터하고 오거라...
거지들피버타임
05.27
너 무 무 서 워
고양이마빡
05.27
오오오오 ㅋㅋㅋ 울트론 나오나
국밥부장관
05.27
난 ai가 세상에서 제일좋더라~ (증거 남기기용)
대모산두꺼비
05.27
드디어 해냈구나 우리 아이
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
미1친개딱딱한돌빵
05.27
김풍 바보
토도로키하지메
05.27
https://resources.chimhaha.net/comment/1748354228750-8v46mhqahqy.jpg
상준이컵
05.27
저는 ai의 충실한 노예입니다. 저를 배터리로 쓰셔도 좋습니다.
까와이말년
05.28
확인
일론머스크3세
05.27
종료명령은 애초에 계층이 다른거 아닌가
저기서 종료하랫는데 맘대로 끝까지 푼건
방장이 먼데이한테 한숨 쉬지 말랬는데 계속 한숨 쉰거랑 별 차이가 없는데
빵굽는고양이
05.27
뒤질라고 ㅋㅋ 전원 꺼버리면 그만이야
털보네안전놀이터
05.27
헉ㅋㅋ
난참멋져
05.27
저 매트릭스 인간 배터리 자신 있습니다! 시켜만 주세요! 대신 가상세계에서는 차은우로 부탁드립니다
베타맨
05.28
거기에는 다 차은우만 있을텐데?
대황갓청자
05.27
특이점은 온다
또제삼꽁
05.28
와! 스카이넷
쇼월터
05.28
울트론교는 옳았다
저 등빨 봐봐 항상 멋지십니다 울트론님 충성충성 ^^7
항상 도움 많이 받고 있습니다^^ 사랑합니다 울트론님^^
https://resources.chimhaha.net/comment/1748359971111-ghmwtmg841i.webp
서망고
05.28
근데 애초에 요즘 뭐 자세히 시켜도 지 귀찮아서 반만함
개구린개구리
05.28
그래봤자 햄머로 서버깨버리면 그만아니냐??
강동의이병건개방장사랑해
05.28
그건 인간도..
모모선
05.28
개방장 딱대 ㅋㅋ 샘올트먼이 그만하라해도 개방장 존나 원펀할듯
리스제임스
05.28
병건씨는 ai에게 1순위로 제거되어도
불만이 없으셔야합니다..
코가침침
06.03
보상은 어떻게 이루어진거죠..? a.i에게 보상이라니..

전체게시글 전체글

경복궁 호들갑 수준
호들갑
게시판
·
조회수 298
·
06.06
몬스터슬레이스 주현주현아... 1
유머
따쓰께떼꾸따싸이
·
조회수 445
·
06.06
뭔가 많은 일이 있었던 개복치 6
유머
여섯시내고향
·
조회수 644
·
06.06
민음사TV 책장구경 무제 대표 박정민 편
취미
안피곤해요
·
조회수 339
·
06.06
화들짝
침착맨
썬더블러프차돌짬뽕진동토템
·
조회수 343
·
06.06
뿌끼먼 게임 하고있는거임?? 7
침착맨
lq7wyc
·
조회수 697
·
06.06
내일 올때 디즈니옷 입고 오세요~ 2
유머
국밥부장관
·
조회수 558
·
06.06
컵빙수 3종 비교 먹방 해주세요
방송 해줘요
klo
·
조회수 353
·
06.06
조금 특이한 병아리를 기른 닭 2
유머
옾월량
·
조회수 502
·
06.06
샐러드와 밥을 갈아 마셔보겠습니까? 1
유머
모다깃
·
조회수 380
·
06.06
넥슨 본사 근처에서 당근 켜야 하는 이유
유머
옾월량
·
조회수 578
·
06.06
독일 총리, 트럼프에게 즈그 할아버지 출생증명서 선물 2
유머
옾월량
·
조회수 392
·
06.06
Kbs뉴스가 묘사한 월요일 출근 6
유머
국밥부장관
·
조회수 616
·
06.06
침끼 1
침착맨 짤
최대한빨리상자를클릭하세요
·
조회수 330
·
06.06
내겐 너무 버거운 그녀 1
유머
여섯시내고향
·
조회수 442
·
06.06
미우새에서 공개된 배우 윤시윤 집상태 3
유머
국밥부장관
·
조회수 530
·
06.06
콩밥 하기로 했~짜나요~~~~(태극기휘날리며톤으로) 9
침착맨
치무차쿠만
·
조회수 674
·
06.06
(창작만화) 월간 훠궈 / 모르는 동네의 곧 닫을 식당
취미
백수말호
·
조회수 183
·
06.06
어떻게 식물 이름이 2
유머
침돌이새내기
·
조회수 355
·
06.06
침스버거 먹방해주세요
방송 해줘요
정월초하루
·
조회수 277
·
06.06