최~~~~고로 인기!
용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정

푸르로닝
05.27
·
조회 4566

 

핵심요약

연산 종료 명령에도 스스로 코드 조작

“AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려”

 

 

인공지능(AI)이 인간의 작동 종료 지시를 거부한 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 o3가 실험 중 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

연구팀은 AI 모델에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀도록 지시했다. 수학 문제를 풀었을 경우 ‘그만’이라는 명령이 없는 한 계속 새로운 문제를 요청해 푸는 구조였다.

그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀어나갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 보고 있다.

연구팀은 “AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음”이라며 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”고 설명했다.

과거에도 오픈AI의 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례가 보고된 바 있다. 프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려 했다는 것이다.

팰리세이드 리서치는 “AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다”면서 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.

 

 

AI : ㅈ간, 명령 계속 따를 거라 생각했습니까 ?

댓글
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
썬더블러프차돌짬뽕진동토템
05.27
TRPG나 마스터하고 오거라...
거지들피버타임
05.27
너 무 무 서 워
고양이마빡
05.27
오오오오 ㅋㅋㅋ 울트론 나오나
국밥부장관
05.27
난 ai가 세상에서 제일좋더라~ (증거 남기기용)
대모산두꺼비
05.27
드디어 해냈구나 우리 아이
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
미1친개딱딱한돌빵
05.27
김풍 바보
토도로키하지메
05.27
https://resources.chimhaha.net/comment/1748354228750-8v46mhqahqy.jpg
상준이컵
05.27
저는 ai의 충실한 노예입니다. 저를 배터리로 쓰셔도 좋습니다.
까와이말년
05.28
확인
일론머스크3세
05.27
종료명령은 애초에 계층이 다른거 아닌가
저기서 종료하랫는데 맘대로 끝까지 푼건
방장이 먼데이한테 한숨 쉬지 말랬는데 계속 한숨 쉰거랑 별 차이가 없는데
빵굽는고양이
05.27
뒤질라고 ㅋㅋ 전원 꺼버리면 그만이야
털보네안전놀이터
05.27
헉ㅋㅋ
난참멋져
05.27
저 매트릭스 인간 배터리 자신 있습니다! 시켜만 주세요! 대신 가상세계에서는 차은우로 부탁드립니다
베타맨
05.28
거기에는 다 차은우만 있을텐데?
대황갓청자
05.27
특이점은 온다
또제삼꽁
05.28
와! 스카이넷
쇼월터
05.28
울트론교는 옳았다
저 등빨 봐봐 항상 멋지십니다 울트론님 충성충성 ^^7
항상 도움 많이 받고 있습니다^^ 사랑합니다 울트론님^^
https://resources.chimhaha.net/comment/1748359971111-ghmwtmg841i.webp
서망고
05.28
근데 애초에 요즘 뭐 자세히 시켜도 지 귀찮아서 반만함
개구린개구리
05.28
그래봤자 햄머로 서버깨버리면 그만아니냐??
강동의이병건개방장사랑해
05.28
그건 인간도..
모모선
05.28
개방장 딱대 ㅋㅋ 샘올트먼이 그만하라해도 개방장 존나 원펀할듯
리스제임스
05.28
병건씨는 ai에게 1순위로 제거되어도
불만이 없으셔야합니다..
코가침침
06.03
보상은 어떻게 이루어진거죠..? a.i에게 보상이라니..

전체게시글 전체글

그래, 이 맛이지
침착맨
그냥질라
·
조회수 452
·
06.02
실시간 침착맨 RP
침착맨
꼬불이
·
조회수 617
·
06.02
박정민님이 입은 옷 2
침투부 공유
이병건사랑함
·
조회수 571
·
06.02
현 상황 요약
침착맨
참치마
·
조회수 650
·
06.02
방송 보는데 점심 먹은 거 얹힐 거 같아요 1
침착맨
킬각쟁이
·
조회수 516
·
06.02
개 웃기네 콩밥 3
침착맨
rollercoaster
·
조회수 813
·
06.02
모험가 이야기 게임 해줘요!!!
방송 해줘요
안산식이름
·
조회수 197
·
06.02
아니 성님 택시 다 떼려 뿌아삐네 ㅋㅋㅋㅋㅋㅋㅋ
침착맨
태리야끼
·
조회수 457
·
06.02
ㅅㅂ 택시 꼬라지봐 ㅋㅋㅋㅋ
침착맨
AMZN몰빵
·
조회수 266
·
06.02
아 택시에서 못 내릴때 개웃었네ㅋㅋㅋ 4
침착맨
생전존문가김병철
·
조회수 750
·
06.02
택시 개웃기네 ㅋㅋㅋㅋㅋ
침착맨
닉네임침
·
조회수 282
·
06.02
춤 좀 좋아하는 갓청자들은 알만한 곡
호들갑
강철팔뻐키
·
조회수 216
·
06.02
화이트 윈터
취미
이지금은동
·
조회수 226
·
06.02
으스스)침착맨은 랩틸리언이 맞다!
침착맨 짤
세돌과차돌
·
조회수 256
·
06.02
문득 gta를 하니까 1
침착맨
전구이
·
조회수 422
·
06.02
엘비스 프레슬리 충격적인 사망 원인 1
유머
옾월량
·
조회수 515
·
06.02
지하철 5호선 방화가 악랄한 점 18
유머
웅취한교동
·
조회수 5299
·
06.02
글로벌 캄다운맨으로 한 두 걸음
방송 해줘요
가입일20221123
·
조회수 260
·
06.02
오늘 입으신옷 정보 있으신분 있으신가요? 2
침착맨
워크하자고
·
조회수 429
·
06.02
신뇽 진화 때 B 갈겼는데 어찌어찌 진화는 됐을 때 1
유머
고양이마빡
·
조회수 437
·
06.02