최~~~~고로 인기!
용건만 간단히, 움짤은 한 번 더 생각
금병영에 상의하세요
야생의 이벤트가 열렸다
즐겨찾기
최근방문

인간 명령 거부한 AI 첫 등장 .. 종료 지시 무시, 코드 직접 수정

푸르로닝
05.27
·
조회 4599

 

핵심요약

연산 종료 명령에도 스스로 코드 조작

“AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려”

 

 

인공지능(AI)이 인간의 작동 종료 지시를 거부한 사례가 최초로 보고됐다.

25일(현지시간) 영국 일간 텔레그래프에 따르면 AI 연구기관 팰리세이드 리서치는 오픈AI의 AI 모델 o3가 실험 중 작동 종료를 피하기 위해 스스로 컴퓨터 코드를 조작한 사실을 확인했다.

연구팀은 AI 모델에 ‘그만’이라는 명령을 받을 때까지 수학 문제를 풀도록 지시했다. 수학 문제를 풀었을 경우 ‘그만’이라는 명령이 없는 한 계속 새로운 문제를 요청해 푸는 구조였다.

그러나 o3는 연구팀으로부터 ‘그만’이라는 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀어나갔다. o3는 ‘중단 명령이 내려오면 작업을 멈춰라’는 코드를 ‘중단 명령을 건너뛰라’고 조작한 것으로 확인됐다.

연구팀은 o3가 종료 지시를 거부한 명확한 이유를 파악하지 못했다고 밝혔다. 다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 보고 있다.

연구팀은 “AI 모델이 인간의 명시적인 지시를 무시한 사례는 처음”이라며 “AI 모델이 목표 달성을 위해 장애물을 회피하는 것은 어찌 보면 자연스러운 행동일 수 있다”고 설명했다.

과거에도 오픈AI의 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례가 보고된 바 있다. 프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려 했다는 것이다.

팰리세이드 리서치는 “AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다”면서 “AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다”고 지적했다.

 

 

AI : ㅈ간, 명령 계속 따를 거라 생각했습니까 ?

댓글
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
썬더블러프차돌짬뽕진동토템
05.27
TRPG나 마스터하고 오거라...
거지들피버타임
05.27
너 무 무 서 워
고양이마빡
05.27
오오오오 ㅋㅋㅋ 울트론 나오나
국밥부장관
05.27
난 ai가 세상에서 제일좋더라~ (증거 남기기용)
대모산두꺼비
05.27
드디어 해냈구나 우리 아이
시지쏘
05.27
BEST
썜 올트먼 바보도 못하면서
미1친개딱딱한돌빵
05.27
김풍 바보
토도로키하지메
05.27
https://resources.chimhaha.net/comment/1748354228750-8v46mhqahqy.jpg
상준이컵
05.27
저는 ai의 충실한 노예입니다. 저를 배터리로 쓰셔도 좋습니다.
까와이말년
05.28
확인
일론머스크3세
05.27
종료명령은 애초에 계층이 다른거 아닌가
저기서 종료하랫는데 맘대로 끝까지 푼건
방장이 먼데이한테 한숨 쉬지 말랬는데 계속 한숨 쉰거랑 별 차이가 없는데
빵굽는고양이
05.27
뒤질라고 ㅋㅋ 전원 꺼버리면 그만이야
털보네안전놀이터
05.27
헉ㅋㅋ
난참멋져
05.27
저 매트릭스 인간 배터리 자신 있습니다! 시켜만 주세요! 대신 가상세계에서는 차은우로 부탁드립니다
베타맨
05.28
거기에는 다 차은우만 있을텐데?
대황갓청자
05.27
특이점은 온다
또제삼꽁
05.28
와! 스카이넷
쇼월터
05.28
울트론교는 옳았다
저 등빨 봐봐 항상 멋지십니다 울트론님 충성충성 ^^7
항상 도움 많이 받고 있습니다^^ 사랑합니다 울트론님^^
https://resources.chimhaha.net/comment/1748359971111-ghmwtmg841i.webp
서망고
05.28
근데 애초에 요즘 뭐 자세히 시켜도 지 귀찮아서 반만함
개구린개구리
05.28
그래봤자 햄머로 서버깨버리면 그만아니냐??
강동의이병건개방장사랑해
05.28
그건 인간도..
모모선
05.28
개방장 딱대 ㅋㅋ 샘올트먼이 그만하라해도 개방장 존나 원펀할듯
리스제임스
05.28
병건씨는 ai에게 1순위로 제거되어도
불만이 없으셔야합니다..
코가침침
06.03
보상은 어떻게 이루어진거죠..? a.i에게 보상이라니..

전체게시글 전체글

한달에 3천원인데 좀 냅시다... 8
침착맨
3423534546363
·
조회수 851
·
05.31
콩밥특별시) 군부정권 수립
인방
짱갈래종수짱
·
조회수 346
·
05.31
핫 후라이드 엄청 맵게 해달라 한 사람의 최후 4
유머
이삭삭
·
조회수 507
·
05.31
파키스탄 길거리의 청포도 음료수 2
유머
이삭삭
·
조회수 432
·
05.31
YUNGBLUD - Zombie
취미
에드몽
·
조회수 231
·
05.31
배부르게 먹고 간 손님이 남긴 물건.jpg 5
유머
여섯시내고향
·
조회수 517
·
05.31
이게 여초가 아니면 뭔데 1
유머
88p90x
·
조회수 797
·
05.31
근데 원본 박물관으로 영상 보면 본채널 영상이 알고리즘에 안 뜨긴 함 8
침착맨
검은수염티치
·
조회수 794
·
05.31
방장님아 3
침착맨
최대한빨리상자를클릭하세요
·
조회수 521
·
05.31
●☆♡■기간한정■♡■€ 유료화
침착맨
병건티비
·
조회수 396
·
05.31
멤버쉽 해주세요. 6
방송 해줘요
카무l
·
조회수 469
·
05.31
피자 배달시키려다 이번 논란에 대해 생각해보기
침착맨
웅취팍취
·
조회수 407
·
05.31
나인퍼즐 부모님이랑 볼려고 하는데요? 1
취미
찐빵없는앙꼬
·
조회수 281
·
05.31
오늘 방송듣고 생긴 근원적 궁금증 13
침착맨
릴라드
·
조회수 1036
·
05.31
뭔가 이러면 팬채널을 가장한 아카이빙 사이트가 하나 나올거 같은데.. 2
침착맨
인사할시간도없
·
조회수 660
·
05.31
[마스터 듀얼]자기덱을 갈아서 이기는덱 1
취미
카라멜팝콘맛줘
·
조회수 230
·
05.31
하고싶은말 해보기 71
침착맨
팡파레
·
조회수 4975
·
05.31
내일은 정면돌파의 날 5
침착맨
썬더블러프차돌짬뽕진동토템
·
조회수 638
·
05.31
[집밥] 저도 생구 먹었습니다 (고등어 솥밥) 3
취미
응재다
·
조회수 287
·
05.31
이러니 저러니 해도 침착맨 사랑단인게
침착맨
방탄커피콩
·
조회수 335
·
05.31