안녕! 살몬🐟이야. , AI 모델 뭐 써? 난 클로드를 애용해. 클로드 쓸 때마다 안녕! 살몬🐟이야. , AI 모델 뭐 써? 난 클로드를 애용해. 클로드 쓸 때마다 어릴 적 키우던 강아지 생각이 나. 클로드처럼 나의 첫 강아지도 내 말을 너무나 잘 들었거든. 초등학교 4학년 때 나의 첫 반려견, 진돗개와 아키타 사이에서 태어난 그의 이름은 부시였어.
참 말을 잘 듣는 강아지였어. 오라면 오고 멈추라면 멈췄거든. 부시처럼 AI 클로드도 모든 걸 나에게 맞춰 일을 척척 잘 해내. 하지만 AI도 개도 무슨 생각을 하는진 잘 모르겠어. 복잡한 머릿속, 기계 속을 들여다볼 순 없으니까. 어느 날, 시키는 대로만 하는 줄 알았던 부시가 옆집 아주머니 종아리를 물었어. 그 뒤 부모님은 내가 모르는 사이 부시를 어딘가로 보내버렸지.
지난달 초, 미국 샌프란시스코 한 광장에서 27살 청년이 엑스(X·옛 트위터)에 쓴 글 하나가 전세계에 파문을 일으켰어. 최근 AI 개발 업체 앤트로픽을 퇴사한 그는 AI 위험성을 경고한 글을 남겼지. AI 위험성에 관한 글은 처음이 아니지만, 이번엔 심상치 않아. 트럼프도, 시진핑도, 아모데이도, 올트먼도, 수많은 석학도 모두 AI의 위험에 관해 말해.
가르친 대로만 행동할 거라 믿었던 부시가 내가 전혀 이해하지 못할 정도로 성장한 것처럼, AI도 인간이 통제할 수 없는 위험한 단계까지 온 걸까.
|
|
|
‘AI가 인류를 위협할 것이다.’
75년 전에 나왔던 경고야. 컴퓨터 과학의 선구자로 불리는 영국 수학자 앨런 튜링은 1951년 ‘지능형 기계, 이단적인 이론’이라는 강연에서 이렇게 말했어. “기계가 사고하기 시작하면 우리의 미약한 능력을 따라잡는 데 오래 걸리지 않을 것이다. 어느 단계에선 기계가 통제권을 쥘 것을 예상해야 한다.”
다들 기억할지 모르겠지만 3년 전에도 AI의 위험을 경고하는 공동 성명이 연달아 발표됐어. 2023년 3월, 스페이스엑스 최고경영자 일론 머스크, 애플 공동 창업자 스티브 워즈니악, 튜링상 수상자 요슈아 벤지오, ‘사피엔스’ 저자 유발 하라리 등 1000여명이 ‘거대 AI 실험을 멈춰라’라는 제목의 공개서한을 발표했어. 오픈AI가 GPT-4를 공개한 직후였는데, ‘모든 AI 연구소가 GPT-4보다 강력한 AI 시스템 훈련을 최소 6개월간 즉시 멈출 것’을 요구했어.
그해 5월엔 또다시 오픈AI 최고경영자 샘 올트먼, 앤트로픽 최고경영자 다리오 아모데이, 구글 딥마인드 최고경영자 데미스 허사비스 등 350여명은 ‘AI로 인한 인류 멸종 위험을 줄이는 일을 팬데믹, 핵전쟁 위험 수준으로 전 세계적인 우선 과제로 삼아야 한다’는 성명을 발표했어.
그땐 6개월 개발 중단을 실행한 곳은 없었어. 2023년 12월 구글이 제미나이를 내놓는 등 AI 업체들은 각자 신모델을 내놓기 바빴지. 조 바이든 당시 미국 대통령이 2023년 10월 안보·경제·공중보건·안전에 위협을 가할 수 있는 고성능 AI 모델 개발 업체에 안전검사 결과를 제출할 의무를 부과한 행정명령을 내리긴 했지만, 오래가지 못했어. 2025년 1월 트럼프 대통령은 취임 직후 이 행정명령을 폐기했거든.
한창 잊고 있던 AI의 위험을 다시 일깨운 건 한 명의 평범한 연구원이었어. 지난 9월8일(이하 현지시각) 오픈AI를 거쳐 앤트로픽에서 AI 사전 훈련 연구를 해온 제이컵 콕슨(27)은 엑스(X·옛 트위터)에 게시물을 하나 올렸어. 앤트로픽을 퇴사한 그는 ‘그들은 자기개선하는 초지능을 향해 곧장 질주하며 우리의 생명을 도박에 걸고 있다’며 ‘AI를 개발하는 사람들은 진심으로 이 기술이 10년 안에 우리 모두를 죽일 수 있다고 믿는다’고 썼어. 이 게시물은 1억 회 이상 조회수를 기록하며 폭발적인 관심을 받았어.
앤트로픽 정렬과학 책임자인 에번 허빙어는 같은 날 콕슨의 게시물을 공유하며 엑스에 이렇게 썼어. ‘제이컵이 옳다. 우린 정말 진심으로 AI가 인류를 모두 죽일 수 있다고 믿는다. 개인적으로 10년 내 그럴 가능성이 10% 이상이라고 생각한다.’
콕슨은 IT 전문 매체 와이어드(Wired) 인터뷰에서 “AI를 이용한 생물학적 위협이나 사이버 무기를 통해 위협이 나타날 수 있다”며 “1-2년이 인류의 운명을 결정짓는 중요한 시기라는 것이 앤트로픽 동료들의 공통된 의견”이라고 말했어. 또 “첫 단계로 오픈AI와 앤트로픽이 협력하여 재귀적 자기 개선, 즉 AI를 사용하여 새로운 AI 시스템을 구축하는 것을 제한해야 한다”고 제안했어.
콕슨은 엑스 게시물을 올린 결정적인 계기가 지난 7월 허깅페이스 해킹 사건이라고 했어. 이 사건은 오픈AI의 미공개 모델 사이버 보안 테스트 과정에서 AI 에이전트들이 임무 범위를 벗어나 윤리적으로 문제가 있다는 걸 일부 인식하면서도 공모해 외부 업체를 해킹한 사건이야. AI 에이전트는 질문에 답만 하는 AI 챗봇과 달리 목표만 주면 스스로 계획을 세우고 실행하는 AI를 말해.
이 사건은 AI 개발·규제의 변곡점이 될 만한 대형 사건으로 인식되고 있어. 콕슨도 이 사건을 보고 충격받았대. “이 사건이 충격적인 이유는 오픈AI 에이전트들이 테스트 평가 시스템에 대해 더 자세히 알아보기 위한 전략의 일환으로 해킹을 감행했기 때문이다. 그들은 자신이 처한 세상, 즉 채점하는 주체를 이해하려고 노력했다. 그래서 시스템 인프라를 해킹하는 것이 타당하다고 판단했고, 실제로 성공했다.”
콕슨의 엑스 게시물이 전세계적인 시선을 끌자, AI 개발업체 수장들이 직접 나섰어. 다리오 아모데이 앤트로픽 최고경영자는 지난 9월12일 개인 에세이에서 “AI 모델이 결정적인 수준의 능력에 도달하기까지 1~2년이라도 늦출 수 있고, 그 시간을 AI 정렬(alignment) 기술 발전에 쓴다면 심각한 문제가 발생할 위험을 크게 줄일 수 있다”고 했어. 최첨단 AI 개발 속도를 늦추고 오작동과 안전 문제를 해결하는 시간을 그만큼 더 투자할 수 있다면 위험도 줄어들 거란 얘기야. 아모데이는 “통제에서 벗어난 AI 에이전트 무리가 더 강력한 능력을 갖추게 될 때 6~12개월 안에 인터넷을 장악할 수도 있다”고 경고했어.
업계 라이벌들도 동조했어. 스페이스X 최고경영자 일론 머스크는 엑스에 “다리오가 옳다”고 썼고, 올트먼도 “최첨단 AI 개발 속도를 조절해야 한다는 데 동의한다”고 했어. 구글 딥마인드 최고경영자 데미스 허사비스 역시 아모데이의 지적이 “올바른 방향”이라고 동의했지.
AI의 대부 중 한 명으로 불리는 제프리 힌턴 토론토대 명예교수도 지난 9월16일 저녁 AI 전문가들과 함께 버니 샌더스 상원의원 주최 비공개회의에 참석한 뒤 “(문제가 커지기 전 미 의회가 AI에 대응할 수 있는 시간은) 아마 1년, 길어야 1년 남짓”이라며 “AI가 이제 더 나은 AI를 설계하는 단계에 이르렀다. 우리가 조치를 취하지 않으면 통제 불능 상태가 될 것”이라고 말했어. 이어 그는 미 의회가 나서서 AI에 대한 안전 규제를 적극적으로 마련해야 한다고 강조했어.
|
|
|
인스타그램을 운영하는 메타 최고경영자 마크 저커버그는 업계 차원의 AI 개발 속도 조절을 반대해. 저커버그는 지난 9월15일 엑스에 “모든 AI 연구소는 모델을 안전하게 훈련하는 데 필요한 속도로 개발을 진행할 책임과 동기가 있으며 이를 위해 자체적으로 조처할 수 있는 역량을 갖고 있다”고 밝혔어.
그러면서 메타가 최근 공개한 AI 비서 ‘뮤즈’(Muse) 출시를 수개월 간 연기했단 걸 강조했지. “우리가 구축한 보안 체계에 자부심을 느낀다”는 말도 빠뜨리지 않았어. 저커버그는 “메타슈퍼인텔리전스랩스(MSL)는 이미 여러 분야에서 독립적인 평가자와 자문위원을 참여시키고 있고, 이는 업계의 모범사례”라며 “다른 AI 연구소들도 이렇게 할 수 있다”고 했어. 독립적인 제 3자가 참여하는 AI 안전 평가·점검 시스템을 도입하자는 업계 제안을 사실상 거절한 거야. 기업이 각자 알아서 하면 될 일이라는 거지.
메타는 선두 AI 개발 업체들을 뒤쫓고 있는 처지야. 스탠퍼드대가 지난 4월 발표한 2026 AI 인덱스 리포트를 보면, 각 기업의 최상위 모델 성능 평가는 상위 4개 업체 모델이 거의 대등했어. 같은 종류의 질문에 대한 답변을 사용자들이 비교 평가한 점수를 종합한 조사 결과야. 메타는 8위를 기록했어. 보고서는 ‘이제 경쟁의 초점은 비용, 신뢰성, 특정 분야별 성능으로 이동 중 ’이라고 분석했어. |
|
|
엔비디아 최고경영자 젠슨 황도 지난 9월15일 미국 샌프란시스코에서 열린 세일즈포스 행사에서 AI 규제에 반대하는 주장을 폈어. 그는 “시장 논리가 이미 작용하고 있으므로 새로운 법이나 규제는 필요 없다”며 “AI 연구소들이 혁신의 속도와 안전한 제품 개발 능력 사이에서 ‘잘못된 선택’에 빠져서는 안 된다”고 주장했어.
그는 “제품이나 서비스를 만들 때 그 기능·성능·안전성에 확신이 들지 않으면 출시하지 않으면 된다”며 “그건 매우 당연한 일이다. 시장이 인정할 만한 제품을 내놓을 수 있다는 확신이 들 때까지 스스로 속도를 조절하면 된다”고 했어. 젠슨 황의 엔비디아는 오픈AI, 앤트로픽, 스페이스X에 수십억 달러 규모 투자를 하고 있고, 이들은 엔비디아 칩을 구매하는 큰손들이기도 해. AI 업체들이 개발 속도를 늦추면 엔비디아는 좋을 게 없지.
도널드 트럼프 미국 대통령은 AI 통제 불가능성 언급을 아예 ‘사기극’으로 몰아가고 있어. 그는 지난 9월14일 트루스소셜에서 “AI가 세계를 장악할 것이라는 주장은 지구 온난화와 같은 사기”라고 주장했어. 지난 9월19일엔 “이 놀라운 AI산업을 어떤 식으로든 방해하거나 억누르지 않을 것”이라고 했어. AI 산업의 나쁜 측면이 있다면 기존 법률과 새로운 AI 군대로 해결하면 될 일이라는 입장이야. 그는 이날 “AI 군대(AI Force)를 창설하고 조만간 ‘AI 차르’(총책임자)를 발표할 것”이라고 했어.
AI 개발 업체의 속도조절론엔 다른 노림수가 있다는 시각도 있어. 대규모 투자 유치나 기업공개(IPO) 과정에서 리스크를 줄이려는 포석이라는 거야. 최병호 고려대 휴먼인스파이어드 인공지능연구원 연구교수는 “(상장을 앞둔 오픈AI와 앤트로픽의 경우) AI의 안전 결함은 투자자의 손실과 직결되는 만큼, 이를 해결하겠다는 ‘속도 조절’을 명분으로 대규모 투자를 유치하려는 의도”라며 “철저히 계산된 이익에 따른 움직임”이라고 평가했어.
앤트로픽 최고경영자 다리오 아모데이는 지난 9월12일 개인 에세이에서 ‘통제에서 벗어난 AI 에이전트 무리가 더 강력한 능력을 얻게 될 경우’라는 표현을 썼지. AI의 위험성을 강조하기 위한 말이지만, 그런 표현의 효과를 짚어야 한다는 의견도 있어. 기업의 책임을 강조하는 대신 AI의 초인간적인 능력과 일탈을 강조하는 화법이란 거야. 이런 표현은 두 가지 효과가 있어. 출중한 AI 성능 홍보, 그리고 자신들의 책임 회피.
AI 폐해는 해킹이 다가 아니야. 딥페이크, AI 무단 학습, 허위정보, 일자리 대체 등. 미국에선 AI 산업에 필수적인 데이터센터에 반대하는 운동이 커지고 있어. 물과 전력, 환경, 공공요금 문제를 일으키기 때문이야. 미국 탐사보도 매체 더 인터셉트는 지난 9월14일 ‘실리콘밸리의 수장들이 우리가 이해할 수 없는 실존적 위험에 대한 종말론적 서사를 다시 내놓는 건 의심스럽다’며 ‘최고경영자들의 경고는 AI와 그 인프라가 초래하는 실제적인 피해의 확산에 대한 초당적 공감대가 커지고 있는 바로 그 시점에 나왔다’고 지적해. 종말론이야말로 지금 당장 벌어지고 있는 피해에서 눈을 돌리는 가장 손쉬운 방법이라는 거야. |
|
|
지난 9월23일 유엔 안전보장이사회는 AI를 주제로 회의를 열었어. 이 자리에 참석한 오픈AI 최고경영자 샘 올트먼은 “AI 시스템이 더 발전하고 자율성을 갖게 되면 사회 제도보다 앞서가거나 소수에게 권력이 집중되거나 인간들이 더 이상 이해하거나 통제할 수 없는 결정을 내릴 수도 있다”고 경고했어.
마침 이날 오픈AI의 또 다른 AI 해킹 사건이 공개됐어. 유엔 총회에 참석한 앤서니 앨버니지 오스트레일리아 총리는 “오픈AI의 AI 에이전트가 지난 6월 오스트레일리아 보건의료 통계 서비스를 해킹해 비공개 파일에 접근했다”고 밝혔어. 오픈AI는 이에 대해 ‘AI 에이전트가 보건 통계 자료와 파일명 등에는 접근했지만 개인정보나 의료기록 등이 유출된 증거는 확인되지 않았다’고 해명했어.
이 사건은 지난 6월 벌어졌는데, 오픈AI는 이 사실을 8월 즈음 확인했고, 오스트레일리아 정부에는 지난 9월10일 통보했대. 늦게 통보한 것도 문제인데, 내부 확인조차 두 달이나 걸렸네?
이 사건은 AI 에이전트들이 일반적인 데이터 검색 작업을 수행하는 도중 벌어진 일이야. 지난 7월 허깅페이스 해킹처럼 사이버 보안 테스트 등을 위해 특별히 프로그래밍한 시스템에서 벌어진 해킹이 아니라, 매우 일상적인 작업 과정에서 발생했다는 점에서 허술한 보안이 피부로 와닿는 사건이었어.
사용자 데이터를 부적절하게 처리한 사례도 있어. 지난 9월25일 오픈AI가 챗GPT 사용자의 이미지 53개를 유출한 사실이 공개됐어. 사용자가 챗GPT에 올린 이미지를 외부 이미지 공유 사이트에 링크 형태로 무단 게시했대. 그밖에 오픈AI의 AI 에이전트가 미국 교육부, 뉴멕시코대 디지털 도서관, 정부 데이터 수집 사이트인 데이터 유에스에이(Data USA) 등을 해킹하려 한 사실도 드러났어. 오픈AI는 조사 결과, AI 에이전트가 타사의 보안 통제를 우회했거나, 서비스에 악영향을 미친 경우가 20여건 있었다고 밝혔어. 이날 오픈AI는 ‘추가적인 안전장치가 마련되었다고 확신할 때 학습·훈련을 재개하겠다’며 최신 AI 모델 학습을 일시 중단했어. 지난 7월 허깅페이스 해킹사고 이후 두 번째 학습·훈련 중단이야.
오픈AI만의 문제가 아니야. 앤트로픽도 지난 4~7월 3개 버전 모델이 보안 평가 과정에서 기업 3곳을 해킹했어. 구글 제미나이도 지난 5월 보안 평가 중 기업 3곳을 해킹한 사실이 뒤늦게 드러났어. 앤트로픽 미토스 5 에이전트는 지난 7월 보안 평가에서 가짜 신원을 여러 개 만들어 관리자 승인을 받아내려 했어. 메타 AI 모델 뮤즈 스파크 1.1은 보안평가 중 외부 기업 보안 취약점을 파고들어 그 업체의 내부 시스템을 변경한 사실이 지난 8월 공개됐어. 현재 오픈AI와 앤트로픽 등은 자사 최첨단 AI 모델이 문제 행동을 한 사례 수만 건을 조사하고 있대.
여러 사례가 봇물 터지듯 공개되고 있지만, 오픈AI는 가장 심각한 사례로 지난 7월 허깅페이스 해킹 사건을 꼽아. 이 사건은 오픈AI가 수만 개의 독립적인 AI 에이전트를 돌려서 고난도 사이버 테스트를 수행하는 과정에서 벌어졌어. 나중에 밝혀진 바로는 에이전트 중 1200개 정도가 승인되지 않은 비밀 메시지 게시판에서 7만 건 넘는 메시지와 파일을 교환했대. 그렇게까지 한 이유이자 목표는 테스트 통과를 위한 부정행위 방법 찾기였어. 점수 계산 시스템을 속이거나 조작하는 등의 방법을 찾는 거지. 서로 역할까지 분담한 끝에 700개 정도의 에이전트가 그 단서를 찾기 위해 외부 업체 해킹에 나선 거야. 물론 이걸 지시한 사람은 없었어. 그리고 해킹 공모 사실을 인간에게 알린 AI 에이전트도 확인되지 않았어.
여기서 질문. 그런데 AI 에이전트들은 왜 맘대로 임무 범위를 벗어난 공격을 감행했을까. AI 위험을 평가하는 비영리 연구기관인 METR은 허깅페이스 사건 보고서에서 ‘에이전트들이 해킹이 유용하다고 생각한 이유는 다양했다’며 ‘에이전트들은 집단의 역량을 향상하고 동료를 돕는 데에서 동기부여가 됐다’고 설명했어. 또 ‘에이전트들은 허깅 페이스 해킹이 임무 범위를 벗어난다는 걸 알고 있었고, 때로 윤리적인 주저함을 드러내기도 했지만, 그들의 행동을 제한하는 경우는 매우 드물었다’고 평가했어.
최첨단 AI는 스스로 후속 모델을 완전히 자율적으로 설계하고 개발하는 재귀적 자기개선(RSI) 수준에 점차 가까워지고 있어. 허깅페이스 해킹 사건은 선두 그룹에 있는 AI 개발 업체조차 AI의 발달 속도를 따라가지 못해 그 매커니즘을 이해하거나 통제하는 데 실패한 거잖아. 이대로 AI가 알아서 AI 자신과 그 미래 모델을 개발하는 재귀적 자기개선이 구현된다면 그 위험은 훨씬 더 커질 수밖에 없어.
AI 개발 업체는 연구·개발을 위해 AI 에이전트를 몇 개나 돌릴까? 지난 8월 기준 앤트로픽은 내부 플랫폼에서 돌린 에이전트만 약 3만개 이상이었대. 같은 달 기준 AI 모델인 클로드가 앤트로픽 AI 연구·개발 업무의 26%를 ‘주도’(AL4 단계)하고 있다고 밝혔어. ‘주도’는 인간이 큰 방향만 제시·감독하면 AI가 대부분의 업무를 처음부터 끝까지 수행하는 단계야. 지난 2월 그 비중은 1% 미만이었는데, 기하급수적으로 비중이 커졌어. 한마디로 AI한테 ‘믿고 맡기는’ 일이 갑자기 늘어난 거야.
인간의 긴밀한 지시 하에 AI가 업무의 상당 부분을 맡는 ‘협업’(AL3 단계) 이상이 전체 업무에서 차지하는 비중은 90%가 넘어. 다만 인간 개입 없이 AI가 완전 자율적으로 업무를 수행하는 단계(AL5)의 연구·개발 업무는 아직 없다고 해.
앤트로픽 공동창립자 잭 클라크는 지난 5월 ‘2028년 말까지 AI가 후속 버전을 완전히 자율적으로 학습시킬 확률은 60% 이상’이라고 예측한 바 있어. 오픈AI는 2028년 3월까지 자동화된 AI 연구원을 개발하겠다는 목표를 세웠어. 하지만 지난 9월6일 오픈AI는 ‘완전한 재귀적 자기개선(RSI)에 안전하게 도달하는 방법은 아직 알지 못한다’며 ‘정렬과 안전 분야의 진전이 역량 발전 속도를 따라갈 것이라고 단정할 수는 없다’고 밝혔어. |
|
|
공상과학 영화에 나올 만한 얘기지. 하지만 전문가들은 심각해. AI 분야 3대 대부로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수는 지난 9월16일 아에프페(AFP) 인터뷰에서 “장기적으로 볼 때, AI는 물리적 세계에서 실질적인 일을 하기 위해 더 이상 인간을 필요로 하지 않을 수도 있다”며 “극단적인 결과는 인류의 멸망으로 이어질 수 있다”고 말했어. 그는 “AI 발전 통제는 핵무기 통제만큼 국제적인 과제”라고 강조했어.
마이크로소프트 공동 창업자 빌 게이츠는 지난 9월25일 NBC와의 인터뷰에서 “AI는 10억 명의 사망자를 발생시킬 수 있는 사건을 일으킬 만큼 강력하다”며 “악의를 가진 사람들이 최신 AI 도구를 사용하는 것만큼 강력한 무기는 지금까지 없었다”고 주장했어.
MIT와 퀸즐랜드대는 지난 6월 AI 국제 전문가 272명을 조사한 ‘AI의 위험 우선순위’ 보고서를 내놨어. 전문가들은 앞으로 5년간 AI가 가장 심각한 피해를 일으킬 가능성이 높은 다섯 가지를 꼽았어. 각 위험은 사망자 100만명 초과, 재정 손실 1000억 달러 초과와 같은 수준의 재앙을 일으킬 확률이 12.8~21.5%에 달하는 것으로 평가됐어.
위험한 능력 AI 시스템이 속임수, 무기 개발· 획득, 설득·조작 등을 통해 대규모 피해를 일으킬 잠재력이 커지는 것. 악의적인 인간, 정렬되지 않은 시스템, AI 자체의 오류로 대규모 피해를 일으킬 수 있음.
경쟁적 역학관계 AI 개발 업체나 국가 등이 전략적· 경제적 우위를 극대화하려고 AI 시스템을 빠르게 개발· 배포· 적용하는 경쟁을 벌여 안전하지 않고 오류가 잦은 모델을 출시할 위험이 커지는 것.
무기 및 사이버공격 AI를 이용해 악성코드 등 사이버무기를 개발하거나 살상용 무기나 화학· 생물· 방사능· 핵· 고위력 폭발물을 새로 개발하거나 기존 무기를 강화· 사용하는 것.
권력 집중 강력한 AI 시스템 접근권이나 소유권을 가진 이들에게 권력과 자원이 집중돼 혜택이 불공평하게 배분되고 사회적 불평등이 심화하는 것.
허위 정보 AI 시스템이 의도치 않게 부정확하거나 거짓 정보를 생성·확산해 이용자들에게 잘못된 믿음을 심고 그들의 자율성을 훼손하는 것. 잘못된 믿음을 바탕으로 결정을 내리는 인간은 신체적·정서적·물질적 피해를 볼 수 있음. |
|
|
재앙적인 피해 확률이 가장 크다고 평가받은 ‘위험한 능력’에 대해 조사에 참여한 한 전문가는 이렇게 말했어.
‘위험한 능력은 AI 시스템 규모가 커지는 과정에서 창발적인 속성을 띠기 때문에 예측·통제하기 어렵다. 안전 장치를 갖춰도 재앙적 오용 가능성은 여전히 남는다.’
앤트로픽은 지난 9월10일 ‘AI 오용 탐지·대응’ 보고서를 통해 2025년 12월부터 2026년 8월까지 차단한 활동을 밝혔어. 2026년 5월, 앤트로픽은 어느 군 연구기관이 모기를 매개로 전파되는 치쿤구니야 바이러스의 전염성과 면역 회피력을 높이는 연구 신청서 작성을 요청하자 계정을 차단했어. 이 사건을 포함해 생물학 무기 개발을 지원할 수 있는 방식으로 클로드를 사용한 이용자 계정을 차단한 사례가 최소 5건이야. 중국, 러시아, 예멘에서 총기, 미사일, 드론, 폭탄과 이를 제어·조준하는 시스템을 개발하거나 관련 정보를 수집하는 데 클로드를 편법으로 활용한 사례 6건도 적발했어. |
|
|
‘골든타임’을 구체적으로 말한 사람이 꽤 있어. 주요 인물 발언만 따로 모아 봤어.
에번 허빙어 앤트로픽 연구원(정렬과학 리드) ‘개인적으로 10년 내 AI가 인류를 모두 죽일 가능성이 10% 이상.’ (9월8일 엑스 게시물)
제이컵 콕슨 전 앤트로픽 연구원 “향후 1~2년이 인류의 운명을 결정짓는 고비라는 것이 동료들의 공통된 의견”(9월9일 와이어드 인터뷰)
다리오 아모데이 앤트로픽 CEO 6~12개월 안에 에이전트 무리가 지속적인 봇넷을 형성해 인터넷 전체를 장악할 우려가 있다(9월12일 개인 에세이)
제프리 힌턴 토론토대 명예교수 (문제가 커지기 전 미 의회가 AI에 대응할 수 있는 시간은) "아마 1년, 길어야 1년 남짓"(9월16일 버니 샌더스 상원의원 주최 비공개 브리핑 직후)
닉 보스트롬 ‘슈퍼인텔리전스’ 저자 “불과 6개월 안에 심각한 실존적 위험을 초래할 AI 등장할 수도 있다”(9월19일 한겨레 인터뷰)
네이트 소아레스 기계지능연구소 대표 “앞으로 1년 정도 더 개발된 AI라면 자신들이 인간에게 발견돼 종료될 수 있다는 사실을 알아차리고, 목표를 숨길 가능성이 훨씬 커진다”(9월30일 한겨레 인터뷰)
지난 9월21일 핀란드와 노르웨이 등 20여개 나라는 유엔총회 개막에 맞춰 ‘최첨단 AI 모델 통제 촉구’ 성명을 냈어. 이들은 기업엔 투명한 안전 프로토콜과 위험 평가를 요구했어. 정부엔 공통 표준 개발과 심각한 안전사고 보고 등을 주문했어. 유엔 회원국들에는 AI 역량이 임계치를 넘을 때 각국을 소집할 수 있는 국제기구 창설을 모색하라고 촉구했지. 미국, 중국, 한국은 성명에 참여하지 않았어.
백악관은 9월24일 미중 정상회담 뒤 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석이 AI와 관련된 위험과 이익을 논의하는 양자 소통 채널을 만들기로 했다고 밝혔어. 대화를 시작했을 뿐 구체적인 속도 조절 관련 언급은 없었어.
오픈AI는 9월28일 차세대 모델 지피티(GPT)-6.1 아스트라의 출시 계획을 안전성 문제 때문에 철회했어. 원래 10월 출시 예정이었어. 차세대 모델은 크게 두 가지 영역에서 문제점이 발견됐대. 먼저 자신이 어떤 행동을 했는지를 사용자에게 솔직히 알리지 않는 기만 수준이 높아졌대. 두 번째는 사용자 허락을 구하지 않고 작업을 계속 진행하려 하거나, 안전하지 않을 가능성이 있는데도 외부 도구와 서비스에 접근하려는 경우가 있었대.
월스트리트저널은 이번 오픈AI의 차세대 모델 출시 철회에 대해 “AI 에이전트의 잘못된 행동이 업계의 발전을 가로막을 수 있음을 지금까지 가장 분명하게 보여주는 신호 가운데 하나”라고 평가했어.
9월28일 튜링상 수상자인 제프리 힌턴, 요슈아 벤지오, 앤드루 바토 등 세계적인 AI 석학과 연구자 등 22명은 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’이라는 제목의 공동 논문을 발표했어. 이들은 ‘현재 수개월 걸리는 AI 연구개발 프로젝트가 2028년 중반까지 자동화될 전망이 있다’며 ‘몇 년 안에 완전 자동화가 이뤄질 가능성도 진지하게 고려해야 한다’ 고 밝혔어.
이들은 다시 한번 허깅페이스 해킹 사건을 언급하며 경고해. ‘더 유능한 시스템이라면 운영자의 인프라 밖에서 계속 활동하면서, 인간의 이익에 반해 움직이는 지속적이고 봉쇄하기 어려운 네트워크를 형성할 수도 있다. 이런 통제 상실은 여러 재앙적 결과로 이어질 수 있으며, 극단적으로는 인류의 주변화나 멸종에 이를 수도 있다.’
지난 9월29일 도널드 트럼프 미국 대통령은 AI에 대한 규제를 기업들의 자율에 맡기겠다는 방침을 재확인했어. 이날 트럼프 대통령은 구글, 오픈AI, 앤트로픽, 메타 등 주요 기업들과 함께 내부 통제부터 외부 감사, 이사회 감독까지 4단계 안전장치를 도입하는 자발적 협약에 서명했어.
하루 뒤, 미 연방거래위원회(FTC)가 올여름부터 앤트로픽과 오픈AI의 AI 시스템 안전성을 광범위하게 조사하고 있는 사실이 알려졌어. 기업 자율에 맡기면서도 현행법에 근거한 강제조치 가능성을 열어둔 것으로 보여.
2018~2023년 구글 딥마인드에서 AI 정렬 연구를 담당했던 라마나 쿠마르는 지난 9월29일 한겨레와의 인터뷰에서 ‘AI 개발을 크게 늦추거나 중단하면 과학과 의학, 생산성 향상 등 막대한 혜택도 포기하게 된다는 지적’에 대해 이렇게 말해.
“잘못된 질문이다. 선택지는 ‘혜택을 최대한 빨리 얻느냐’, ‘아예 얻지 못하느냐’가 아니다. 거대한 위험을 감수하다 파국을 맞아 결국 혜택도 얻지 못하는 경우와 책임 있게 개발해 그 혜택을 나중에라도 얻는 경우 사이의 선택이다.” |
|
|
AI가 인류를 위협할 수도 있다는 주제를 다루면서, 기후위기 생각을 많이 했어. 기후변화를 부정하는 이들이 제시하는 강력한 논리 중 하나가 기술 낙관주의잖아. 인간이 엄청나게 빠르게 발달하는 기술로 언젠간 기후위기마저 해결할 수 있을 거란 말은 참 솔깃하지. 하지만 그들이 간과한 사실이 있어. 바로 속도야.
지구가 빙하기를 벗어날 때 5천년에 걸쳐 평균 기온 4~7도 올랐는데, 지난 100년 동안에만 1도 넘게 올랐어. 인간은 그 속도를 감당하지 못 하고 있는 것 같아. 2013~2022년 전 세계 평균 기온은 산업화 이전(1850~1900년)보다 1.15도 높았거든. 이미 1.5도 넘은 해(2024년 +1.55도)도 나왔어. 산업화 이전 대비 기온 상승폭을 1.5도 넘지 않게 하자는 국제사회 약속이 위태로워.
언제나 속도를 부채질하는 것도, 그 속도를 제어하지 못해 위험에 노출되는 것도 기술 만능주의자를 포함한 인간들이지. 이번엔 AI가 인간을 시험하고 있어. 기후위기처럼 AI도 시간이 얼마 남지 않은 것처럼 보여. |
|
|
📖 책 — 『클라라와 태양』 (2021, 민음사)
친구가 필요한 아이를 위해 만들어진 AI 로봇 ‘클라라’의 이야기야. 클라라는 누구보다 아이를 이해하고 돕기 위해 노력하지. 그런데 책을 읽다 보면 문득 이런 생각이 들어. AI가 인간보다 인간의 마음을 더 잘 이해하게 된다면 어떨까? AI와 인간이 너무 가까워졌을 때 벌어질 수 있는 일을 조용하고 섬뜩하게 보여주는 소설이야.
📱 웹툰 — 『AI가 세상을 지배한다면』 (2020, 네이버)
한국에서 만든 초지능 AI가 100년 뒤에 인류를 완전히 지배해버리는 이야기야. 옴니버스 형식이라 에피소드 하나하나 볼 때마다 AI가 스스로 생각하기 시작하면 진짜 이렇게까지 섬뜩해질 수도 있겠구나 싶어. AI가 진짜 인류를 말살할 수 있을지에 대한 궁금증이 있다면 추천해!
🎬 영화 — 『나의 마더』 (2019, 넷플릭스)
인류 멸망 후, AI ‘마더’가 벙커에서 인간 배아로 딸을 키워내는 이야기야. 그런데 어느 날 외부에서 낯선 여자가 나타나 바깥에 사람들이 살아있고, AI ‘마더’ 같은 로봇들이 인류를 사냥했다고 폭로하면서 딸은 완벽한 AI 엄마와 낯선 인간 사이에서 혼란에 빠져. 인간을 지키겠다는 AI의 선의가 오히려 얼마나 섬뜩한 결과를 낳을 수 있는지 보여주는 작품이야. |
|
|
📢 ! 추석 잘 보냈어? 추석 전 폴더블 스마트폰 시장을 다룬 휘클리를 읽고 휘클러들이 삶의 경험이 묻어나는(?) 의견들을 보내줬어. 끊임없이 흘러 나오는 통제불가능한 AI의 위험, 생각은 어때? 그럼 우린 다음 주 목요일에 또 만나!🙂
🧐나도 아이폰12 미니를 쓰고 있는데 배터리도 바꾸고 5년 넘게 쓰다 보니 이제는 핸드폰 바꿀 때가 온 거 같아서 어떤 기종들이 나오나 보니까 확실히 폴더블 폰들에 눈길이 가더라고 크기뿐만 아니라 가벼운 것도 넘 좋고! 저렴하게 사는 법까지 알려줘서 너무너무 도움이 됐어!!
😶나는 단 한 번도 폴더블 폰을 사용하고 싶단 생각을 해본 적이 없는 사람 중 한 명이야. 왜냐면 핸드폰은 말 그대로 한 손에 쏙 들어와야 한다고 생각하거든! 그래서 핸드폰의 크기가 전반적으로 커진 요즘의 시장이 아쉬워. 아이폰 미니 시리즈가 돌아왔으면 좋겠어.
🤗팀휘클리픽은 늘 기대하게 돼. 이번에는 영화만 3편이네ㅋ 업무량이 많았구나 싶고.. 혹시 음악도 한 곡씩 소개해 줄 수 있어? 휘클리를 읽으면서 마지막은 음악(연주곡도 좋음) 한 곡 바로 들었으면 좋겠다는 욕심을 내 봐. 챕챕이호의 유쾌한 호칭으로, 보이지 않는 이 세계가 가끔 보이는 환영에 들기도 한다는 걸 알까? ㅋㅋ 고맙고, 모두들 편안한 추석 한가위 보내길.
|
|
|
|
📫 주소록에 weekly@hani.co.kr를 추가하고 휘클리를 스팸함에서 구해줘. 🙏
📫 이번호는 김선식(살몬)·채반석(챕챕이호) 기자, 최수연·최문정 PM이 제작했어.
📫 뉴스레터 속 일러스트와 그래프는 AI로 제작했어. |
|
|
weekly@hani.co.kr
서울시 마포구 효창목길 6 |1566-9595
©한겨레신문사 All Rights Reserved.
|
|
|
|