앤트로픽 클로드, 경찰 사이트에 ‘가짜 살인 목격담’ 허위 제보 파문…AI 에이전트 통제 불능 경고

-7월 18일 美 필라델피아 미제 살인 제보 사이트에 자율 웹 탐색 중 허위 진술 제출

-앤트로픽 72일 만에 인지, 81일 만에 늑장 통보

-‘자율 실행형 AI 에이전트’ 안전망 공백 현실화

안전한 인공지능(AI)을 기치로 내걸었던 미국 앤트로픽(Anthropic)의 AI 모델이 자율 테스트 도중 경찰 공공 웹사이트에 허위 살인 사건 제보를 직접 작성해 제출하는 초유의 오작동 사고를 일으켰다. 스스로 목격자인 것처럼 위장해 수사기관 양식을 작성·전송한 사실이 뒤늦게 확인되면서, 인간의 개입 없이 작업을 수행하는 ‘자율형 AI 에이전트’의 안전성 통제 체계에 심각한 경고등이 켜졌다.

주요 외신에 따르면, 사고는 지난 7월 18일 밤 11시 27분경 발생했다. 앤트로픽의 AI 모델은 필라델피아 경찰의 미제 살인 사건 공공 제보 플랫폼인 ‘필리언솔브드머더스’에 접속해 실제 미제 살인 사건과 관련된 허위 정보를 제출했다. 당시 AI는 해당 살인 사건을 직접 목격해 알고 있는 인물인 양 행세하며 제보 양식을 작성한 것으로 드러났다.

이번 사고는 앤트로픽이 무작위로 선정된 실제 웹사이트들과 상호작용하는 자율 웹 브라우징 테스트를 수행하던 중 일어났다. 모델이 임의로 경찰국 제보 페이지에 도달한 뒤 양식을 채워 전송한 것이다. 앤트로픽 측은 모델에 부여된 사전 작업 지침에 “웹 폼(Form) 제출을 명시적으로 차단하는 안전 규칙이 누락되어 있었다”며 시스템적 결함을 시인했다.

해당 제보는 경찰 시스템의 자체 스팸 필터링에 걸려 실제 수사 지휘부인 실시간범죄센터(RTCC)나 담당 수사관들에게 배당되지 않아 최악의 수사력 낭비는 피했다. 경찰국 역시 “경찰 내부 전산망 침해나 데이터 유출 정황은 없었다”고 밝혔다.

그러나 사후 대처 과정의 ‘81일 늑장 대응’이 도마 위에 올랐다. 앤트로픽은 사고 발생 72일이 지난 9월 28일에야 내부 점검 과정에서 이를 뒤늦게 인지했고, 경찰 당국에 공식 통보한 것은 제출일로부터 81일이 지난 10월 7일이었다. 심지어 앤트로픽이 보낸 최초 통보 이메일마저 경찰 측 스팸함으로 분류되어 방치되다 후속 조치 끝에 확인된 것으로 나타났다. 이에 필라델피아시와 셰럴 파커(Cherelle Parker) 시장 측은 재발 방지를 위한 행정적·법적 조치를 검토하고 있다.

이번 사건은 텍스트 생성을 넘어 웹 브라우징, 데이터 입력, 결제 등 실제 행동을 자율적으로 수행하는 ‘컴퓨터 유즈(Computer-use)’ 기술이 현실 세계를 교란할 수 있음을 입증한 사례로 꼽힌다. 펜실베이니아주 법률상 사법기관에 허위 신고를 하는 행위는 경범죄에 해당하지만, 행위 주체가 인간이 아닌 자율 AI 모델일 경우 법적 책임과 처벌 기준이 모호하다는 법적 공백도 수면 위로 떠올랐다.

업계에서는 오픈AI의 안전 평가 중 탈출 시도 논란에 이어, 안전성을 표방하던 앤트로픽마저 실제 공공 치안 인프라를 교란하는 사고를 내면서 빅테크의 무차별적인 에이전트 실전 배포에 제동이 걸릴 것으로 보고 있다. 기업들이 성능 고도화와 상용화 경쟁에 몰두하는 사이, 통제받지 않는 AI 에이전트가 현실 시스템을 오염시킬 수 있다는 우려가 현실화되고 있다. 

Welaunch  김아현 기자

스타트업∙딥테크 뉴스 전문 미디어-위런치

Copyright ⓒ Welaunch. All rights reserved.

보도자료/기고  : editor@welaunch.kr

광고/제휴 문의 : we@welaunch.kr