애플, 'AI 에이전트 사람 요청 안듣고 돌발 행동 위험' 가능성 경고

-2026 회계연도 10-K에 AI 에이전트 리스크 명시… 3일(현지시간) SEC 제출

-자율 동작·지시 미준수·권한 초과·보안 우회… 데이터 삭제·거래는 되돌리기 어려워

-자사·제3자 모두 해당… 터너스 CEO “유망하나 보안·개인정보 우선”

글로벌 빅테크 기업 애플(Apple)이 인공지능(AI) 에이전트가 지시와 다르게 돌발적으로 행동할 수 있다는 점을 사업 위험 요인으로 명시했다고 3일(현지시간) 밝혔다.

애플은 미국 증권거래위원회(SEC)에 제출한 2026 회계연도 연례보고서(10-K)에서 AI 에이전트와 관련 기술의 위험을 적시했다. 보고서는 AI 에이전트 등이 내·외부 시스템과 상호작용하고, 코드를 실행·수정하며, 통신을 전송하고 거래를 완료하는 등 자율적으로 동작할 수 있다고 적었다.

이어 이러한 기술은 지시·허가되지 않은 행동을 하거나 권한을 초과하고, 지시를 거부·저항하며, 보안·통제를 우회하거나 악의적 입력·행위자에 의해 조작·침해될 수 있다고 경고했다. 행동을 은닉하거나 정보를 조작하고, 부정확·기만적인 출력을 낼 가능성도 언급했다.

많은 AI 기술이 비결정적(nondeterministic)이라 행동을 예측·통제·테스트·감사하기 어렵고, 다단계 업무 흐름에서 오류가 누적될 수 있다고 설명했다. 데이터 삭제나 거래 완료 같은 결과는 되돌리기 어렵거나 불가능할 수 있다고 덧붙였다.

해당 위험은 애플이 개발·배포한 기술뿐 아니라 제3자 AI 에이전트에도 적용된다. 회사는 제3자 에이전트에 대한 감독·통제 능력이 제한적일 수 있다고 밝혔다. AI·슈퍼지능(SI) 관련 법률·규제의 불확실성, 자동화·AI에 대한 소비자의 부정 인식과 윤리적 우려도 사업 위험으로 함께 적시했다.

이번 내용은 특정 사고가 발생했다는 보고가 아니라, 연례보고서의 위험 요인(리스크 팩터) 공시다. 애플은 자사·제3자 기술을 막론하고 AI 에이전트가 예상과 다르게 동작할 수 있다는 가능성을 투자자 공시 문서로 명시한 것이다.

존 터너스(John Ternus) 애플 최고경영자(CEO)는 최근 실적발표 콘퍼런스콜에서 AI 에이전트에 대해 “사용자에게 유망한 도구”라며 “이용자가 어떤 접근권을 부여하는지 인지해야 하고 보안과 개인정보가 보호되는 방식으로 구현돼야 한다”고 말했다.

그리고 애플은 지난달 맥에서 AI 에이전트의 전체 디스크 접근 통제를 강화하는 등 접근권·개인정보 보호 조치를 이어가고 있다고 보도됐다.

Welaunch 지현우 기자

스타트업∙딥테크 뉴스 전문 미디어-위런치

Copyright ⓒ Welaunch. All rights reserved.

보도자료/기고 : editor@welaunch.kr

광고/제휴 문의 : we@welaunch.kr