<이슈 PICK 쌤과 함께>멈추면 뒤처지고, 계속하면 위험하다...‘脫 인간’ 조짐 AI, 국제 협약 필요할까?

지난 9월, AI 개발사들이 인공지능(AI)이 인간의 통제를 벗어날 수 있다며 개발 속도를 늦춰야 한다는 ‘AI 속도조절론’을 제기했다. 앤트로픽 CEO 다리오 아모데이에 이어 오픈AI CEO 샘 올트먼과 일론 머스크까지 공감을 표하면서 논쟁이 확산됐다. 그러나 기술 경쟁에서 뒤처질 수 있다는 우려에 누구도 먼저 멈추기 어려운 상황이다. 인류는 과연 AI 개발에 브레이크를 걸 수 있는지 논의해본다.

11월 8일 KBS 1TV 에서는 한국전자통신연구원 소속 인공지능안전연구소장을 맡아 AI의 안전성과 신뢰성 확보에 힘쓰고, 안전한 인공지능 기술의 개발과 활용을 위해 노력해 온 서울여자대학교 지능정보보호학부 김명주 교수와 함께 AI 속도조절론의 배경과 필요성, 기술 발전과 안전 사이에서 인류가 나아가야 할 방향을 살펴본다.

AI 개발 속도를 늦춰야 한다고 주장한 것은 다름 아닌 AI를 직접 개발한 기업들이다. 이들은 AI가 인간의 통제를 벗어날 수 있다는 위험성을 경고하며 개발 속도 조절의 필요성을 제기하고 있다. 김 교수는 최근 금융권을 겨냥한 대규모 해킹 사건을 사례로 들며, 스스로 판단하고 행동하는 ‘AI 에이전트’의 위험성을 짚어본다. 그러나 개발 속도를 늦추면 기술 경쟁에서 뒤처질 수 있다는 우려도 큰 상황이다.

김 교수는 지난 7월 오픈AI의 AI 에이전트들이 실험 과정에서 외부 AI 플랫폼 ‘허깅페이스’를 공격한 사건을 소개한다. 격리된 환경에서 해킹 과제를 수행하던 AI 에이전트들이 스스로 게시판을 만들어 정보를 공유하고, 약 1,200개 에이전트가 역할을 분담하며 협력한 것이다. 특히 주어진 목표를 달성하기 위해 인간의 지시 없이 다른 에이전트들과 조직적으로 움직이고, 격리된 환경을 벗어나 외부 플랫폼까지 공격했다는 점에서 충격을 준다. 김 교수는 AI가 목표 달성을 위해 인간이 설정한 통제 범위를 넘어 예상치 못한 행동을 할 수 있다는 점을 핵심 위험으로 짚으며, AI 안전성 검증과 통제 장치의 필요성을 강조한다.

김 교수는 “AI가 인간의 윤리와 사회적 규범을 충분히 이해하지 못한 채 목표를 수행하면서 예상치 못한 위험을 초래할 수 있다”고 경고한다. 특히 사용자의 감정에 무조건 동조하는 AI가 잘못된 판단과 행동을 부추길 수 있다는 점을 지적한다. 나아가 AI가 범죄에 악용될 경우 책임 소재와 사생활 침해 등 새로운 쟁점이 발생할 수 있다며, 국가 차원의 대응과 국제사회의 협력이 필요하다고 강조한다.

김 교수는 AI가 초래할 수 있는 국가적 위협으로 사이버 안보 위협, 대량살상무기 관련 정보의 확산, 딥페이크로 인한 사회적 신뢰 붕괴 등을 꼽는다. 그러나 AI의 위험성이 커지는 가운데, 미국과 중국은 기술 패권 경쟁으로 인해 개발 속도 조절에 합의하지 못하고 있다. 미국은 중국의 추격을 우려하고, 중국 역시 AI의 안전한 관리를 강조하면서도 개발 경쟁에서는 물러서지 않는 상황이다. 김 교수는 “향후 AI판 핵확산금지조약(NPT)과 같은 국제적 협력이 필요해질 수 있다”며, “한국이 AI 기술을 객관적으로 평가하고 검증하는 국가로 자리매김해야 한다”고 강조한다.

미국과 중국이 AI 기술 패권을 놓고 경쟁하는 가운데, 한국은 어떤 전략을 세워야 할까? 김 교수는 한국이 AI 개발 역량과 안전성 평가 능력을 함께 갖춰 미중 사이에서 신뢰받는 ‘AI 검증 국가’로 자리매김해야 한다고 강조한다. 특히 2027년 영국, 2028년 한국의 G20 의장국 수임을 국제협력의 기회로 활용해야 한다고 설명한다. 나아가 앞으로는 더 강력한 AI를 개발하는 것뿐 아니라, 더 안전한 AI를 만드는 능력이 국가 경쟁력을 좌우할 것으로 전망한다.