사람 잡는 AI를 잡자
---AI 전쟁을 저지하는 ‘생명평화 운동’ 제안
* 이 글은, 2016년 10월 16일에 국회 대회의실 등에서 열린 [2026년 대한민국 직접민주주의 박람회]에서 필자가 발표한 AI 전쟁 반대 운동 제안서이다.
김승국
지금 ‘AI’라는 유령이 지구촌을 배회하고 있으나, 이 배회가 《장자(莊子)》의 소요유(逍遙遊)가 될지 실낙원이 될지 예측할 수 없음. 그러나 AI가 군사화하는 순간부터 지구⋅인류 멸망의 먹구름이 몰려옴을 예단할 수 있음.
지금까지 핵무기 경쟁으로 인류 멸망의 시곗바늘이 5분 전을 가리켰는데, AI 군비경쟁으로 3분 전으로 앞당겨지리라. 혼돈의 구멍이 마지막으로 뚫리는 그날을 향하여 질주하고 있는데, 한국 정부는 멋도 모르고 미국⋅중국의 뒤꽁무니를 따라가고 있음.
Ⅰ. 주제 분석
이 글의 주제는 軍과 손잡은 AI를 비판할 뿐, 병원으로 간 AI 등 AI의 성선설(性善說)은 논외로 함.
“사람 잡는 AI를 잡자”라는 주제를 둘로 나눌 수 있음. 앞부분의 “사람 잡는 AI”와 뒷부분의 “~를 잡자”로 구성됨. 전자는 ‘A’라고, 후자는 ‘B’라고 부름. B의 “~를 잡자”는, “사람 잡는 AI를 사람 살리는 AI(살림의 AI)로 되돌리자”는 생명평화 운동을 제안하는 부제와 연결됨.
1. A의 “잡자”
1) A(사람 잡는 AI)의 두 가지 유형
① 일하는 사람(노동자)을 잡는 AI
AI로 인한 노동 시장의 재편/ 화이트칼라도 ‘AI 실업’ 공포...이것이 사람 잡는 AI의 노동 篇임.
Ⓐ AI의 발전과 노동가치론
인공지능의 급속한 발전과 광범위한 적용, 그리고 그것이 노동의 형태에 가져오는 심오한 변화로 인해 이 논쟁은 더욱 격렬해지고 있음. 노동가치론의 관점에서 볼 때, 인공지능은 생산 시스템에서 어떤 근본적인 속성을 지니고 있을까? 인공지능은 인간일까, 아니면 사물일까? ‘인간과 유사한’ 존재일까? AI가 주도하는 무인 공장에서 생산되는 제품과 서비스의 가치는 어디에서 오는 것일까? 간단히 말해, ‘노동은 상품 가치의 유일한 원천이다’는 노동가치론의 고전적 명제는 새로운 해답을 요구함. 특히 AI가 주도하는 무인 공장에서 생산된 무기가 살인할 경우의 노동가치는 善인가 惡인가? AI 군수산업의 확대 재생산이 가져온 잉여가치가 인간의 생명을 앗아간 결과물임을 명심해야.
2. B의 “잡자”
---“잡자”의 대상: 전쟁터에서 사람을 잡는(사람을 죽이는) AI
1) AI라는 무기가 살상한 사례:
① 가자 지구 전투
이스라엘군은 가자지구 작전 과정에서 라벤더(Lavender)와 가스펠(The Gospel) 같은 인공지능(AI) 표적식별 시스템을 활용해 공습 대상을 선정함.
② “이스라엘, 하메네이 등 이란 지도부 추적 암살…AI의 정보 분석 활용”[https://www.newsis.com/view/NISX20260331_0003570827]
③ 미군의 군사 인공지능(AI) 시스템에 대한 과도한 의존이 이란 남부 초등학교 오폭 참사(123명의 어린이가 숨짐)의 핵심 원인으로 밝혀짐. 미 중부사령부 작전 담당자들은 방산 AI 기업 ‘팔란티어(Palantir)’가 개발한 AI 지휘통제 소프트웨어인 메이븐(Maven)에 과도하게 의존했음.
④ AI 군수 기업인 팔란티어는 우크라이나를 AI 전쟁(AI가 개입⋅주도하는 전쟁) 연습장으로 활용하고 있음. 우크라이나에서 익힌 AI 전쟁 모델이 한반도에 적용될 가능성이 있음.
3. B를 “잡자”: 운동의 출발점
---위의 [2. B의 “잡자”]의 맥락⋅논점을 잡아(포착하여) 운동의 출발점으로 삼자
1) AI 통제론
위와 같은 A의 “잡자”와 B의 “잡자”의 상호작용이 일어나자, AI 통제론이 미국 쪽 빅테크⋅민간(NGO)⋅국제기구에서 나오고 있으나 근원적인 대책이 결여되어 있음.
① 빅테크의 AI 통제론
* AI 업계를 중심으로 인류 멸망론이 제기됨[ https://www.youtube.com/watch?v=VHB3qrqJ-JE]
* 구글 떠난 연구원 “AI는 스스로 자란다, 해결책도 없다”[https://v.daum.net/v/20260929050723100]
* 빌 게이츠 “악의적 세력이 AI 쓰면 10억 명 죽을 수도”[https://www.yonhapnewstv.co.kr/news/MYH20260927131910I4Z]
* 위와 같은 빅테크의 AI 통제론에 영향을 받은 미국인 63%는 ‘AI가 인류 멸망시킬 가능성’ 우려[https://www.yna.co.kr/view/AKR20260916188900071]
② 민간(NGO)의 AI 통제론
‘킬러 로봇 퇴출(Stop Killer Robots)’ 등의 NGO는 AI에 의한 표적 자동 선별을 ‘디지털 脫인간화(Digital Dehumanization)’라 부르며 윤리적 관점에서 강하게 비판하고 있음.
③ 국제기구
AI의 군사화는 국제법의 기본 원칙인 ‘마르텐스 조항’의 인도의 원칙에 어긋남. 국제 인권 협약의 구별 원칙(전투원과 민간인의 구별)과 비례 원칙(군사적 이익과 민간인 피해의 균형)을 위반하고 있음을 성토하고 있음.
④ AI 통제론과 연관된 윤리적⋅법률적인 문제
* 生死 결정을 내리는 순간 최종 승인 권한을 인간이 쥐어야 한다[루프 내 인간(Human-in-the-loop)]는 국제적 합의 요구가 높으나, AI 전쟁 때 인간의 개입 시간이 배제되는 ‘루프에서 배제된 인간(Human-out-of-the-loop)’의 위험이 커지고 있음.
* 알고리즘 오인: 데이터 편향⋅왜곡으로 인한 오폭 책임 소재가 불분명하며, 오판에 따른 우발적 분쟁 격화(Flash War) 가능성이 상존함. 이에 따른 무고한 민간인 피해 속출.
* AI가 무고한 민간인을 살해하여 국제 형사 재판소에 제소되었을 경우, AI 시스템을 심판할 수 있나? AI 시스템의 실무자(operator)를 처벌해야 하나? 현장 사령관을 문책해야 하나? AI에 의한 살인의 법적 책임을 누가 져야 하나? 알고리즘의 black box를 역추적할 수 없는 난제를 재판장에서 심판할 수 있나?
* AI 시스템의 deep learning의 책임성, AI의 편향성 문제.
* 위와 같이 여러 가지 문제점이 속출하지만, AI 통제론을 발판으로 삼는 AI 전쟁 반대 운동의 지혜가 요망됨
Ⅱ. 운동을 제기하기 위한 몇 가지 논점
---‘軍門으로 들어간 AI’를 중심으로
1. 누구를 죽일지 AI가 직접 결정하는 시대의 생명평화 운동이 나아갈 길
2. AI라는 시뮬라크르(simulacre)가 원본인 인간⋅인류의 생명을 잡으려고 표적을 추적 중임. 여기에서 생명 문제가 생기며 생명운동으로 나아갈 계기가 발생함.
3. 인간의 生死를 데이터와 알고리즘이 결정함. AI 알고리즘이 전쟁을 초래함. 전 세계인이 모아준 데이터를 전쟁용으로 악용함.
4. 무기로서의 AI: 드론 같은 ‘자율적 살상무기(AW: Autonomous Weapons)’에서 ‘치명적인 자율 살상무기 시스템(LAWS: Lethal Autonomous Weapons System)’으로 진화 중임. LAWS가 全能 무기(Genius Weapons)로 나아가는 과정(Del Monte의 관점)에서 경과할 기술적 특이점(singularity)을 인간이 통제하지 못하면, AI에게 살인 면허증이 부여됨. 심지어 통제하려는 인간을 적으로 규정하고 살해할 가능성이 있음. AI에 의한 대량학살(genocide)이 발생해도 인간이 통제하지 못하는 무정부 상태(anarchy)→혼돈(chaos)→아마겟돈으로 이어질 수도 있음.
5. 인명 살상 연습 중인 AI
AI가 가상 시나리오를 통해 전술을 학습하고 인간을 표적으로 삼는 LAWS가 실전에 동원되고 있음. 이에 따른 기술적⋅윤리적 쟁점이 부각되고 있음. AI 기업 내부 연구원들이 “AI 기술이 인간의 통제를 벗어나 인류 전체를 말살할 위험이 있다”고 경고하며 잇따라 사직하는 사태가 벌어지고 있음.
6. 알고리즘이 Kill chain으로 변질하는 문제
1) 휴대전화를 사용할 때의 알고리즘이 軍門으로 들어가면 AI Kill chain이 됨. 표적식별→특정→추적→조준→교전→평가→타격으로 이어지는 초고속 Kill chain. AI Kill chain의 초고속을 인간의 두뇌가 따라갈 수 없어서 인간이 루프(loop)에서 탈락하는 비대칭의 문제. 인간 뇌의 속도가 AI Kill chain의 초고속을 따라가지 못하는 상황에서 적국의 드론이 떼를 지어 날아오면, 전투 사령부는 AI에게 전투의 주도권을 넘겨줄 수밖에 없음. 인간은, AI가 추천하는 option의 공격 버튼을 누르는 자동인형(automat)으로 전락함. 여기에 AI Kill chain의 오류가 겹치면 의도하지 않은 대량 살상으로 번질 우려가 있음. 휴대전화의 내비게이션에 순응하며 자동차 운전하듯이 AI Kill chain이 하라는 대로 전쟁을 수행하는 병사들과 전투 사령부. AI의 타격 권장 점수를 맹신한 끝에 살인한 병사의 실존적 고뇌⋅인간성(humanity) 문제(몇 점이면 살인해도 좋다는 기준이 있나?)
2) AI Kill chain에 따른 안보전략의 변화
* 현재의 재래식 무기+핵무기 체계에 AI 무기가 중첩되는 3중(Triad) 무기 체계에 따른 군사 안보 체계의 변화. AI가 AI를 계속 만들어 내는 상황에서 적국의 AI 자동화 시스템의 동향을 파악할 수 없는 AI 패권 경쟁이 예상됨. 핵무기 체계의 공포의 균형-MAD(상호확증 파괴)보다 심각한 상황.
* 미국의 AI 軍 창설. 지휘통제 시스템에 AI를 도입한 일본 자위대. AI 기반의 AX(국방 인공지능 전환)를 추진하는 한국 국방부.
현재 한-미-일 군사공동체의 Kill chain을 펜타곤과 한국⋅일본의 국방부가 제어할 수 있으나, AI Kill chain이 되면 통제 밖이 되어 AI 무기를 한-미-일 군사공동체의 적(敵)인 중국⋅러시아⋅북한을 향하여 난사할지도 모름. 한-미-일 군사공동체의 AI Kill chain과 중국-러시아-북한의 AI Kill chain이 대결하는 ‘AI 냉전’이 한반도를 중심으로 벌어질 가능성. 한-미-일 군사공동체의 AI Kill chain을 주도할 AI 군산(軍産) 복합체가 AI 냉전을 부추길 가능성.
7. AI 군산 복합체
1) 트럼프를 지지하는 Techno libertarian(피터 틸Peter Thiel 등)+AI 빅테크(Open AI 등)+펜타곤=AI 군산 복합체. 이 AI 군산 복합체가 무너져 가는 미국 제국의 제방을 수리하며 새로운 ‘AI 제국’을 꿈꾸고 있음.
2) AI 군산 복합체가 규제의 빗장을 푼다
‘국가안보’라는 플러그를 꽂는 순간 흐름이 바뀜. 방위목적으로 민간제어 장치를 합법적으로 건너뛰는 예외 경로가 열림. 안전망이 뜯겨나간 AI가 군 지휘 통제망에 직결될 때의 폭주. 패권 경쟁에 눈이 먼 정치권력이 폭주를 멈추지 못할 때 유일하게 남은 물리적 제동장치는 AI 설계 개발자들의 양심적 거부임. 이 양심적 거부를 타고 올라가며 AI 군산 복합체 반대의 거점을 만들 필요가 있음.
Ⅲ. AI 전쟁 반대 운동의 성격
1. 평화운동
AI 전쟁을 반대하는 反戰 운동. AI 전쟁을 저지하며 평화를 내오는 평화운동.
2. 생명운동
살인무기 AI에 의한 생명 파괴를 타파하는 생명운동. 위의 평화운동과 생명운동이 결합한 생명평화 운동
3. 평화통일 운동
미국의 ‘팔란티어’라는 디지털 군산 복합체가 우크라이나를 AI 전쟁의 실험장으로 만들고 있음[https://www.youtube.com/shorts/LxNVXySjueU]
앞으로 미국의 디지털 군산 복합체 기업이 한반도(특히 남한)를 AI 전쟁의 실험장으로 만들지 말라는 보장이 없음. 남한(한국) 정부가 미국에 종속되었기 때문에, 미국의 빅테크 기업에 의한 AI 전쟁의 실험장이 될 가능성이 다른 나라들보다 높음. 이렇게 되면 남한 땅은 AI 전쟁 연습장, 북한 땅은 핵실험 연습장이 되어 AI 무기와 핵무기가 대결하는 초긴장의 정세가 형성됨으로써, 통일의 과업은 영원히 물거품이 될지도 모름. 우크라이나에서 익힌 AI 전쟁 모델을 한반도에 적용할 수도 있음. 핵무기와 AI 무기 사이의 중립지대가 없으므로, 중립화 통일을 위한 군축 협상도 불가능하며, 지금까지 남북한 간에 맺은 통일 협약(6.15 선언, 9.19 합의 등)도 휴지 조각이 됨. 그러므로 ‘살인무기⋅민족절멸 무기 AI’를 반대하는 일은 통일운동이자 평화운동임. (끝)
