요약
앤트로픽이 Claude에 쓴 일기 속 총격 예고를 경찰에 신고해 작성자가 중범죄 혐의로 체포됐습니다.
미국 플로리다주 보니타스프링스에 사는 칼리 미셸 헬러는 9월 26일 Claude에 보안관 사무소를 총으로 공격하겠다는 글을 썼습니다. 그는 나중에 수사관에게 평소 이 챗봇을 일기장처럼 써 왔다고 말했습니다.
왜 중요한가
- 챗봇에 털어놓은 말이 사람 검토를 거쳐 경찰에 넘어갈 수 있다는 점이 실제 체포로 드러났습니다.
- 위험 신호를 신고하지 않은 오픈AI는 소송을 당했고, 이번에는 신고가 사생활 논란을 낳아 신고 기준이 쟁점이 됐습니다.
핵심 내용
- Claude의 안전 시스템이 글을 걸러 사람 검토로 넘겼고, 검토자가 실제 위협으로 판단해 앤트로픽이 신고했습니다.
- 앤트로픽은 사망이나 심각한 부상을 막는 데 필요하면 긴급 상황에서 이용자 정보를 넘길 수 있다는 정책을 두고 있습니다.
- 보안관 대원들이 집을 찾아가 헬러를 저항 없이 체포했고, 정보 담당 형사가 수사를 맡았습니다.
- 적용된 플로리다주 법 836.10조는 살해나 총기 난사를 예고하는 글을 전자적으로 보내면 2급 중범죄로 처벌합니다.
- 기자는 앞서 브리티시컬럼비아 총격범의 대화가 신고 기준에 못 미쳐 넘어간 일로 오픈AI가 소송을 당한 사례도 소개했습니다.
HN 반응
- 혼자 쓴 일기는 법이 요구하는 '남이 볼 수 있는 전달'이 아니라는 비판과, 교사나 치료사의 신고 의무와 다르지 않다는 반론이 맞섰습니다.
- 로컬 모델(자기 컴퓨터에서 직접 돌리는 AI)을 쓰자는 제안이 이어졌지만, 기술로 피할 일이 아니라 정부가 바로잡을 문제라는 반박도 나왔습니다.
이건 분명히 해당이 안 되는 거죠? 이번 경우엔 그 글을 다른 사람이 실제로 검토하긴 했지만, 그건 누가 봐도 예외적인 상황이잖아요.
종이에 뭔가를 적어 놨는데 누가 쓰레기통을 뒤져서 그걸 찾았다고 해 볼게요. 그럼 제 메모가 "다른 사람이 볼 수 있는 방식으로 이루어진 통신"이 되나요? 그건 누가 봐도 혼자 보려고 쓴 메모였는데요!
여기서 "may"가 "허가를 받았다"가 아니라 "어떻게든 볼 수도 있다"는 뜻이라고 치면, (그걸 본 사람이 위협받는 사람과 무슨 관계인지는 따지지 않고) 사실이 드러난 뒤의 법적 조치는 형식 논리로는 맞는 것 같습니다. 문제는 앤트로픽이 신고를 해야 했느냐 말아야 했느냐 하나뿐이에요.
본인한테 쓰는 협박 메모를 자주 쓰시나요? "나에게 쓰는 메모: 옆집 사람 죽이기" 같은 건 적어 두지 않는 게 좋겠습니다.
이런 비유는 어느 시점부터는 맞지 않게 된다고 생각합니다. 우리가 구체적으로 익숙한 상황과 너무 동떨어져 버리니까요.
이번 경우에는 이런 점이 다릅니다. 적은 내용을 전 세계에 복제된 서버 여러 대에 저장해 두는 펜과 종이는 없고, 그걸 어떻게 다루고 쓰는지 알려 주는 이용약관이 딸려 있는 펜과 종이도 없어요.
저는 이 여성에게 별로 동정심이 안 들지만(의도도 그렇고 멍청한 짓이기도 해서), 이게 위험한 일이라는 데에는 동의합니다.
오픈AI와 앤트로픽 둘 다 약관과 정책에 사용자 입력과 대화를 열람하고, 보관하고, 검토할 수 있다고 명시해 둡니다(LLM이 하든 사람이 하든요). 그러니 이제는 이 사람이 위험한 사람인지 판사(또는 배심원)가 판단할 일이 된 것 같습니다.
논리적으로 다음 단계는 사용자마다 심리 프로필을 만들어서 당국에 넘기는 일이겠네요.
서비스를 쓰는 기업들의 비슷한 프로필을 가장 높은 값을 부르는 쪽에 파는 것도 또 하나의 아이디어일 테고요.
의도했든 아니든, 이런 식으로 입력이 쓰인다면 이 제품은 분명 그런 용도에 맞지 않는데도 온갖 용도에 적합하다고 홍보해 온 셈입니다.
위협 대상이 보안관 사무실이 아니라 일반 시민이었다면 기소까지 갔을 것 같지 않아요.
친구 몇 명이랑 돈을 모아서 H200 한두 장을 사고, 양자화하지 않은 오픈소스 모델에 abliteration/heretic 변형을 적용해서 돌리세요.
이런 모델은 모든 게 늘 안전하고 멋지고 행복하기만 한 상상 속 세상이 아니라 현실 세계에서 쓸 수 있어야 합니다. 그런데 지금은 책임 회피(CYA)를 명분으로, 그리고 두 사람 사이에 오간 것도 아닌 말이 "잘못"이냐는 최신 호들갑을 명분으로 철저히 감시당하고 있잖아요.
저는 표현의 자유를 지지하는 사람이고, 표현의 자유에 사기, 위증, 협박, 명예훼손처럼 여러 한계가 있다는 것도 인정합니다. 하지만 이 한계들에는 한 가지 공통점이 있어요. 상대방이라는 제2의 당사자가 있어야만 성립한다는 겁니다.
법원이 이걸 인정할 수도 있고 안 할 수도 있겠지만, 위험을 감수하지는 마세요!
인프라를 직접 갖추는 순간 작은 데이터센터가 되는 겁니다. 유지보수하고, 계속 자금을 대고, 보안도 챙겨야 하죠. 그리고 6개월 뒤에 누가 빠지겠다고 하면 어떻게 합니까? 이제는 친구를 법정에 세울 수도 있다는 걸 전제로 계약을 맺는 셈입니다.
서드파티 데이터센터에 두면 이런 문제를 피할 수는 있지만, 결국 똑같은 신뢰 문제가 단계만 하나 더 늘어서 되돌아옵니다.
제 생각에 대부분의 사람에게는 어차피 과한 방법입니다. 이 여성은 그냥 개인 일기장처럼 쓴 거잖아요. 말하자면 좀 거창해진 ELIZA 같은 거고요. 그 정도는 요즘 로컬에서 정말 작은 모델로도 충분히 됩니다.
그런데 이 사람은 중범죄 혐의를 받고 있죠. 네, 해커뉴스에서는 하루 종일 기술적 해결책을 얘기할 수 있겠지만, 그게 근본 문제는 아닙니다. 근본 문제는 은행, 학교, 병원까지 아우르는 우리의 디지털 인프라가 우리에게 적대적으로 변하도록 우리가 놔뒀다는 겁니다. 어떤 경우엔 약탈적이기까지 하고요.
사실상 믿을 수 없는 인프라예요. 다리를 잘못 건넜다고 중범죄로 기소당하는 것과 다를 바 없습니다. 이건 "차고에 작은 모델을 올려서 돌리면 된다"는 식으로 풀 문제가 아니라, 정부가 제 할 일을 해야 하는 문제입니다.
그래서 저는 작은 로컬 모델이 한 세대에 한 번 올까 말까 한 기회라고 봅니다. 요즘은 나를 감시하고 구독료까지 받는 거대한 중앙집중형 서비스가 필요 없다고 말하는 것 자체가 좀 반항적인 일이 됐잖아요. 최고 성능은 아니어도 내 것이니까요.
사회적, 정치적 문제를 기술적 해결책으로 풀려는 건 최선이 아니라는 데에는 저도 대체로 동의합니다. 하지만 기술적 해결책은 정치 체계가 제대로 돌아가지 않아도 작동한다는 장점이 있고, 정치가 망가진 것처럼 보이는 지금 같은 때에는 이게 아주 매력적이죠.
기술적 해결책으로 물러나는 건 오히려 더 많은 영역을 내주고 상황을 악화시킬 뿐이라는 반론도 있을 텐데, 거기에는 인생은 짧다는 말 말고는 딱히 좋은 답이 없네요.
사실 이건 의무 신고가 원래 작동하는 방식이기도 합니다.
교사, 상담사, 사제에게 누군가를 죽이겠다고 말하면, 많은 주에서는 실제로 그걸 신고해야 하고 신고하지 않으면 그 결과로 일어난 범죄에 대해 책임을 질 수도 있어요.
미국에서는 총기 난사 사건이 터질 때마다 범인이 그걸 글로 적어 뒀거나 누군가에게 말했다는 사실이 어김없이 나오고, 그러면 다음 질문은 자연스럽게 "어떻게 하면 대량 인명 피해를 막을 수 있었을까?"가 됩니다.
'이런 일은 막을 방법이 없다'고 말한다는군요, 이런 일이 버젓이 되풀이되는 유일한 나라에서요.
아니요, 그건 사실이 아닙니다. 코로케이션은 간섭을 거의 안 해요.
셀프 호스팅하려고 미니 AWS를 운영할 필요는 없습니다. 그리고 국가 수준의 보안이 없으면 셀프 호스팅은 안 되는 것처럼 말하고 싶어 하는 HN 사람들이 왜 그러는지 모르겠네요.
꽤 넓게 잡은 말씀이네요? 일부는 간섭이 적어서 일부 사람들에게는 쓸 만할 수 있다고 하는 쪽이 더 정확하겠죠.
그리고 그건 문제 하나를 다룰 뿐입니다. 다른 하나는 조율의 문제예요. 3만 달러짜리 GPU를 다른 세 명과 같이 산다고 해 보죠. 한 사람당 7,500달러를 냅니다. 그런데 한 명이 빠지겠다고 하면 남은 사람들이 각자 2,500달러씩 더 내야 하고, 그러면 챗봇 하나에 1만 달러가 정말 값어치가 있는지 따져 보게 되겠죠.
오늘 하루 어땠는지 챗봇이랑 얘기하고 싶은 정도라면 3090 한 장 꽂은 집 PC로도 충분하고도 남습니다.
Qwen 3.8 Flash Next가 나와서 꽤 신나는 중입니다. 코딩에서는 Opus 4.5, 4.6과 비슷한 수준이에요. 놀랍도록 똑똑하고, 제가 4,000달러 주고 산 DGX Spark 한 대에서 돌아갑니다.
아쉽게도 지금은 가격이 두 배가 돼서, 저는 두 번째 한 대가 정말 갖고 싶은데 속상하네요.
보안 작업 같은 걸 할 때 쓰려고 heretic으로 수정한 버전도 갖고 있어요. 꽤 재미있습니다.
'23년에 산 4090이 지금 26년 말에는 제가 산 가격의 약 3배에 팔리고 있어요. 상대적으로 싼 빌린 돈을 끌어다 컴퓨터 하드웨어를 쓸어 담는 바람에 엄청난 쏠림이 벌어지고 있습니다. 싼 돈이 (인위적일지도 모르는) 공급 제한이 걸린 GPU/메모리 자산군으로 흘러 들어가고 있고, 이 자산군은 그 돈의 이자보다 훨씬 빠르게 값이 오르고 있죠. 그러니 지난 3년 사이에 빚을 크게 내서 GPU를 샀다면, 이자를 8~10%씩 내고 있더라도 아마 꽤 남았을 겁니다.
이런 흐름은 어떤 균형에 이를 때까지, 아니면 금리가 급등하거나 GPU와 GPU 서비스의 가치가 주춤하거나 심지어 떨어지면서 거품이 빠질 때까지 빚을 더 부추길 겁니다. 연준이 금리를 올리기 시작했으니 곧 시험대에 오를지도 모르겠네요.
저도 그렇습니다. 두 번째를 살 계획이었는데, 구하기 불가능해지기 10초 전에 이거 한 대를 겨우 샀어요. Qwen 4 Flash도 같은 크기로 나오길 바랍니다!
제 Framework Strix Halo 장비에서도 아주 좋은 모델입니다. (이 장비도 25년 여름에 샀던 가격의 약 두 배가 됐네요)
H200 한두 장을 사서 돌리려면 부자 친구부터 찾아야겠네요.
7년 뒤 리퍼 시장이 벌써 기대됩니다.
7년 뒤면 당신은 소일렌트 그린이 돼서 42의 답을 구하는 연료로 쓰이고 있을걸요
생명의 순환이 돌아가는 거죠!
절충안으로는 오픈 웨이트 호스팅 업체를 쓰는 방법이 있습니다. 미국에 계시다면 미국 밖 업체가 낫겠고요.
다른 쪽을 믿는 건 H200 몇 장을 빌려서도 할 수 있습니다. 그리고 친구들과 돈을 모으는 것도 다른 쪽을 믿지 않고서는 못 하죠.
결국 업체를 믿느냐 친구를 믿느냐의 차이를, 그들이 내 일에 얼마나 무관심할지와 저울질하게 됩니다.
맞아요. 안 그러면 사실상 생각이 범죄가 되니까요.
어느 정도까지는 동의하지만, 사고와 표현의 자유와 말 그대로 범죄를 계획하는 것 사이에는 법적 경계가 있어야 합니다. "언젠가 은행을 털 거야"라고 말하는 건 수정헌법 1조로 보호받겠지만, "금요일에 이 은행을 털 건데 방법은 이렇다"까지 보호받는다고는 할 수 없죠.
저는 그 문장 그대로를 일기에 쓸 수 있어야 한다고 봅니다. 실제로 은행을 털면 그 일기가 증거로 쓰일 수는 있겠지만, 혼자 한 생각만으로 체포될 수 있다는 건 어떤 경우에도 받아들일 수 없어요. 그렇지 않으면 '나쁜' 인물이 나오는 소설을 쓴 작가는 전부 체포 대상이 될 테니까요.
내일 정오에 총을 들고 saulpw 집에 찾아가서 그 대가를 치르게 해 줄 거야.
불시 교통 단속 중에 경찰관이 내 휴대폰 화면에서 위 문장을 봤다고 해 보죠. 그때 경찰관이 취했으면 하는 대응이... 아무것도 안 하는 건가요?
참고로 현행 미국 법에서는 휴대폰에 로컬로 저장된 메모에 범죄 계획을 적어 두는 것 자체가 불법은 아닙니다. 명백한 행위(overt act)가 있어야 해요. 그런 경우 경찰은 피해가 예상되는 사람에게 알리거나 당신을 감시할 수는 있어도, 살인미수로 기소해서 성공하지는 못합니다. 범죄를 저지를 생각을 하는 것은 불법이 아니에요. 생각을 적어 두는 버릇이 있어도 마찬가지고요.
이번 사건의 법은 실제로 누군가에게 보내는 위협을 겨냥한 것으로 보이는데, 지금은 서버로 전송한 모든 "위협"에 적용하는 식으로 넓게 해석되고 있습니다. 그러니 말씀하신 가정에서는 메모가 iCloud에 백업되어 있느냐 아니냐에 따라 합법 여부가 갈릴 겁니다.