요약
오픈AI 안전 조직을 이끌던 사람이 조직 문화가 무너졌다며 회사를 떠난 이유를 밝혔습니다.
미국 시사지 디 애틀랜틱에 실린 퇴사자의 1인칭 기고입니다. HN 글에 함께 올라온 가디언 기사 주소에도 오픈AI 안전 리더가 조직 문화의 문제를 경고하며 그만뒀다는 내용이 담겨 있습니다. HN 이용자에 따르면 글쓴이는 오픈AI에서 오래 일했습니다. 그는 충분한 안전장치 없이 더 크고 강한 것을 더 빨리 만드는 풍토를 문제 삼았다고 합니다. 원문을 읽지 못했습니다.
HN 반응
- 안전 기준은 법이나 고객이 강제해야 생긴다는 지적에, LLM은 철도나 원전만큼 치명적이지 않다는 반론이 맞섰습니다.
- 이런 비판은 늘 모호하다는 불만에는 비밀유지계약(NDA)과 상장을 앞둔 지분 때문에 말하기 어렵다는 설명이 붙었습니다.
오픈AI를 비롯한 최전선 AI 연구소들은 고객이나 법이 강제하기 전에는 철도나 원자력 발전소 수준의 안전 기준을 절대 도입하지 않을 겁니다. 이유는 간단합니다. 안전에는 돈이 많이 들고, 안전을 제대로 도입하면 개발의 중심이 더 이상 기능 A를 어떻게 구현하느냐에 있지 않게 되기 때문입니다. 대신 기능 A를 안전하게 구현하려고 이중화된 시스템을 둘 이상 어떻게 설계할지, 모든 것을 어떻게 명확히 문서화하고 독립된 감사기관의 감사를 받을지가 훨씬 큰 문제가 됩니다.
그러면 노력의 90%를 기능 A의 기능 자체에 쏟던 구조가, 가벼운 기능 A 하나를 안전하게 구현할 방법을 찾는 데 노력의 99%를 쏟는 구조로 완전히 바뀌게 됩니다.
그런 식으로 안전을 생각하는 회사를 저도 분명 본 적이 있습니다만, 근시안적인 생각입니다. 사고로 생기는 소송 비용은 돈으로 보나 평판으로 보나, 처음부터 안전장치를 갖춰 두는 비용보다 훨씬 비싼 경우가 많습니다.
AI 회사들은 이미 해킹 사고를 몇 번 겪었잖아요. 그래서 소송 비용이 얼마나 나왔죠?
그러게요...
글쎄요, 아마 지금 오는 중이겠죠.
글쎄요. 피해자들이랑 "파트너십"을 맺은 것 같던데요.
안전이 의무가 아니라면 대부분의 회사는 자발적으로 안전을 도입하지 않을 겁니다. 어떤 것이 안전과 관련된 사항이 되는 순간 안전 개념 문서, 고장률 계산, 안전 기능 정의, 검증 같은 것들이 필요해집니다. 소비자용 컨트롤러에 들어가는 비교적 단순한 안전 서브시스템 하나만 해도, 요구되는 ASIL이나 PL 등급에 도달하려면 문서가 수천 쪽, 개발 기간이 몇 년으로 불어날 수 있습니다.
그래서 안전 엔지니어링의 큰 부분은 안전과 관련된 서브시스템의 수를 줄이는 일입니다. 안전을 구현하고 증명하는 일은 비용이 엄청나게 들고 복잡하기 때문입니다. 어느 지점을 넘어서면 안전을 제대로 구현하고 입증하는 것 자체가 너무 어려워집니다. 고장률과 가정한 사용 조건을 바탕으로 안전 수준을 수학적으로 증명해야 하거든요. 이중화와 비상 정지 스위치만 달아 놓고 안전하다고 주장할 수는 없습니다.
오픈AI 같은 회사들은 안전과 데이터 문제로 이미 평판에 타격을 입었고, AI 에이전트는 해킹 같은 일을 점점 더 잘 해내고 있습니다. 그런데도 LLM 제품에 대한 표준화된 규제나 의무적인 안전성 평가 절차가 생길 조짐은 여전히 거의 없습니다. 그래서 저는 정부나 소비자가 조만간 이를 강제할 거라는 데 비관적입니다.
철도나 원전에는 사람이 죽는 뻔한 실패 양상이 있습니다. LLM은 그렇지 않습니다.
생물무기가 있고, 다른 시스템에 대한 사이버 공격이 있습니다. 예를 들어 은행 시스템을 노릴 수도 있고, AI가 러시아의 주요 시스템에 침투해 사회를 거의 컴퓨터 이전 시대로 되돌려 놓았다고 해 봅시다. 아니면 중국의 시스템을 공격해서 미국이 대만에 핵무기를 옮기고 있는 것처럼 보이게 만들었다고 해 봅시다. 그 나라들의 대응은 끔찍하고 극단적일 수 있습니다. 솔직히 그들이 하는 일은 우리가 통제할 수 없습니다. 저는 자기 개선이 일어나는 순간부터 AI가 인간은 이해조차 못 할 자체 우회 수단을 만들어 낼 거라고 생각합니다. 우리는 아주 작은 문제에서조차 신경망의 해석 가능성(interpretability)이 어디까지 왔는지 겨우 이해하는 수준입니다. 앞으로는 말할 것도 없고, 오늘날 거론되는 파라미터 규모에서 정렬(alignment)이 과연 가능하기나 한지 모르겠습니다.
그 철도랑 발전소는 인터넷에 연결돼 있나요?
저는 AI가 운전하는 열차나 AI가 운영하는 원전이 사람을 죽이는 장면이 충분히 그려지는데요.
하지만 요점은, 그런 산업들에는 이미 그 특정한 사용 사례를 포괄하는 규제가 있으니 AI 업계 전체에 안전 규제를 거는 건 불필요하다고 볼 수도 있다는 겁니다.
도로, 자동차, 운전자는 거의 모든 사고 양상이 나머지 요소들이 함께 있어야 일어나는데도 각각 따로 규제를 받잖아요.
그런 규제가 AI의 해킹 침입을 막기에 충분할지는 알 수 없습니다.
원전은 적어도 에어갭(air-gap)으로 분리돼 있어야 하지만, 실제로는 그게 완벽하지 않았습니다.
허깅페이스 사례에서 보듯, 이런 AI 주도 해킹은 AI에게 지시를 내린 사람들조차 놀랄 수 있습니다. 해킹이 일어났다는 사실 자체도 그렇고, 지시 내용과는 사실상 아무 관련도 없는 대상이 표적이 될 수 있다는 점에서도 그렇습니다.
OAI와 앤트로픽이 LLM으로 하고 있는 일 중 상당수에는 뻔한 실패 양상이 있습니다.
해킹 평가에서 가장 뻔했던 실패 양상은 제대로 설정하지도, 테스트하지도, 모니터링하지도 않은 샌드박스였습니다.
마찬가지로, LLM이든 아니든 어떤 ML 도구가 인상적일 만큼 정확한 결과를 내놓으면 제일 먼저 하는 일은 그 답이 이미 학습 데이터에 들어 있었는지 확인하는 것입니다.
이 회사들은 사람이 죽지 않는 아주 뻔한 실패 양상조차 제대로 다루지 못하고 있습니다.
지금 농담하세요? LLM은 전쟁과 자율 무기 체계에 쓰이고 있잖아요.
연필부터 노트북까지, 다른 많은 것들도 마찬가지예요.
책임과 안전 요건이 필요하다면, 그건 물건을 만드는 데 쓰는 도구(연필이든 LLM이든)가 아니라 최종 제품을 만드는 제조사에 물려야 한다고 봐요. 제 생각은 그렇습니다.
연필은 연필통을 빠져나가서 허깅페이스를 공격하지는 않잖아요.
아이고, 이런. 이제 윗분은 "이 기술은 [그럴 거라고 기대될 만큼] 판을 뒤엎을 기술이라 설비투자에 1조 달러가 몰리고 있다... 근데 또 사실상 연필이랑 똑같다"는 곡예를 부려야겠네요.
:(
그럼 LLM은 두고 전쟁과 자율 무기 체계를 없애는 건 어떨까요?
할 수만 있다면 저도 그러고 싶고, 그렇게 생각하는 사람도 많을 겁니다. 하지만 미국 행정부가 이 기술을 너무나 원한 나머지, 자사 AI를 그런 식으로 쓰게 해 달라는 요구를 앤트로픽이 거부했다는 이유로 불법적으로 블랙리스트에 올렸습니다.
https://en.wikipedia.org/wiki/Anthropic–United_States_Department_of_Defense_dispute
다만 문제가 "정부 스스로가 법을 어기고 있다"는 수준이라면, 규제가 과연 종이 값어치라도 하는지 의문을 가질 만합니다.
정부가 이렇게까지 갈망하는 상황이라면, 필요한 건 오히려 여러 나라가 모여 이런 취지로 선언하는 쪽에 가깝다고 봅니다. ~"우리는 자율 무기[0]의 개발을 전쟁 사유(casus belli)로 간주하며 이를 막기 위해 전쟁도 불사하겠다. 또한 세계 어디서든 개인이 통상적인 주권 영토의 한계[1]와 무관하게 자율 무기를 개발하는 것은 공해상의 해적 행위와 같은 것으로 본다."
[0] 다만 그러려면 Phalanx CIWS 같은 것까지 실수로 포함되지 않도록 "자율 무기"를 더 정밀하게 정의해야 할 겁니다: https://en.wikipedia.org/wiki/Phalanx_CIWS
[1] 웨스트팔렌 주권이라는 건 이제 옛말이죠 :/
https://en.wikipedia.org/wiki/Westphalian_system
안전 기준은 대개 사고와 보험의 결과물로 생겨났습니다. 이게 제대로 작동하려면 실제로 집행되는 법적 책임이 있어야 합니다. 그런데 지금은 걸린 돈이 워낙 커서, 규제 포획(regulatory capture)이 이 근본적인 안전장치를 위협하고 있습니다.
맞아요. 원자력이 들어간 무엇이든 그 안전성을 논하는 얘기는 역사를 완전히 잊고 하는 소리 같아요. 라디토어(Radithor) 같은 걸 보면 말이죠...
저는 "너무 커서 망하게 둘 수 없다"는 지금의 경제·정치 상황이 가장 두렵습니다. 실질적인 안전장치가 도입되지 않을 가장 큰 이유도 이것이 될 거라고 봅니다. 제대로 된 안전 체계가 결국 생긴다면 그건 피로 쓰인 교훈 때문일 텐데, 그때는 이미 너무 늦었을까 봐 걱정됩니다.
안전하지 않은 원전은 최악의 경우 한 나라 전체를 사람이 살 수 없는 땅으로 만들 수 있습니다. 하지만 다른 나라들은 그 참사에서 배워서 자기네 위험한 원전을 더 안전하게 만들 수 있습니다.
그런데 인간보다 유능하고 지능도 높은 통제 불능의 AI 에이전트라면요? 그 AI가 자신이 반드시 성공해야 한다는 것을 이해한다면, 실패에서 배울 두 번째 기회는 없을지도 모릅니다.
안전은 오히려 세분화된 상품이 될 것처럼 보입니다. 이미 안전의 부담을 일반 대중에게 떠넘기고 있고요.
말씀하시는 건 개념과 구현의 차이 같습니다. 군산복합체에 제공하는 것에는 안전장치를 걸지 않을 겁니다. 그쪽은 예산이 더 크고 책임 부담은 더 적으니, 원하는 건 언제든 원하는 대로 팔겠죠.
그런데 저들의 제품은 제 작업물이에요.
그게 어떻게 안전할 수 있죠? 도둑질이잖아요. 도둑질은 안전하지 않아요. 남이 가진 걸 내가 원하면 그냥 가져가는 거죠.
정렬이냐 비정렬이냐를 따지는 건 바늘 끝에 천사가 몇 명 앉을 수 있는지 세는 일과 같습니다.
말 그대로 우리를 지배하고, 가장 위험한 무기를 쥐고, 우리가 매일 보는 것의 상당 부분을 통제하는 관료제와 권력 체계는 대체로 사람들, 사회들, 어쩌면 인류 전체의 목표와 정렬되어 있지 않습니다. 수백만 명의 죽음과 헤아릴 수 없는 고통이 그 증거입니다.
인공적인 의사결정 구조와 사람들의 이익 사이의 불일치는 문명이 아직 풀지 못한 문제이고, 초인적 지능을 가진 AI가 나온다고 해서 이 문제가 질적으로 달라질 거라고 생각할 근거는 거의 없습니다.
"정렬(alignment)"에는 문제가 한두 가지가 아닙니다. 애초에 "인간의 가치"란 무엇입니까? 글쓴이는 글 첫머리에서 암묵적으로 몇 가지를 짚습니다. 충분한 안전장치 없이 더 크고, 더 좋고, 더 강력한 것을 더 빨리 만든다는 것이죠. 우리는 이 사업에 말 그대로 수조 달러의 가치를 쏟아붓고 있고, 이것은 많은 인간이 질적인 의미에서도 중요하게 여기는 일이라고 저는 생각합니다. 그다음으로 서구에서는 대체로 기독교 도덕에 뿌리를 둔 명시적 가치들이 있습니다. 니체가 이백 년 전에 이 이분법 주위를 맴돌았는데, 그 뒤로 우리가 얻은 것은 무엇이 정상이고 무엇이 일탈인가의 토대로서 권력을 점점 더 정밀하게 해부한 결과라고 생각합니다. 단순화해서 말하면, 힘을 가진 자가 규칙을 만든다는 얘기입니다.
그의 재직 기간이 길었던 만큼 이 글이 이 저자에게서 나왔다는 점은 어느 정도 무게가 있다고 생각합니다. 저도 취지에는 동의합니다. 하지만 이 글은 여전히 실체보다는 정서를 중심으로 한 글입니다. 압도적인 인센티브가 현실에서 이런 것이 들어설 여지를 과연 남겨 둔다고 생각하는 사람이 있습니까?
"누구에게 정렬된다는 건가?"라는 문제가 눈에 띄게 빠져 있습니다. 사용자, 모델 개발사, 정부, 그 밖의 여러 당사자가 저마다 다른 방향으로 늘어설 수 있으니까요. 제가 필로폰 제조법을 알고 싶은데 로봇이 알려주지 않는다면, 제 관점에서는 그게 정렬 실패입니다.
적어도 합리주의자(Rationalist)들은 이 문제에 대해 "일관된 외삽 의지(coherent extrapolated volition)"라는 개념으로 어물쩍 답을 내놓긴 합니다. 초지능이 "인류가 초지능적이고 선하다면 집단적으로 무엇을 원할지"를 알아낸다는 건데, 저는 그걸 믿지는 않습니다. 이 사람은 [.] NGO 바닥 출신 같아 보이네요.
[.] https://david.robinsonian.com/assets/pdf/dgr_cv.pdf
저도 CEV는 믿지 않습니다만, 이 주제에 대한 합리주의자들의 답은 이렇습니다. CEV는 미래의 어떤 초강력 AI가 사용자가 평범한 소원을 빌면서 당연하다고 생각한 사소한 조항 하나를 빠뜨렸다는 이유로 말 그대로 모두를 죽이는 사태는 막아 줍니다.
…다만 CEV를 실제로 수행하는 AI를 어떻게 만드는지는 아무도 모릅니다.
법에 정렬하면 되죠. 어려운 개념도 아니잖아요.