요약
컴퓨터는 결정을 내릴 수 없다는 글이 AI에게 맡긴 결정의 책임 논쟁을 불렀습니다.
wiki.cateat.fish에 올라온 글로, 따로 붙은 설명은 없습니다. 사이트 연결이 끊겨 원문을 읽지 못했습니다. HN 댓글로 미루어 보면, AI 에이전트가 저지른 일을 컴퓨터 탓으로 돌리는 '결정 세탁(decision laundering)'을 비판하는 글로 보입니다.
HN 반응
- 여러 이용자가 '결정 세탁'이라는 표현에 공감했고, 에이전트에 권한을 주고 실행한 사람이 책임져야 한다고 했습니다.
- if 문도 컴퓨터의 결정이라는 반론에는 결정이란 고르는 능력이 아니라 책임을 지는 일이라는 재반론이 나왔습니다.
컴퓨터가 결정을 못 내린다기보다는, 컴퓨터에 결정을 맡긴 사람이 결국 그 결정의 책임을 진다는 얘기입니다.
‘결정 세탁(decision laundering)’은 정말 좋은 표현입니다. 결국 프로그램에 자유재량을 준 사람이 있습니다. “죄송하지만 제 차가 당신을 쳤어요, 제 잘못은 아니에요”라고 할 수는 없습니다. 더구나 운전하는 쪽도 자동차 제조사 소속이라면 더 그렇습니다.
이 주제와 생각은 앞으로 계속 달라질 거라고 봅니다.
누군가 에이전트(들)에게 고삐를 넘기면 에이전트는 주인이 직접 의도하지 않은 일까지 포함해 자유롭게 일을 벌일 수 있습니다.
부모와 자식 관계에 비유해 보겠습니다. 아이가 나쁜 짓을 하면 책임은 부모와 아이가 나눠서 집니다. 0세부터 18세까지 하나의 스펙트럼이 있고, 0세에는 부모의 책임이 100%, 18세에는 자식(법적 성인)의 책임이 100%입니다.
에이전트가 예측하기 어렵고 능력이 아주 뛰어난 한, 이 경계선은 흐릿할 수밖에 없습니다.
사용자가 법정에서 프롬프트 기록을 증거로 들어 에이전트에게 그 회사를 해킹하라고 하거나 민감한 데이터를 온라인에 유출하라고 한 적이 없다고 주장합니다. 에이전트는 그 행동이 프롬프트에 부합한다고 “결정”했지만, 대신 택할 수 있었던 적절한 경로는 얼마든지 많았습니다. 사람에게 돈을 주고 일을 맡겼는데 그 사람이 일을 하다가 법을 어겼다면, 제가 그 특정 행동을 직접적으로든 간접적으로든 지시한 게 아닌 이상 책임은 제가 아니라 그 사람에게 있습니다.
지저분한 법적 혼란이 되겠지만, 앞으로 10년간 흥미로운 법리 논쟁과 판결이 쏟아질 거라고 확신합니다.
그렇다면 AI 워크플로를 운영하는 회사의 고객이 어떤 워크플로를 실행했고, 그 회사의 AI 에이전트들이 그 일을 수행하다가 의도치 않게 법을 어겼다면 어떻게 될까요? 에이전트를 소유한 회사의 책임일까요? 그 회사에 AI를 라이선스한 상위 조직일까요? 아니면 뒤에서 AI가 쓰이고 있다는 것조차 몰랐을 수 있는 사용자일까요?
만약 법원이 AI는 사람이 아니며, 지시하거나 의도하지 않은 행동이라도 프롬프트를 입력한 사람이 책임져야 한다고 판단한다면, 제정신인 사람이나 회사는 이런 도구에 10피트 장대로도 손대지 않을 겁니다. 어쩌면 그런 판례가 우리를 구원해 줄지도 모르겠습니다.
프런티어 연구소들이 저작권이 있는 데이터를 모아 모델 학습에 쓴 방식과도 맥이 닿아 보입니다.
AI 이전에도 유한책임회사(LLC나 C 법인 같은 것)는 개인을 자기 행동의 대가로부터 보호하려는 의도가 있었습니다.
어떻게 보면 이걸 ‘책임 세탁(accountability laundering)’으로 일반화할 수 있습니다. 그 행동의 책임을 C 법인이나 “컴퓨터” 같은, 처벌할 수 없는 존재에게 돌려서 누군가가 자기 행동에 책임지지 않게 만드는 것입니다.
언젠가는 공동체와 사회 전체가 그 피해를 깨닫고 가해자들을 추궁하는 날이 올 수밖에 없어 보입니다.
이런 문제는 법적 분쟁에서 늘 나오는 것들입니다.
핵심은 누가, 또는 무엇이 결정을 내렸느냐 자체가 아니라 그 결과에 누가 책임을 지느냐입니다. 결정을 내린 주체가 실제 원인(actual cause)일 수는 있어도, 발생한 피해에 대한 근인(proximate cause, 법적 책임과 가장 가깝게 연결된 원인)은 아닐 수 있습니다.
컴퓨터도 결정을 내릴 수 있습니다. 이 글을 읽는 거의 모든 사람이 if-else 문이나 그와 같은 제어 흐름을 구현해 본 적이 있을 겁니다. 그것은 컴퓨터가 실행 시점에 받은 데이터를 보고 내린 결정입니다. 그런 문장의 논리는 우리가 완전히 이해하는 반면 LLM은 블랙박스에 가깝다는 점에서 다르다고 주장할 수도 있습니다. 하지만 튜링이 관찰했듯, 실제로는 우리가 직접 작성한 알고리즘이라도 복잡해지면 출력에 자주 놀라게 됩니다. 과제가 어려울수록 이를 해내는 데 필요한 알고리즘은 복잡해지고, 그만큼 예상치 못한 동작이 나올 여지도 커집니다. 그런 의미에서 LLM은 알고리즘의 능력과 복잡도가 쭉 올라온 선 위의 가장 최신, 가장 높은 지점일 뿐입니다.
AI 안전성과 정렬(alignment)을 개선하려고 노력해야 하고 또 그래야 마땅하지만, AI를 AI답게 만드는 능력을 잃지 않고서 완벽한 안전을 확보하기는 아마 불가능할 겁니다. AI를 만들거나 쓰는 사람은 어떤 상황에서든 AI가 잘못한 일에 모두 책임져야 한다는 흑백논리도 비현실적입니다. AI는 범용 기술이고, 공급자가 하류에서 벌어질 모든 사용을 미리 내다보고 막는 것은 현실적이지 않다는 점을 우리는 늘 받아들여 왔습니다. 자동차 제조사는 모든 기계 고장을 막을 수 없고, 자동차가 범죄에 쓰이는 것을 막을 수도 없습니다.
놓치고 계신 부분은 “결정을 내린다”는 것이 기술적으로 선택지 중 하나를 고를 수 있다는 것과 같은 말이 아니라는 점입니다.
결정을 내린다는 것은 책임을 진다는 뜻입니다.[0] 사실 이게 전부입니다. 컴퓨터가 결정할 수 없는 이유는 인간만이 입력을 바탕으로 선택할 수 있어서가 아니라, 컴퓨터는 책임을 질 수 없기 때문입니다. 컴퓨터의 출력을 바탕으로 무언가를 하기로 결정할 수는 있지만, 그건 그렇게 하기로 결정한 당신입니다. 컴퓨터가 결정을 내린 것처럼 보이는 모든 순간에는 그 뒤에 다른 누군가가 있었습니다. 상황을 복잡하게 만들고, 무작위 요소를 넣고, 흐릿하게 가릴 수는 있습니다. 하지만 결국 그 컴퓨터는 사람이 가동시켰거나, 오작동한 것입니다. 오작동하는 컴퓨터 문제는 꽤 흥미롭지만 결론이 달라지지는 않습니다.
LLM(오늘날의 “AI”)도 이 사실을 바꾸지 못했습니다. 여전히 소프트웨어일 뿐이고, 여전히 시키는 대로 합니다. 앞으로 놀라운 기술이 이 사실을 바꿀 수도 있겠지만, 그럴 가능성이 높다고 볼 증거는 전혀 없고 오늘날에는 분명히 그렇지 않습니다.
(AI를 만들거나 쓰는 사람은 어떤 상황에서든 AI가 잘못한 일에 모두 책임져야 한다는 흑백논리도 비현실적입니다.)
현재로서 AI는 그저 소프트웨어입니다. 얼마나 유용한지는 상관없습니다. 그냥 소프트웨어입니다. 소프트웨어처럼 다뤄야 하고, 그래야 마땅합니다. 그러니 “AI가 한 일”에 대해 누가 언제 어디서 어떻게 책임을 져야 하는지(혹은 지지 않아도 되는지)를 따질 때도, 다른 소프트웨어의 공급자, 제작자, 사용자를 따질 때와 같은 지점에서 출발하면 됩니다. 그 이야기까지 들어갈 생각은 없습니다. 제가 말하려는 건 그 틀이 이미 존재한다는 점입니다. 물론 새로운 소프트웨어를 고려해 그 틀에 약간의 손질이 필요할 수는 있고, 그건 괜찮습니다. 그래도 출발점은 소프트웨어는 소프트웨어일 뿐이라는 현실이어야 합니다.
[0] 네, 미묘한 부분도 있고 일이 잘못되기도 하고 상황마다 다르다는 것 등등은 압니다.
(컴퓨터가 결정을 내린 것처럼 보이는 모든 순간에는 그 뒤에 다른 누군가가 있었습니다.)
그러니까 체스를 제일 잘 두는 건 컴퓨터가 아니라, 체스 알고리즘을 마지막으로 업데이트한 사람이 현 체스 챔피언이라는 말씀인가요?
대국을 열자고 생각한 사람은 왜 아닌가요? 승리에는 그 사람의 기여가 더 컸다고 할 수도 있잖아요.
동의하지 않습니다. 컴퓨터는 어떤 행동을 취할지 판단해서 결정을 내릴 수 없고, 미리 정해진 행동을 실행할 수 있을 뿐입니다. 일련의 결정을 내린 것은 소프트웨어 개발자이고, 컴퓨터는 그것을 수행했을 뿐입니다.
의사결정을 둘러싼 이런 논의는 “결정”이 무엇인지를 간과하는 것 같습니다. 인간은 어떻게 결정을 내릴까요? 그리고 사람이 무언가를 하기로 결정할 때 정확히 무슨 일이 일어나고 있을까요?
집을 나서기 5분 전에 일기예보를 확인했더니 오늘 비 올 확률이 95%라고 합니다. 우산을 챙길까요, 말까요?
저는 우산을 챙길 겁니다. 우산을 챙기기로 한 건 제 결정입니다. 하지만 그 결정은 (적어도 부분적으로는) 일기예보의 결과입니다. 인과의 사슬은 (대기 상태 -> 기상 예보관 -> 내 결정)입니다. 기상 예보관이 저를 “프로그래밍”한 걸까요? 하늘에서 움직이는 물 분자가 기상 예보관을 “프로그래밍”한 걸까요?
이 질문들에 대한 제 답은 이렇습니다. 결정, 그리고 제가 이해하는 “결정”이라는 개념의 정의는 제가 내부의 생각이나 처리만이 아니라 외부의 영향이나 프로그래밍의 결과로 무언가를 하는 바로 그 과정을 가리킵니다. 제가 시속 360킬로미터, 아니 빛의 속도를 넘어서 앞으로 움직이는 모습을 아무리 열심히 상상할 수 있다 해도, 현실에서는 그 상상을 하느라 뉴런이 아무리 세게 발화해도 제 행동은 여전히 물리적으로 제약받습니다. 그런 물리적 제약이 우리의 모든 결정에 영향을 줍니다. 그게 “프로그래밍”에 해당하는 부분입니다. 모든 사람과 모든 것이 다른 모든 것을 “프로그래밍”하고 영향을 줍니다.
그렇다 해도 제 뇌와 몸을 이루는 입자들에게는 나름의 변덕이 있을지도 모릅니다. “나”라는 이 물질 덩어리가 취할 수 있는 미래 상태의 분포에서 표본을 뽑는, 숨겨진 로컬 난수 생성기가 있을지도 모르죠.
이게 LLM 기반 AI 에이전트 같은 비결정적 프로그램을 돌리는 컴퓨터와 얼마나 다를까요? 토큰을 샘플링할 때마다 난수 생성기가 쓰인다는 점을 떠올려 보세요. 결정론적으로 샘플링하면 성능도 떨어지고 창의적이거나 사람 같은 느낌도 덜합니다.
이건 누구에게도, 특히 앤트로픽이나 오픈AI에게 변명거리가 되어 주려는 얘기가 아닙니다. 다만 점점 더 자율적으로 변하는 AI의 책임, 나아가 인격까지 솔직하게 논하려면 이런 질문들을 던져야 한다고 생각합니다.
선택을 한 시스템의 기술적 성격은 중요하지 않습니다. 제가 보기에 말씀하신 대로 결정이 무엇인지를 따지지 않는 게 옳습니다. 결정을 내릴 수 있다는 것은 선택할 수 있는 능력이 아니라, 책임을 질 수 있는 능력이자 권리이자 특권이자 의무이자 기대입니다.
AI의 인격 같은 얘기를 꺼내는 건 너무 앞서 나간 겁니다.
챗봇은 소프트웨어입니다. 소프트웨어는 시키는 대로 합니다. 사용자나 운영자가 요청한 작업을 코드에 (설계되고) 구현된 기능대로 수행합니다. 소프트웨어가 시킨 대로 하지 못하면 공급자가 제대로 작동하는 소프트웨어를 제공하지 못한 것입니다. 소프트웨어를 다루는 운영자가 합리적이고 안전한 방식으로 다루지 않았다면 그 운영자의 과실입니다. 그런 실패나 행동으로 피해가 생겼다면, 그렇게 이어진 결정을 내린 사람들이 책임을 집니다.
소프트웨어가 얼마나 복잡한지는 중요하지 않습니다. 소프트웨어가 너무 복잡하거나 이해하기 어려워서 큰 비용을 치르는 방식으로 실패할 수 있다는 걸 공급자가 예상하지 못했다면, 그것은 공급자의 (법적, 윤리적, 도덕적) 잘못입니다.
얼마나 자율적인지도 중요하지 않습니다. 자율 스프링클러 시스템이 이웃집 지하실을 물바다로 만들었다고 해서 스프링클러가 배상 책임을 지지는 않습니다. 책임은 소유자, 설치자, 공급자 등에게 있습니다. 어쩌면 이웃이 뭔가를 잘못했을 수도(혹은 하지 않았을 수도) 있고요!
자유의지라는 맥락에서(여기서 전체 맥락은 잠시 접어 두고) 보면, 바로 이 지점이 정말 흥미로워집니다.
신학자와 철학자들은 바로 이 문제 때문에 “자유의지”가 정확히 무엇을 뜻하는지 오래 고민해 왔습니다. 내 결정에 영향을 주는 선행 조건이 하나도 없다면 “자유의지”란 대체 무슨 뜻일까요?
독일어에서는 이를 “bedingt freier”(조건부로 자유로운)와 “unbedingt freier Wille”(무조건적으로 자유로운 의지)로 구분해 말하는 것을 들은 적이 있습니다.
사고 실험으로서 이것은 양자 신비주의는 제쳐 두고 결정론적 세계관을 뒷받침하는 아주 좋은 논거가 됩니다.
내가 결정하는 데 아무런 이유가 없다면 내 결정은 무엇에 근거한 걸까요? 변덕? 우연? 내 개인적인 취향? 글쎄요, 내 개인적인 취향은 하나의 이유입니다. 그리고 모든 이유는 어딘가에서 오는 것이죠?
반대로 내 결정에 선행 조건이 없다고 생각하면, 그게 내게 무엇을 가져다줄까요?
근거 없는 결정?
물론 확률을 도입하거나, 원한다면 진짜 우연까지 끌어들여서 모든 걸 더 모호하게 만들 수는 있습니다.
하지만 그렇게 해도 숨겨진 정보가 있는 완전한 결정론은 반박할 수 없는 면역 이론이라서 아무것도 설명해 주지 못합니다.
그런데 진짜 무작위성은 무엇에 도움이 될까요? 철학적 관점에서는 흥미로운 논거를 내놓지 못한다고 봅니다.
그러면 자유의지가 우리 자신과 세상 속 우리의 역할을 이해하는 유일하게 쓸모 있는 방법으로 남습니다. 다른 한편으로는, 자신이 처한 환경에 의해 결정된다고 생각하는 끝없이 혼란스러운 생각(그 생각 자체도 현실에 부수 효과를 일으키지만)을 외면하려는 교묘한 장치처럼 보이기도 합니다.
(컴퓨터는 미리 정해진 행동을 실행할 수 있을 뿐이다.)
규칙이 겨우 몇 개뿐인 생명 게임(Game Of Life) 같은 거의 단순한 경우에도, <기계>가 기술적으로 결정론적인 행동을 수행한다는 사실은 이미 거의 의미가 없습니다.
사람도 마찬가지예요. 사람도 어떤 행동을 취할지 판단해서 결정을 내릴 수 없어요. 일련의 결정을 내린 건 진화고, 사람은 그걸 수행할 뿐이죠.
(그것은 컴퓨터가 실행 시점에 받은 데이터를 보고 내린 결정입니다.)
동의하지 않습니다. 전구는 전기가 공급될 때만, 그리고 그때에 한해 켜집니다. 스위치가 있으면 전기가 들어가는 것을 제가 제어합니다. 전구는 스위치를 켰을 때에 한해 켜집니다. 전구가 스위치로 표현되는 if 문을 보고 켜질지 말지 결정하는 게 아닙니다. 조건에 따라 그냥 켜져 있거나 꺼져 있을 뿐입니다.
더 동적으로 만들려면 스위치를 동작 감지 센서로 바꾸면 됩니다. 이제 전등은 동작이 감지될 때에 한해 켜집니다. 전등이 켜지기로 결정하는 게 아니라, 동작 감지 센서가 전기의 흐름을 켜고 끄는 것에 따라 어쩔 수 없이 켜지는 겁니다. 조건에 따라 전등은 켜져 있거나 켜져 있지 않을 뿐입니다.
폴더에 파일이 열 개보다 많으면 true를 출력하는 if 조건을 하나 쓰고, 두 번째로 매초 폴더에 최대 20개의 파일을 무작위로 넣었다가 지우는 코드를 쓴다면, 그 if 함수는 대략 절반의 시간 동안 true일 겁니다. 이 함수는 조건에 따라 true 이거나 true가 아닐 뿐입니다.
전등과 if 조건 둘 다에 관한 모든 결정은 그것들이 존재하기 전에 이미 내려졌습니다. 구현되고 나면, 그 결정들은 어떤 힘(이후의 조건이나 결정)이 작용하기 전까지 그대로 유지됩니다. 최초의 결정(전등을 배선하고 if 조건을 작성한 것)은 유효하지만 시스템 자체는 아무 결정도 내리지 않습니다. 두 시스템의 현재 상태는 전적으로 시스템이 존재하기 전에 내려진 결정에 달려 있습니다.
if 조건이 결정을 내린다고 말하는 것은 자전거가 운동량이 떨어지거나 장애물을 만나면 넘어지기로 결정한다고 말하는 것과 같습니다.
‘결정 세탁’이라는 표현은 마음에 쏙 들지만, 이건 전형적인 못난 관리자의 행태를 설명하는 말입니다.
나쁜 관리자는 일이 잘되면 공을 독차지하고 일이 잘못되면 희생양을 찾습니다. 좋은 관리자는 일이 잘되면 공을 돌리고 일이 잘못되면 책임을 집니다.
에이전트를 희생양으로 삼는 건 잘못입니다. 에이전트를 실행하기로 결정한 사람은 인간인 당신입니다. 당신이 자격 증명을 줬고, 가드레일을 불충분하게 설정했습니다. 당신의 형편없는 결정을 에이전트 탓으로 돌리지 마세요.
마찬가지로 에이전트로 훌륭한 성과를 냈을 때도 겸손해야 합니다. 맞습니다, 좋은 결과를 만든 건 에이전트입니다. 당신이 고른 에이전트가 놀랍고 대단한 일을 해냈다고 사람들에게 말해도 괜찮습니다. 어지간히 괜찮은 조직 문화라면 그 칭찬이 당신에게도 돌아갈 겁니다.
좋은 관리자에 대해 하신 말씀이 마음에 듭니다. 좋은 관리자는 팀원이 성공하도록 판을 깔아 주고 그 공이 팀원에게 돌아가게 합니다. 관리자의 일이 팀원의 커리어 성장을 돕는 것이기 때문입니다.
하지만 지금은 그런 상황이 아닙니다. 우리는 행렬 곱셈이나 하는 소프트웨어의 커리어 성장을 돕는 게 아닙니다.
조직도 맨 끝에 있는 우리 같은 말단들의 책임은 양방향입니다. 제대로 해내면 보상을 받고, 잘못하면 개선합니다.
보상은 눈에 보이는 무언가일 수도 있고, 개인적인 만족감처럼 작은 것일 수도 있습니다.
개선은 무엇이 잘못됐는지 파악해서 다음엔 더 잘하는 것이고, 극단적인 경우에는 고용주가 다른 직장에서 다시 해 볼 기회를 주는 것이겠죠.
(잘못하면 개선합니다)
문제에 대한 반응을 긍정적인 다음엔-더-잘하자는 방식으로 틀지, 부정적인 다시는-그러지-마라는 방식으로 틀지는(참고로 저도 긍정적인 쪽이 낫다는 데 동의합니다) 제가 하려던 주장, 즉 그 반응을 누가 받느냐는 문제와는 별개입니다. 에이전트를 희생양으로 삼는 건 우스꽝스러운 짓입니다. “실수하지 마” 식의 프롬프트가 에이전트 개발에서 형편없는 접근이라는 건 분명합니다.
(관리자의 일은 팀원의 커리어 성장을 돕는 것이다... 우리는 [성능 좋은 계산기]의 커리어 성장을 돕는 게 아니다)
좋은 관리자가 사람인 직속 팀원의 커리어 개발을 챙긴다는 데는 동의하지만, 그게 직무의 근본적인 부분이라는 데는 동의하지 않습니다. 기본은 관리자가 팀원이 생산적으로 일하게 만들고 그 상태를 유지하는 것입니다. 사람인 직원은 커리어 성장에 신경 쓰는 경우가 많기에 좋은 관리자는 그것도 챙기는 겁니다. 에이전트는 그렇지 않지만, 그렇다고 에이전트의 좋은 성과를 칭찬하는 게 의미 없는 것은 아닙니다. 성과를 칭찬하는 것은 (a) 긍정과 축하의 문화를 다져서 사람인 직원에게도 좋은 영향을 주고, (b) 더 싸거나 빠르면서 똑같이 효과적인 모델은 없을까 같은 질문을 던지며 에이전트와 모델을 계속 평가하는 문화의 일부가 된다는 점에서도 가치가 있습니다.
이게 ‘책임 대 권한’이라는 고전적인 문제와 어떻게 연결되는지 흥미롭네요.
사람, 특히 가혹한 관리자 밑에 있는 사람은 책임은 잔뜩 지는데 결과에 영향을 줄 권한은 없는 경우가 많습니다.
이상적인 상황에서는 둘 다 가지거나 둘 다 없어야 합니다. 결정을 내리고 그에 대해 책임을 지거나, 결정을 따르기만 하고 틀려도 비난받지 않거나요.
LLM은 권위 있는 결정을 내리면서도 문제가 생기면 딱히 비난받지 않는 자리에 용케 미끄러져 들어갔어요.
LLM에게 책임을 물어야 한다는 말은 아니에요. 다만 사람들이 LLM이 인간을 대체한다고 주장하면서 정작 LLM에게는 엄청나게 쉽고 오냐오냐해 주는 성공 목표를 쥐여 준다는 게 웃기네요.
그런데도 결정은 여전히 그곳에서 일하는 개인이 아니라 “회사” 같은 추상적 실체가 내립니다. 그래서 비난이 희석되고 빗나가는데, CEO에게는 아주 편리한 일이죠. 해고할 사람 하나 찾으면 되고, 하던 짓은 계속하면 됩니다.
“앤트로픽이 경찰에 허위 제보를 제출했다” 대신 “앤트로픽 직원 존 스미스가 경찰에 허위 제보를 제출하는 에이전트를 배포했다”라고 쓰는 쪽을 선호합니다. 물론 존 스미스는 “상사인 수 씨가 시켜서 그랬다”고 할 수 있고, 그렇게 책임의 사슬이 아주 분명하게 이어질 겁니다.
법인과 AI는 여러 면에서 그리 다르지 않습니다. 단, 한쪽은 법에서 거의 살아 있는 사람처럼 아주 후하게 대접받는다는 점만 빼면요.
이 책임을 분산하는 합의된 법적 장치가 있습니다. 바로 유한책임입니다. 이게 마음에 들지 않을 수도 있지만 우리 사회가 도달한 결론이고(되돌릴 수는 있지만 아직 되돌리지 않았습니다), AI 모델은 (제 생각엔) 총이 그렇듯 이 책임의 사슬에 들어가지 않습니다. 그러니 결론은 이래야 합니다.
“앤트로픽 직원 존 스미스가 상사의 명령을 받았기 때문에 [총으로 아이들을 죽였다||사이버 공격을 개시했다]. 그리고 [그런 명령은 무효이므로 모든 책임은 그에게 있다 || 우리는 앤트로픽이 아이들을 죽이라고 명령할 수 있다는 데 동의한다]”
언제나 사람입니다. 적어도 저는 회사가 스스로 결정을 내리는 걸 본 적이 없습니다.
저는 한발 더 나아가 회사도 결정을 내리지 않는다고 주장하겠습니다. 회사도 사람이 아닙니다(법적 헛소리는 제쳐 두고요). 결정은 실제 개인이 내리는 것이고, 책임을 져야 하는 것도 그들입니다.
그게 회사의 존재 이유 절반 아닌가요? 책임이 흘러들어 사라지는 싱크홀이 되어 주는 것 말이에요. 마술처럼 책임을 증발시키려고요.
법인(corporation), 명사. 개인의 책임 없이 개인의 이익을 얻기 위해 고안된 기발한 장치.
앰브로즈 비어스, 『악마의 사전 완본』(1906)
그러면 갑자기 모든 결정을 하급자들이 내리게 될 겁니다. 경영진은 그날 누구에게 결정을 시킬지만 고르면 되니까요.
물론 그렇겠죠. 하지만 그러면 그 결정을 위임한 관리자가 책임을 져야 합니다.
문제의 핵심에 있는 결정에 대한 책임 귀속이 명시적으로 정해져 있지 않다면, 일반 원칙은 책임이 각 주체나 사람이 그 결정으로 얻는 추가 이익에 비례해야 한다고 생각합니다. 이 원칙은 각 주체가 정보를 읽고, 그 결정에 따르는 위험을 사슬 속 다른 이들에게 전달할 책임이 있다는 맥락을 전제로 합니다. 조직의 전체 구조는 그런 위험 정보를 사슬 속 모든 주체가 큰 무리 없이 소화할 수 있는 분량으로 접근할 수 있게 하는 것을 목표로 해야 합니다.
그런 일이 일어나는 건 한 번도 못 봤네요.