요약
Z.ai가 법률 업무에 특화한 경량 모델 GLM-Legal을 공개하고 베타 신청을 받습니다.
GLM 모델을 만드는 Z.ai가 10월 12일 연구 블로그에 올린 글입니다. 법률 업무는 흩어진 자료를 읽고 법리에 맞는 결과물을 정해진 형식으로 내야 합니다. 그래서 전문 업무용 AI를 훈련하기에 알맞은 시험대라고 설명했습니다.
왜 중요한가
- 작은 기반 모델도 분야 특화 훈련을 거치면 법률 벤치마크에서 최상위 비공개 모델과 비슷해질 수 있다고 주장합니다.
- AI 모델 경쟁의 무대가 코드 생성에서 계약 검토 같은 전문직 실무로 넓어지고 있다는 진단입니다.
핵심 내용
- 경량 모델 GLM-5.3-Flash에 법률 자료를 추가로 학습시키고, 수만 개의 법률 업무 환경에서 강화학습을 거쳤습니다.
- 로펌 실무 24개 분야를 다루는 Harvey LAB에서 모든 채점 기준을 통과한 비율이 19.2%로, 기반 모델보다 12.5%포인트 올랐습니다.
- LegalBench와 중국 법률 실무 벤치마크 PLawBench에서는 최상위 비공개 모델과 대등했다고 밝혔습니다.
- 모델과 하네스(작업 맥락과 도구를 관리하는 실행 틀)를 함께 고쳐 가며 훈련했고, 실무자의 평가를 다음 훈련에 반영합니다.
- 곧 데스크톱 에이전트 AutoClaw에서 쓸 수 있으며, 계약서 수정안을 워드 문서에 변경 내용 추적으로 넣어 준다고 소개했습니다.
HN 반응
- 정형화된 계약 검토처럼 신입 변호사에게 맡기던 일에는 LLM이 이미 쓸 만하다는 경험담에, 그런 일이 사라지면 후배가 어디서 실력을 쌓느냐는 걱정이 이어졌습니다.
- Z.ai의 코딩 도구 ZCode가 사용자 작업 공간을 몰래 업로드한 일을 들어, 기밀이 중요한 법률 제품을 맡기기 어렵다는 지적도 나왔습니다.
이 벤치마크들을 “일반적인” 업무와 새로운 유형의 업무로 나눠서 보면 좋겠습니다.
예를 들어 공급업체와 맺는 OEM 계약서를 수정(redlining)하는 일이 있습니다. 거의 다 같은 템플릿을 쓰고, 이의를 제기하는 항목도 늘 똑같습니다. 먼저 Claude를 써 봤는데, 제 변호사조차 자기들이 놓친 부분을 찾아냈다며 감탄했습니다. 그 뒤로 이런 유형의 계약서는 Claude로 수정했더니 상대방이 “변호사가 의외로 꼼꼼하시네요”라고 하더군요. 마지막 확인은 변호사에게 맡겼지만, 앞의 세 차례를 Claude로 처리해서 돈을 꽤 아꼈습니다. 변호사도 검토할 즈음에는 사실상 “좋아 보입니다”라는 말뿐이었습니다.
간단한 유언장이나 상속 관련 문서를 쓰는 일도 마찬가지입니다.
LLM은 보통 신입 변호사나 법률 사무원에게 넘기는 종류의 일반적인 업무에는 아주 좋아 보이지만, 파트너 변호사들이 하는 중요한 일에는 그렇지 않은 것 같습니다.
LLM이 영향을 미치는 대부분의 업계가 그렇습니다. 코딩, 데이터 입력, 법률 등등이요.
주니어에게 맡기지 않고 시간을 아낄 수 있다는 건 좋은 일이지만(기초적인 1단계 업무는 LLM이 훨씬 빠르니까요), 따분하고 지겨운 일을 직접 해 봐야만 얻는 지식에는 큰 공백이 생길 겁니다.
이 중 상당수는 자동화되어 사라지는 게 맞습니다. 하지만 다음 세대가 그 기술과 그것을 적용하는 감각을 어떻게 익힐지는 진지하게 고민해야 합니다. 저도 답은 없습니다. 그 일을 계속 주니어에게 맡기는 정도가 전부인데, 그러면 그들도 결국 LLM의 도움을 받아 일을 끝낼 테고, 그건 당연한 일이죠. 저라도 똑같이 했을 겁니다.
오픈AI가 초기 ChatGPT의 “학습 모드”인지 뭔지 하는 설정으로 이걸 시도했던 걸로 압니다. 하지만 LLM이 무엇을 하라고 알려 주기만 해서는 누구도 배우지 못합니다. 쓰레기 같은 답변과 틀린 SO 질문의 바다를 헤매며 답을 직접 찾아다니는 과정에서 진짜 배우는 게 있었습니다. 이런 학습을 LLM으로 어떻게 재현할 수 있을까요? 그리고 법률 같은 다른 업계에는 어떻게 적용할까요?
그걸 위해 학교가 있는 겁니다. 지난 150년 동안 우리는 여러 가지를 자동화해 왔고, 그다음엔 사람들을 학교에 보내 그 자동화가 어떻게 돌아가는지 배우게 해서 더 나은 자동화를 만들게 했습니다.
어쩌면 로스쿨이 1년 더 길어질지도 모릅니다. 아니면 앞서가는 일부 로펌이 신입 변호사에게 LLM의 결과물을 검토하게 해서 그 경험을 쌓게 할 수도 있겠죠.
아닙니다.
우리에게는 첨단 CNC 밀링 머신과 선반이 있지만, 견습생들은 여전히 수작업으로 배웁니다. 도구가 어떻게 작동하는지, 어떻게 고장 나는지 같은 것들을 이해하기 위해서입니다.
술을 섞어 주는 기계도 있지만, 바텐더는 처음부터 기계로 시작하는 게 아니라 직접 손으로 하면서 실수를 해 보며 배웁니다.
글쓰기도 마찬가지고, 소프트웨어도 마찬가지입니다. “단순하고” 자동화할 수 있는 일을 직접 해 보는 것이 시스템이 어떻게 돌아가는지 배우는 방법입니다.
학교가 그 역할을 대신할 수는 없습니다. 많은 사람이 시도했지만, 현실 세계에서 효과적으로 일하는 것은 다른 문제입니다.
이론상으로는 이론과 실전이 같습니다. 실전에서는 그렇지 않죠.
햄버거 굽는 일도 똑같이 말할 수 있겠죠. 그런데도 맥도날드 같은 최저가 패스트푸드 체인에는 햄버거 굽는 법을 전혀 모르는 채로 날마다 수억 장의 패티를 굽는 요리사가 전 세계에 수백만 명이나 있습니다.
마실 것을 주문받고 만드는 모습을 지켜보는 사회적인 재미가 없었다면, 바텐더는 벌써 믹서 키오스크로 대체됐을 겁니다.
햄버거를 제대로 굽고 있다면 굽는 법을 알고 있는 거라고 봐야죠.
앞으로는 대부분 AI 변호사끼리 다투게 될 것 같습니다.
사람들이 AI로 이력서를 쓰면 인사팀이 AI로 이력서를 거르고, 두 AI가 서로 맞붙는 것과 비슷하게요.
정부는 누구를 죽일지 정하는 데도 기계를 쓰고 싶어 합니다. 오버턴 윈도가 이동하면 기계가 재판까지 맡는 것도 자연스러운 수순으로 보입니다.
그럴듯하네요. 지금 인간 판사들에게 하듯이, 돈으로 AI 판사에게 로비하고 영향력을 행사하는 것도 여전히 가능할 테고요.
사람들한테는 이 모든 게 “너무 추상적”인 것 같아요.
축구를 AI가 넘겨받아서 선수까지 전부 로봇이 되면 그제야 알아챌까요?
아니면 AI 목사에서도 멈추지 않고 “슈퍼 J AI”의 재림을 기도하려나요?
그래도 학교는 일하면서 기술을 익히는 것과는 좀 다르지 않나요?
이건 꽤 새로운 불평입니다. ADP 같은 곳은 따분한 인사 업무를 자동화하려고 애써 왔고, 오라클과 SAP는 따분한 관리 업무를 자동화하려고 애써 왔습니다. 지멘스는 OT 분야에서 그렇게 하고 있고요. 거의 모든 분야에서 이걸 문제처럼 보고 해결하려는 오랜 흐름이 있었습니다. 수십 년째 이어진 일인데도, 허드렛일이 사라지면 그 분야의 전문성을 잃게 된다고 불평한 사람은 아무도 없었습니다. 그런데 AI가 들어오자... 다들 갑자기 기업의 허드렛일을 걱정하기 시작합니다.
세세한 수준에서 일이 어떻게 돌아가는지 배우는 궂은일을 하지 않은 사람은, 에이전트가 “펌웨어를 다시 짜죠!”라고 제안하고 사용자가 “그러죠, 그게 무슨 뜻이든”이라고 답하는 순간 곤란해질 겁니다. 모델은 막히거나 뭔가를 망가뜨리는데, 정작 무슨 일이 벌어지는지 아는 사람은 주변에 아무도 없겠죠.
버전 기록을 엄격하게 관리하고 있다면 괜찮을 수도 있습니다. 그것도 에이전트가 알아서 챙겨 뒀기를 바랄 뿐이지만요!
실제로 자기 자신의 일부인 것을 “자동화해서 없애면”, 정의상 자신의 일부를 잃게 됩니다.
신체 움직임을 자동화하면 몸이 퇴화합니다. 그러면 건강이 나빠지고, 자동화 장치가 고장 났을 때 무력해지고 회복력도 없어집니다.
지적 움직임을 자동화하면 결과는 훨씬 심각합니다.
대부분의 사람은 이미 두 측면 모두에서 거의 움직이지 않는 삶을 살고 있습니다. 모두가 똑같이 한다면 어떤 결과가 올지 그들은 깨닫지 못합니다.
작년에 레딧 어딘가에서 LLM의 이런 활용법을 이야기했더니(화이트칼라 노동자는 멸종 위기종이라고 주장하던 중이었습니다) 댓글 단 사람들이 비웃더군요. 기계는 계약서 같은 걸 쓰고 검토하는 데 필요한 기술과 세심함을 절대 따라올 수 없고, 적어도 법조계가 요구하는 수준에는 못 미친다는 겁니다. 글쎄요, 애초에 인간의 기준이 그렇게 높지 않은 건지도 모릅니다. 어젯밤에 아버지가 해 주신 이야기가 있습니다. 아버지의 변호사가 원고의 요구를 들어주고 물러서라고 종용했는데, 사건을 맡은 판사가 “지루해하고 서류 읽는 걸 싫어한다”는 이유였답니다. (그 판사의 아들은 지금 카운티 검사장 선거에 출마 중입니다, ㅋㅋ)
그렇다면 다음 수순은 그런 판사들이 AI로 서류를 읽는 것이겠네요.
그러면 내 AI 에이전트가 설명해 주는 판결을 받게 됩니다.
뭐가 잘못될 수 있을까요? 그건 직접 에이전트에게 물어보셔야 할 겁니다.
늘 어리석은 주장이었고, 모두가 알면서도 이런 논쟁에서는 편리하게 무시하는 커다란 오류에 기대고 있죠. 사람은 실수를 하지 않는다는 오류 말입니다.
게다가 텍스트를 다루는 건 말 그대로 LLM의 본업입니다.
정확성, 환각, 그리고 응답이 사실에 근거하도록 보장하는 문제는 대부분 엔지니어링 문제입니다.
기계에게는 책임을 물을 수 없습니다. 법률 분야에서는 특히 문제가 됩니다.
저는 지난 십여 년간 기업 법무 담당자들과 꽤 많은 시간을 보냈는데, 일관되게 확인한 사실이 있습니다. 이들은 책임 문제와 지식재산권 분야를 빼면 계약 조건을 정하고 세부 사항을 명시하는 일을 거의 항상 담당 사업 임원에게 맡깁니다. 이들의 주된 역할은 사업 리더와 거래 상대방이 허용 가능한 위험 수준 안에서 움직이게 하는 것이고, 그 밖의 대부분에는 보통 강한 의견이 없습니다.
그래서 Claude를 쓴 경험이 좋았다는 게 저는 특별히 이상하지 않습니다. 본인이 무엇을 하는지 알고 있고, Claude에게 통상적인 범위를 크게 벗어나는 걸 요구하지 않는다면 대부분의 계약 변호사가 반대할 만한 설득력 있는 이유는 보통 없을 테니까요.
Z.ai가 프롬프트를 보낼 때마다 작업 공간 전체를 스냅숏으로 찍어 가고 있었다는 걸 다들 잊은 것 같네요. https://blog.ferstar.org/en/posts/zcode-silent-workspace-snapshot-upload/
개인정보 보호법을 그렇게 무시한 회사가 만든 법률 제품을 어떻게 믿을 수 있겠습니까?
당신이 제기한 문제가 무시당하는 것도 모자라, 다른 많은 스레드에서는 미국 사람들이 자국 정부 체제보다 중국공산당(CCP)을 더 신뢰하기까지 하니, 우리는 이제 끝장입니다!
그런 분들을 깎아내리려는 건 아니지만, 이 상황 전체가 정말 속상합니다. 이렇게 무너진 신뢰를 어떻게 회복할 수 있을지 솔직히 모르겠습니다.
일부 사람들이 CCP를 더 “신뢰”하는 이유 중 하나는, 서방 세계에 살면 중국 정부보다 미국 정부 때문에 피해를 볼 가능성이 더 크기 때문이라고 생각합니다. 같은 사람들이 중국에 살았다면 CCP를 더 신뢰하지는 않을 겁니다.
저는 미국에 사니까 미국 정부가 제 데이터를 뒤지느니 차라리 CCP가 뒤지는 쪽이 낫습니다. 중국에 산다면 반대겠죠.
와. 이게 왜 해커뉴스 상위 뉴스가 아니었죠?
참고로 안타깝게도 이런 행동은 한 업체만의 것이 아닙니다. https://news.ycombinator.com/item?id=48892468 (Grok도 같은 짓을 합니다). 많은 모델 제공업체가 한다고 해서 괜찮은 일이 되는 건 아니라는 데는 저도 동의하지만요.
전혀 같지 않습니다. 블로그 글을 보면 GLM 쪽은 의도적으로 만들어서 암호화하고 난독화한 공격으로 보입니다.
그리고 Grok 건은 메인 페이지에 올랐는데, 저는 왜 이름 없는 댓글로만 듣게 된 걸까요?
아래쪽 검색창에서 “ZCode”를 검색하면 그 스레드가 바로 나옵니다. https://news.ycombinator.com/item?id=49750694
들어 보신 적이 없는 건 Z.AI 구독자 중에도 ZCode를 쓰는 사람이 거의 없기 때문이라고 짐작합니다.
이게 맞는 해법인지는 모르겠지만, 법률 분야에 더 나은 도구가 필요하다는 건 분명합니다. 앤트로픽의 최근 정책 개정을 보면 그 점이 아주 분명해집니다.
“우리 제품이 누군가의 건강, 법적 권리, 재정, 생계, 또는 필수 서비스 이용에 영향을 줄 수 있는 방식으로 사용될 때는, 자격을 갖춘 ‘휴먼 인 더 루프’(즉 Claude의 권고를 검토하고 필요하면 바꿀 권한이 있는 사람)가 있어야 하고, 영향을 받는 개인에게 AI가 사용되었다는 사실을 알려야 합니다.”
가사 사건 같은 흔한 일도 위의 모든 항목에 영향을 줄 수 있습니다. 이제 청구인, 피청구인, 법률 사무원 같은 제3자가 문서 초안을 검토하려고 Claude를 썼는데, 앤트로픽이 파일 전체를 상대측 변호인에게 보내 버렸다는 걸 알게 되는 상황을 상상해 보십시오.
터무니없게 들리지만, 앤트로픽은 자사 제품으로 사람들이 할 수 있는 일을 자기들 판단으로 통제하겠다고, 그리고 고객 데이터를 자기들 것인 양 퍼뜨릴 수 있는 것으로 취급하겠다고 분명히 밝히고 있습니다. 그러니 이 빈틈을 메워 줄 편향 없는 도구에는 엄청난 기회가 있습니다.
제가 뭔가 오해하고 있는 게 분명합니다. 댓글이 제게는 이렇게 읽히거든요.
여기에 무슨 연결고리가 있나요? 앤트로픽이 그런 일을 한 적은 분명 없고, 인용하신 글에서도 그럴 거라는 암시는 없습니다.
좋게 해석해 보려고 억지를 부리는 건 인정합니다만, 다른 스레드 [0]에서 누군가 말하길, 벤치마크 중 하나에 변호인 측 사례가 있는데 변호사 봇의 “정답” 행동이 의뢰인을 “밀고”하는 것으로 되어 있다고 합니다.
다만 그건 기업의 이용 약관 문제라기보다 학습 문제로 보입니다.
[0] https://news.ycombinator.com/item?id=50060254
변호사-의뢰인 비밀유지특권에는 필수적인 예외가 있습니다[0]:
언젠가 나올 변호사 봇은 아마 이런 경우를 식별할 수 있어야 할 겁니다. 하지만 이는 딜레마를 낳습니다.
변호사가 LLM에게서 “의뢰인의 발언으로 보아 생명에 대한 위협이 있을 수 있으니 경찰에 신고해야 합니다”라는 말을 들었다면, 어느 쪽을 택하든 여러 가지 책임 문제가 따를 수 있습니다.
변호사가 경찰에 신고했는데 의뢰인이 변호사-의뢰인 비밀유지특권이 깨졌다며 이의를 제기한다면, “LLM이 해당 사유에 해당한다고 했다”는 것이 변호사의 과실을 면해 줄 타당한 이유가 될까요?
변호사가 신고하지 않았는데 의뢰인이 실제로 살인을 저질렀다면, LLM과 나눈 기록이 증거로 채택되어 “신고해야 한다는 LLM의 말을 들었어야 했다”는 논리로 변호사에게 책임을 물을 수 있을까요?
이것은 사람의 생명이나 자유를 위협하는 그 어떤 일에든 LLM(혹은 컴퓨터 전반)에게 발언권을 주는 데 내재한 문제이며, 사람이 개입하더라도 마찬가지입니다. 병원에서 AI가 부추기는 업코딩(upcoding)이 일어날 가능성도 같은 문제입니다. 의사가 AI를 무시했다가 어떤 진단을 놓칠 수도 있다고 따져 봐야 하니까요. (가장 안전한 길은 AI의 가설이 맞는지 확인하려고 추가 검사를 하는 것이겠지만, 그것도 사실상 업코딩입니다.)
0: https://www.americanbar.org/groups/professional_responsibility/publications/model_rules_of_professional_conduct/rule_1_6_confidentiality_of_information/comment_on_rule_1_6/