요약
실제 세무 과제 50건을 맡겨 보니 가장 잘한 AI 에이전트도 10.8%만 통과했습니다.
서지 AI가 의료, 금융에 이어 내놓은 Dayjob 벤치마크(성능 평가 시험)의 세무 편입니다. 고객 요청을 받는 순간부터 결과물을 넘기기까지 세무 전문가의 일을 에이전트가 끝까지 해낼 수 있는지 봅니다.
왜 중요한가
- 세법 지식이나 계산보다 고객이 묻지 않은 문제를 먼저 찾아내는 판단력을 따집니다.
- 정해진 문제만 풀게 한 TaxBench, TaxCalcBench, TaxLab과 달리 무엇이 문제인지부터 스스로 찾게 합니다.
- 최상위 모델도 과제 열에 아홉을 통과하지 못해, 세무 일을 에이전트에게 통째로 맡기기는 아직 이릅니다.
핵심 내용
- 한 번 시도한 결과가 채점 항목의 95% 이상을 채워야 통과로 칩니다.
- 1위는 Claude Sonnet 5.5(10.8%)였고 Claude Fable 5.1(9.6%), Claude Opus 5.5(9.2%)가 뒤를 이었습니다.
- 과제마다 파일이 중간값 30개, 많게는 123개 주어지고 손글씨 영수증 같은 지저분한 자료도 섞여 있습니다.
- 콘도 매각 사례에서 비과세 자격이 2027년 8월 무렵 끝날 수 있다는 점을 Opus는 다섯 번 모두 짚었지만 Astra는 한 번도 짚지 못했습니다.
- 별거하는 부부 사례에서는 Opus가 다섯 번 모두 미혼으로 가정했고, Astra는 다섯 번 중 네 번 혼인 여부부터 확인하자고 했습니다.
HN 반응
- 여러 이용자가 Claude나 Codex로 신고서를 다시 검토했다가 세무사의 실수를 찾아냈다는 경험담을 전했습니다.
- 해외에 사는 한 이용자는 오류 검토에는 쓸 만하지만 예상 세액 계산은 크게 틀린다며 결과를 직접 확인해야 한다고 했고, 금융 정보를 AI 업체에 넘기는 데 대한 우려도 나왔습니다.
개념 증명(proof-of-concept) 삼아, 남는 토큰으로 IRS 세금 양식과 작성 요령 워크시트를 형식화(formalize)하는 작업을 하고 있습니다. 사실 이게 가능하다는 걸 보여 주려는 게 가장 큰 목적입니다. 이런 방식을 발전시키면 IRS Direct File 프로그램(RIP)을 공개적으로 유지 관리하는 버전으로 만들 수 있지 않을까 합니다. 지금까지 미국 연방세 상황의 약 60%를 다루는 것으로 추정합니다.
https://github.com/emmilco/us-tax-model
흥미롭네요! HN의 second-chance 메커니즘( https://news.ycombinator.com/item?id=26998308 에 설명되어 있습니다)으로 Show HN( https://news.ycombinator.com/item?id=50278678 )을 다시 올려 두었습니다.
(연락할 다른 방법이 없어서 여기에 남깁니다. 그 글에 직접 참여해 주시면 훨씬 좋은 스레드가 될 겁니다.)
정말 감사합니다!
'형식화'가 정확히 무슨 뜻인가요? 세금 신고서라는 게 결국 양식마다 각 '줄'이 하나의 항목이고, 마지막에 그 값들로 계산을 돌리는 것 아닌가요?
멋지네요. 어떤 부분을 형식화하는 건가요? 주어진 세금 신고 내용이 맞는지를 증명하는 건가요?
아닙니다. 형식화 대상은 IRS가 공표한 절차, 즉 공식 양식, 워크시트, 안내문에 들어 있는 질문과 계산입니다. 세법 자체를 형식화하는 것도 아니고 세금 계산기도 아닙니다. 다만 이 코드를 쓰는 클라이언트는 세금 계산기 구실을 할 수 있습니다. (코드를 실제로 돌려 보려고 CLI 세금 인터뷰어를 클라이언트로 하나 넣어 두었습니다.)
좀 더 자세히 설명드리겠습니다.
모든 양식의 모든 줄에 YAML 표현이 붙습니다. 여기에는 원문 텍스트, 데이터 타입, 작은 lean 원자(atom) 집합으로 만든 식, 그리고 원본 공식 문서에서 해당 규칙이 있는 정확한 위치를 가리키는 인용이 들어갑니다.
YAML 계층 아래에는 lean으로 작성한 원자들의 형식화가 있어서, 원자들이 명세대로 동작하는지, 모든 계산이 허용된 원자와 연산만 쓰는지 등을 보입니다. lean 쪽과 결과가 일치하는지 교차 검증하는 TypeScript 평가기도 따로 있어서, 산술을 두 가지 방식으로 표현해 둔 셈입니다.
이런 식으로 LLM이 만든 형식화에서 가장 치명적으로 틀릴 수 있는 지점은 양식 텍스트의 해석입니다. 저는 세무 전문 변호사도 아니고 될 생각도 없어서, 이것이 제 약점이라는 점을 분명히 인정하고 프로젝트 전체를 그 전제로 설계했습니다. 이 시스템에서 나온 수치는 PolicyEngine, UsTaxes, OpenTaxSolver 등 공개된 세금 계산기와 대조해 교차 검증합니다. 변이 테스트(mutation testing)로 테스트 스위트가 버그와 산술 오류에 충분히 견고한지 확인합니다. 해석은 서로 다른 모델 계열(Claude, GPT, Deepseek)이 교차 검증하고요. 그 밖에도 여러 장치가 있습니다.
시스템 자체의 형식적 성질에서 신뢰를 끌어내고, 장차 이런 시스템을 쓸 사람들이 줄 단위 형식화를 원본 문서와 쉽게 대조해 볼 수 있게 함으로써 특정 양식의 해석을 스스로 신뢰할 수 있게 하는 것이 목표입니다.
(아쉽게도 Claude가 쓴) README에 훨씬 자세한 내용이 있습니다. 시간이 나면 제가 구상하는 프로젝트의 비전을 담아 직접 README를 쓸 생각인데, 아직 거기까지는 못 갔습니다.
IRS가 Direct File 프로그램이 중단된 뒤에 코드를 오픈소스로 공개했습니다. 제 기억으로는 거기서도 비슷한 작업을 했습니다. https://github.com/IRS-Public/direct-file
지난 스레드입니다.
IRS Direct File - https://news.ycombinator.com/item?id=44131901 - 2025년 5월 (댓글 65개)
IRS의 작성 가능한 양식(fillable forms)은 제 생각엔 정말 잘 만들었어요. 더 널리 알려져야 합니다.
예전 판례에 근거를 두지 않으면 틀린 해석이 나오는 경우가 있을 겁니다. 그게 비용이 많이 드는 부분이죠. 많은 관할권에서 세무 당국의 공식 해석은 무료로 제공되지 않습니다.
저는 올해 Astra + Codex로 세금 신고를 준비했습니다. 복잡한 신고서였는데도 꼼꼼하게 처리해 줬고, 모든 내용을 스프레드시트에 정리해서 회계사에게 보내 신고서 양식을 채우게 했습니다. 회계사가 최종 검토용으로 돌려보냈을 때 Codex에게 확인시켰더니 오류투성이였습니다. 환급액이 맞아야 할 금액보다 거의 2천 달러나 적었고, 여러 항목이 엉뚱한 칸에 들어가 있었습니다. 100% 정확해질 때까지 여러 번 주고받아야 했습니다. 지난 몇 년 동안의 신고서는 얼마나 틀렸을까 싶더군요.
앞으로는 어떤 작업에는 AI 사용이 의무가 되는 시점이 올 것 같습니다. 정밀함이 필요한 일은 사람한테 맡겨서는 제대로 해낼 수 없으니까요.
저도 올해 서명하기 전에 사업용 신고서와 개인 신고서를 Claude에 돌려 봤는데, 용서하기 힘든 어이없는 실수투성이였습니다. 이제는 전 CPA가 된 사람이 받던 비용을 생각하면 꽤 화가 납니다.
제가 인수한 사업체의 영업권(goodwill)을 15년이 아니라 5년에 걸쳐 상각했더라고요(아주 기본적인 건데 Claude가 CRITICAL ERROR라고 표시했습니다). 따졌더니 검토하다가 오류를 발견해서 고치긴 했는데 저장하는 걸 깜빡했다고 하더군요. 그런 실수를 했을 때 제대로 된 대답이 있는지는 모르겠지만, 있다 해도 그건 확실히 아닙니다.
완전 헛소리네요.
해고하셨어요?
손해배상은 요구하셨고요?
네, 해고했습니다. 그리고 청구 금액을 50% 깎아 주든지, 아니면 저한테 대금을 받으러 쫓아오든지 선택하라고 했습니다. 앞쪽을 택하더군요.
해고했다고 봐야죠.
작년 신고서들을 Astra에 넣어서 확인해 보세요! 수정 신고(amended return)를 하기에 아직 늦지 않았습니다. 최초 신고일로부터 3년인가 기간이 있을 거예요.
다들 개인 재무 데이터와 사업 재무 데이터를 AI 업체에 보내는 게 하나도 걱정되지 않으세요?
저는 해외에 사는 미국 시민이라 세금 상황이 간단하지 않습니다. 믿을 만한 국경 간(cross-border) 세무 대리인을 찾지 못해서 직접 신고서를 작성해 왔고, 최근 몇 해 동안은 작성한 초안과 증빙 서류를 전부 Claude에 넣어 검토시켰습니다. 그 결과는 이렇습니다.
환율을 잘못 적용한 것 같은 오류를 찾아냈고, (인상적이게도) 제가 어떻게 그런 실수를 했는지까지 알아냈습니다.
자기가 모르는 맥락 때문에 오류처럼 보이기만 했던 항목도 찾아냈습니다.
올바른 세무 처리에 대해 저와 의견이 갈리는 부분을 짚어 줬고, 법이 모호하다는 점은 인정했습니다. (추가로 조사해 보니 Claude의 해석이 더 낫다 싶은 경우도 있었고, 그렇지 않은 경우도 있었습니다.)
IRS 지침과 다르게 판단한 부분도 짚어 줬는데, 제가 지침 링크를 보여 주고 나서야 그 지침을 인정했습니다.
추정 세액 계산은 매우 부정확했고, 이의를 제기해도 추정치를 바로잡지 못했습니다.
그래서 제 결론은 세금 업무에 아주 유용한 도구이긴 하지만, 아마 놀랍지도 않겠지만, 서류를 전부 던져 넣고 검토할 필요 없는 완벽한 신고서가 나오길 기대할 만큼은 아니라는 겁니다. (W-2만 있고 다른 큰 소득이 없다면 가능할지도 모르지만, 그런 경우는 제가 말씀드릴 수 없습니다.)
저는 해외에 사는 데다 해외에 회사도 있습니다. 미국 세금 신고가 악몽 같고 지금은 연간 2000달러는 가볍게 듭니다. 몇 년 치 데이터가 쌓이면 원천 명세서와 최종 신고 양식만 에이전트에게 알려 주고 세금 신고를 맡길 수 있기를 바라고 있었어요.
이 벤치마크들에 따르면 아직 그 정도는 아닙니다.
Form 5471이요?
그것도 포함해서 몇 가지 더 있죠.
저도 외국인으로서 사업체를 등록하는 일을 LLM에게 상담해서 아주 좋은 경험을 했습니다. 다만 제 전문 분야가 아니고 실수했을 때의 결과도 매우 크기 때문에 여전히 의심스럽습니다.
LLM한테 상담을 받으셨다고요? (you were consulted by an LLM?)
외국인이라고 했잖아요. 십중팔구 번역 실수일 거예요.
창피하네요...
저도 세금 상황이 간단하지 않은데, 올해는 GPT Sol이 전문 회계사보다 나았습니다. 제가 많이 이끌어 줘야 했고 토큰도 20억 개쯤 썼지만, 신고 대행 수수료로 3~4천 달러를 쓰는 것보다는 낫습니다. 신고서를 준비하고 방향을 잡아 주는 데 든 시간을 합쳐도 평소 회계사와 세금 신고를 준비하며 쓰던 시간보다 적었고요.
효과가 있었던 건 제 전체 상황이 담긴 PDF와 CSV 문서를 100개 넘게 줘서 저에 대한 모든 걸 알게 하고 은행 명세서와도 교차 대조할 수 있게 한 것이라고 생각합니다.
그러니까 GPT Sol이 IRS에 제출할 수 있는 세금 신고서 PDF를 만들어 줬다는 건가요? (TurboTax처럼 바로 전자 신고(e-file)를 할 수는 없었을 것 같은데요.)
맞습니다. 먼저 스프레드시트로 작성한 다음 신고서와 보충 양식 59쪽을 채웠고, 제가 인쇄해서 우편으로 보냈습니다. FBAR 신고도 해 줬습니다.
저라면 인터랙티브 PDF 형식인 FBAR는 맡기지 못할 것 같습니다. 그래도 해냈다니 다행이네요. 어느 해엔가 FBAR를 직접 작성하는 게 지겨워지면 에이전트에게 맡겨 볼지도 모르겠습니다.