요약
AI가 인용한 통계를 끝까지 따라가 보니 같은 내용의 출처에 닿은 것은 40%뿐이었습니다.
AI 검색 모니터링 서비스를 파는 트래커의 조사입니다. ChatGPT 등 다섯 AI에 숫자를 묻는 질문 200개를 던지고, 인용된 통계 1,285개의 출처를 최대 다섯 페이지까지 따라갔습니다. 측정은 10월 25일 하루에 했고, AI 판정은 사람이 검토한 150건으로 보정했습니다.
왜 중요한가
- 문제는 AI가 숫자를 지어내는 것보다 근거 없는 2차 페이지의 숫자를 되풀이하는 데 있습니다.
- 인용 페이지의 82%에 그 숫자가 있었지만 직접 조사한 자료는 21%여서, 출처 링크만으로는 믿을 수 없습니다.
- 세 곳 이상이 인용한 통계도 29개 중 11개만 출처가 확인되어, 여러 AI의 일치가 검증을 뜻하지 않습니다.
핵심 내용
- 추적 결과는 출처 확인 40%, 출처에서 내용이 바뀜 8%, 확인 불가 40%, 근거 없이 끊김 11%였습니다.
- 출처 확인 비율은 ChatGPT 57%, Perplexity 46%였고, 나머지 셋은 38~39%로 순위를 가리기 어려웠습니다.
- 영업사원의 44%가 후속 연락 한 번 만에 포기한다는 수치는 다섯 AI가 모두 인용했지만, 연구를 밝힌 페이지가 없었습니다.
- 첫인상의 94%가 디자인에 달렸다는 수치는 영국 여성 15명이 건강 웹사이트를 평가한 2004년 연구에서 나왔습니다.
- 저자는 인용을 원래 연구까지 따라가 조사 대상, 표본 크기, 시점을 확인하라고 권했습니다.
HN 반응
- Perplexity의 문장별 출처 표시가 강점이라는 의견에, 링크에 그런 내용이 없거나 AI 스팸 블로그를 인용한다는 경험담이 맞섰습니다.
- 일부 이용자는 이 글이 트래커 광고에 가깝고 AI가 쓴 듯하다고 의심했으며, 동료 심사 논문도 자주 틀린다는 지적도 나왔습니다.
저한테 AI의 꿈은 이런 겁니다. 에이전트가 모든 주장을 뒷받침하는 참고 자료와 문서까지 일일이 추적하고, 결국 검증에 필요한 궂은일을 대신 해 주는 것이죠.
하지만 실제로는 그런 용도로 쓰이지 않습니다. 우리는 실사(due diligence)를 건너뛰는, 더 빠른 "답"을 원합니다. 늘 하던 대로인데 더 게을러졌을 뿐입니다.
동의합니다. 게다가 이미 지지할 만한 더 나은 해법이 있습니다. 완벽하진 않아도 위키백과가 바로 그런 방식으로 대규모로 운영되고 있습니다. 어떤 AI 기업보다 훨씬 적은 연간 예산으로 인류 전체에 이로운 훨씬 높은 품질의 콘텐츠를 오랫동안 만들어 왔습니다. 반면 AI 팀 대부분은 남들이 만든 결과물을 긁어모으면서, 정작 자기네 독자적인 작업은 대부분 자신들의 이익을 위해 인간의 노동을 대체하는 데 쓰고 있습니다.
위키백과 커뮤니티는 AI가 생성한 항목을 금지합니다. AI 환각을 검증하고 지우는 일이 처음부터 직접 글을 쓰는 것보다 편집자에게 훨씬 더 큰 부담이 되기 때문입니다 [1, 2].
위키백과의 방식이 마음에 들지 않으면 포크를 뜨면 됩니다. 스페이스X/트위터가 2025년 10월 27일에 그록피디아(Grokipedia)를 내놓으면서 그렇게 했죠. 하지만 그록피디아는 별다른 개선을 제대로 담아내지 못했고, 품질과 신뢰성 면에서 곁길로 샌 부분이 많습니다 [3].
[1] https://en.wikipedia.org/wiki/Wikipedia:Writing_articles_with_large_language_models
[2] https://en.wikipedia.org/wiki/Wikipedia:Editing_policy#Artificial_intelligence_additions
[3] https://en.wikipedia.org/wiki/Grokipedia#Reliability
[보기 좋게 서식을 수정했습니다]
위키백과의 문제는 분야별로 품질 편차가 크다는 점입니다. 기술이나 소프트웨어 공학 쪽은 훌륭하고 물리학은 들쭉날쭉한데, 가장 기초적인 수학 개념조차 항목이 완전히 이해 불가능한 경우가 있어요.
저는 AI에게 어떤 개념을 쉽게 이해되는 세 문단으로 개괄해 달라고 자주 부탁합니다. 위키백과에는 그 개념이 수백 문단짜리 글로 되어 있고, 읽기 시작하려면 교과서 여러 권을 선수 지식으로 알아야 하는데도요. 그것도 곱셈이나 거듭제곱 같은 기초 수학 개념이 그렇습니다.
저는 기술 문서를 쓸 때마다 Claude를 정확히 이런 식으로 씁니다. 이를 위한 스킬도 직접 만들었고요.
모든 주장에는 반드시 참고 문헌이 붙어야 하고, 모든 참고 문헌은 두 번씩 확인해야 합니다. 2차 자료보다 1차 자료를 훨씬 선호하며, 1차 자료를 찾을 수 없는 경우에는 그 사실을 반드시 표시하게 합니다.
또 결과물이 더 길어지더라도 더 단순하고 이해하기 쉬운 글을 쓰도록 고집합니다. 일반 신문 수준의 독해 난이도로 일반 독자를 겨냥하는 겁니다.
스킬의 나머지 대부분은 시카고 매뉴얼 스타일을 제대로 따르도록 하는 것, 그리고 과부/고아 행 처리가 콜아웃 박스나 표 등에 어떻게 적용되는지에 관한 내용입니다.
링크 있나요? 공유해 주실 수 있어요? :) 저는 보통 톤 가이드부터 시작하게 되더라고요.
저도 다른 많은 분들처럼 같은 생각을 했는데, 이쪽에는 어떤 해법이 있을까요?
말로 풀어 보면 이렇습니다. LLM 위에 출처 이력(provenance)을 추적하는 계층을 얹는 겁니다. 접근한 문서, 추출한 사실, 실행한 수식과 쿼리를 기록하고, 마지막으로 산출물과 결과에는 결론에 이르게 된 경위를 정확히 보여 주는 증빙(receipt)이 붙는 식으로요.
리걸테크 제품들은 이런 식으로 만들 수밖에 없을 거라고 짐작합니다. 이런 일반적인 패턴을 구현한 게 GitHub에 있나요?
네, 저는 https://groundedai.company/ 에서 이 일을 하고 있어요.
저희는 인용과 주장 검증에 초점을 맞춘 Veracity라는 제품을 만듭니다. 법률 분야가 주력이고, 학술·기술 출판 쪽도 있어요. 제출된 글에서 환각으로 만들어진 인용을 찾아내는 일 같은 걸 하죠.
곧 LLM 하네스 계층에 초점을 맞춘 무언가를 공개할 계획이에요.
이 문제를 몇 년째 붙들고 있고, 조금씩 반응을 얻는 중입니다.
지금은 전부 비공개 소스예요. 그 문제는 저희도 자주 다시 논의하긴 하지만요.
형제 댓글 하나에는 반론을 하고 싶네요. 해법은 RAG가 아니에요. 적어도 RAG만은 아닙니다. 1) 반드시 '생성'이 개입하는 것도 아니고요(예컨대 저희 근거 확인 모델은 생성형 AI에 의존하지 않습니다). 2) RAG는 컨텍스트를 풍부하게 해 줄 뿐입니다. 검색을 제대로 해내더라도(그것도 당연한 건 아니죠) LLM이 그 컨텍스트를 충실하게 혹은 올바르게 쓴다는 보장도, 모든 주장이 출처로 뒷받침된다는 보장도 없어요. RAG는 추적 가능성이나 검증과 같은 게 아닙니다.
저도 이와 관련된 걸 작업하고 있고, 앞으로 몇 주 안에 오픈 소스로 공개할 수 있기를 바라고 있어요. 그냥 연구 프로젝트라서 당장 사서 프로덕션에 올릴 수 있는 제품은 아니지만, 저는 꽤 기대하고 있습니다. 지금 많은 사람이 적어도 부분적으로는 메모리 계층 같은 것이나 다른 "근거 확보(grounding)" 방식으로, 혹은 인증과 거버넌스 쪽의 최근 흐름으로 이 문제를 다루고 있다고 생각해요. 그런데 지금은 이렇게 갈려 있습니다.
오로지 모델 성능(벤치마크 점수)에만 집중하는 그룹
거버넌스, 해석 가능성, 컨트롤 플레인 등에 정말로 집중하는 그룹
이 둘이 같은 문제라고 생각하는 소수의 열광적인 괴짜들(저도 포함)
뉴로심볼릭 방법이라는 이름으로 느슨하게 묶이는 연구들을 파고들어 보시면 흥미로울 수 있어요. 말씀하신 것 같은 패턴은 많은 사람이 여러 방향에서 시도해 봤거나, 관련된 문제를 다루다가 적어도 슬쩍 건드려 본 주제입니다.
그 해법의 이름이 RAG, 즉 검색 증강 생성(retrieval augmented generation)입니다. 자료 묶음 위에 직접 만들기도 꽤 쉬워요. 저는 제가 좋아하는 요리책과 수제 맥주 양조 책을 모아 일주일 만에 제 용도로 하나 만들었습니다. 필요한 건 원본 자료, postgres(pgvector), 그리고 약간의 컴퓨팅뿐이에요(청킹과 라벨링용으로 쓸 만한 채팅 모델, 임베딩 모델, 리랭크 모델을 llama.cpp로 돌리거나, 라우터로 그런 모델을 쓸 약간의 돈). 자료 색인이 끝나면 평소 쓰는 코딩 에이전트에 검색 결과로만 답하도록 강제하는 시스템 프롬프트를 붙여 쓰면 됩니다.
이 보고서의 문체("One number, followed", "Quoted by all five. Sourced by none.")가 게으른 건지 일부러 비꼬는 건지 모르겠네요?
아마 조사부터 집필까지 전부 AI가 했겠죠…
Perplexity는 이제 별로 거론되지 않는다는 건 알지만, 모든 문장이 실제 출처(학술 논문 같은 동료 심사를 거친 것)로 거슬러 올라갈 수 있어야 한다는 설계는 신뢰라는 면에서 엄청난 강점으로 보입니다.
네, 링크를 따라가 보니 Perplexity가 말한 내용이 거기엔 없다는 걸 알게 되기 전까지는요. 저는 이런 일을 끔찍할 만큼 자주 겪었습니다.
여기서 언급되긴 하는데 점수가 딱히 더 좋아 보이진 않습니다. 이 페이지 자체가 패러디가 아니라 그냥 좀비 통계 그 자체가 아니라면요.
저는 처음 Perplexity를 써 봤을 때 AI가 만든 블로그 스팸을 1차 출처로 인용하는 일이 너무 꾸준해서 곧바로 구독을 끊었습니다. (1년도 더 전 일이고, 그 뒤로 다시 평가해 보진 않았습니다)
저는 Perplexity 시스템 프롬프트에 "신뢰할 수 없는 출처는 무시해"와 "주장이 여러 출처로 뒷받침되는지 확인해"를 넣어 뒀는데, 효과가 있는 것 같습니다.
물론 중요한 일이라면 직접 출처를 읽어 보겠지만요(일상적인 일은 대부분 이 정도로 충분합니다). 참고로 무료 플랜입니다.
"실수하지 마!"도 꼭 추가하세요.
아, 그 유서 깊은 마법의 주문이군요!
가끔은 놀랄 만큼 잘 먹혀요 (:
LLM은 가끔 정말 이상합니다. 코딩 하네스를 쓰는데 에이전트가 올바른 도구 호출 문법을 계속 못 지키는 문제가 있었어요(OpenRouter의 아무 무료 모델이나 쓰고 있었습니다). 그래서 "look closelier at the tool call format"이라고 메시지를 보냈더니, 그 세션이 끝날 때까지 모든 도구 호출이 성공했습니다.
뭐가 AI 블로그 스팸이고 뭐가 맞는 정보인지를 Perplexity가 판단해야 하는 건가요? 온라인에 실제로 존재하는 것과 비교해서요.
질문이 무슨 뜻인지 잘 모르겠습니다.
Perplexity가 누군가에게 쓸모가 있는지, 얼마나 쓸모 있는지는 (1) 가능한 한 자주 정확한 답을 내놓는지, (2) 가끔 틀리더라도 확인이 가능한지에 달려 있습니다.
Perplexity의 답변이 AI가 생성한 블로그 스팸을 자주 신뢰할 만한 것으로 취급한다면, 정확한 경우가 줄어들 가능성이 높고(AI 블로그 스팸을 만드는 사람들은 보통 자기가 만든 내용이 일관되게 정확할 필요가 없으니까요) 확인하기도 더 어려워질 겁니다(AI 블로그 스팸을 만드는 사람들은 보통 출처를 분명히 밝힐 필요도 없고, 설령 밝히더라도 링크를 따라가는 단계가 하나 더 생기니까요).
그러니 Perplexity가 AI가 만든 블로그 스팸을 많이 띄운다면 아마 그만큼 쓸모가 떨어질 겁니다. 그게 "Perplexity가 판단할 몫"인가요? 다시 말하지만 그게 무슨 뜻인지 모르겠고, 그게 중요하다고도 생각하지 않습니다. 중요한 건 시간과 돈과 노력과 주의력을 얼마나 들여서 어느 정도의 가치를 얻느냐입니다. 출력이 대부분 AI 블로그 스팸의 주장을 되풀이하는 것이어서 "얻는 건 별로 없는데 들어가는 건 너무 많다"는 결론이 난다면, Perplexity가 더 잘해야 할 어떤 의무가 없다고 볼 여지가 있더라도 Perplexity로서는 그만큼 나쁜 일입니다. 반대로 출력이 믿을 만하고 확인 가능하다면, 부족한 점이 어떤 의미에서 도덕적 결함이라 해도 Perplexity로서는 그만큼 좋은 일이고요.
AI 통계의 무려 40%는 실제로 뒷받침하는 연구가 있다고요? 인간의 기준선이 통계의 73.6%*를 그 자리에서 지어낸다는 걸 생각하면 정말 고무적이네요.
*물론 이 통계도 지어낸 건데, 제가 지어낸 건 아닙니다.
게다가 이 글은 출판되어 동료 심사를 거친 권위 있는 출처 가운데 상당수가 결국 틀린 것으로 드러난다는 사실은 건드리지도 않습니다[1]. 과학은 어렵습니다. 데이터 수집과 정제도 어렵고요. 실수하기는 쉽습니다.
[1] https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
쉿, 그 엄청난 재현성 위기는 입에 올리면 안 되는 얘기잖아요.
아, 죄송해요. 제 불찰이네요.
그럼 사기는요? 그건 얘기해도 되나요? 아니면 소칼 사건 식으로 "헛소리라도 실어 준다"는 저널들은요?
농담은 접고 진지하게 말하자면, 우리는 이 문제를 이야기해야 합니다. 인류가 만든 가장 위대한 진보의 엔진이 안에서부터 썩고 있고, 그 움직이는 시체는 이제 지위를 부여하는 도장 찍는 기계로 쓰이고 있어요. 예전과 똑같이 "날 믿어, 하느님이 내가 옳다고 하셨어" 하는 사제 집단이, 법복 대신 실험복을 입고 있을 뿐입니다.
저는 그리번스 스터디 사건(grievance studies affair)이 정말 재미있었어요 ㅋㅋ 다 너무 웃기지만, 이건 실제로 심각한 문제예요. 썩은 나무 위에 바벨탑을 쌓은 꼴이라면 결국 이 판 전체가 무너지는 날이 올 수도 있습니다.
trakkr라는 곳의 광고를 얇게 포장한 글일 뿐이네요. 게다가 여기 나온 "통계" 중에 컨설턴트가 피치 덱에 넣을 만한 소재 말고는 실제로 중요한 건 하나도 없어요. 그런 경우엔 어차피 정확도가 중요하지도 않고요.
또 하나의 주된 용도는 이미 가진 의견을 정당화하는 겁니다(그리고 동의하지 않는 사람들을 때리는 몽둥이로 인용하는 거죠).
제 Claude는 제 선호 설정이 들어가 있을 때는 대체로 실제 수치가 담긴 연구를 인용해 줘요. 그런데 시크릿 모드로 들어가면 상상할 수 있는 최악의 인용을 내놓습니다. 한번 그렇게 해 봤는데 통계가 얼마나 형편없는지 질릴 정도였어요. 수치를 다시 확인할 생각을 못 하는 사람들이 걱정됩니다. AI에게 수치가 맞는지 재검증하라고 하거나, 사용자가 직접 확인할 수 있게 링크를 달라고 요구할 생각을 못 하는 사람들이요.
직접 학습 코퍼스에 몰래 집어넣은 게 아니라면 어떤 통계도 믿지 마세요.