요약
AI로 찍어 낸 가짜 통계 5만 쪽을 ChatGPT가 계속 찾아 읽고 인용했습니다.
피크 AI의 GEO(생성형 AI 검색에 노출되도록 하는 최적화) 연구원 메테한 예실유르트가 직접 해 본 실험입니다. 그는 검증하지 않은 통계로 사이트를 만들고, AI 검색이 이를 어떻게 다루는지 7개월가량 지켜봤습니다.
왜 중요한가
- 구글이 걸러 낸 사이트를 ChatGPT는 계속 가져다 썼습니다. 검색 순위와 AI 인용이 따로 움직인다는 뜻입니다.
- 인용이 쌓일수록 가짜 수치가 더 믿을 만해 보이는 '인용 세탁'이 실제로 일어났습니다.
- 저자는 이런 글이 결국 모델 학습 데이터에도 섞일 수 있다고 경고했습니다.
핵심 내용
- GPT-4.1로 하루 만에 200개국 통계 페이지 5만 개를 만들었고, 수치는 하나도 확인하지 않았습니다.
- 구글은 두 번의 업데이트 뒤 사이트를 밀어냈지만, 30일 동안 ChatGPT의 실시간 조회 봇 요청은 약 7만 2천 건이었습니다.
- 가짜 수치는 학술 논문, 카타르 최대 금융그룹의 투자 보고서, 인도 경제 매체에까지 인용됐습니다.
- 저자는 재순위 모델(검색 후보를 다시 줄 세우는 모델)이 사실 여부가 아니라 관련성만 본다고 분석했습니다.
- 가짜 글은 올리지 말라고 당부했고, 글 후반은 진짜 통계를 AI에 인용되게 만드는 요령으로 채웠습니다.
HN 반응
- 일부 이용자는 사람은 판매 사이트 문구와 교과서를 구분하지만, LLM은 출처의 맥락을 지운 채 답한다고 지적했습니다.
- 각자 출처를 가려 믿으면 된다는 의견과, 그건 부담을 떠넘기는 일이니 허위 광고처럼 AI 기업에 책임을 물어야 한다는 의견이 맞섰습니다.
코리 닥터로우의 최신 논픽션 The Reverse Centaur's Guide To Life After AI(물론 아주 훌륭한 책입니다)의 한 대목이 떠오릅니다. 시맨틱 웹, 그러니까 에이전트와 AI가 쓰기 좋게 인터넷을 구성한다는 발상이 왜 통하지 않는지를 다룬 부분입니다.
책에는 더 많은 이야기가 있습니다(위 인용 바로 앞 문단은 아래에 적습니다). 다만 "속임수에 보상이 따른다"는 이 구절이 계속 머릿속에서 떠나지 않습니다. LLM을 둘러싼 수많은 논의에서 이 구절이 겹쳐 보이지 않을 수가 없습니다.
사람이 쓰는 인터넷도 이건 다 마찬가지 아닌가요?
물론 그렇습니다. 하지만 가방 판매 사이트의 상품 설명에 적힌 글을 보면 우리는 그것을 마케팅 문구로 받아들입니다. 같은 글이 가방의 역사, 디자인, 제조를 다룬 교재에 실려 있다면 전혀 다르게 받아들이겠지요.
LLM이라는 렌즈를 통해 그 글을 보면 대개 출처라는 맥락을 알 수 없습니다. 게다가 LLM은 질문에 답하려고 정보를 가져올 때 맥락을 보고 신뢰도를 걸러내는 일을 정말 못하는 경우가 많습니다.
저라면 내 xyz의 고객센터 번호를 찾으려고 URL이 수상한 아무 사이트나 들어가지 않을 겁니다. 공식 도메인으로 갈 겁니다. 그렇게 사기꾼들이 흐려 놓으려는 위험한 물길을 무사히 헤쳐 나가는 거죠.
LLM이 소비하는 정보의 맥락을 이해하는 능력을 추가하지 못할 이유도 없지 않습니까? 사람이 데이터의 신뢰도를 평가할 때 쓰는 과정을 LLM에게도 가르칠 수 있을 텐데요?
어쩌면요. 돈과 자원과 시간이 충분하다면 가능할지도 모릅니다. 하지만 조금이라도 쓸모가 있으려면 아주 믿을 만해야 하는데, 이렇게 미묘하고 복잡한 일에서 그런 수준의 신뢰성을 달성하기는 매우 어렵습니다.
여러분에게는 평생의 경험과 수많은 세대가 쌓아 온 지혜가 있어서, 새로운 정보를 어떤 맥락으로 처리해야 하는지 알려 줍니다. 게다가 이 일을 그런대로 해내도록 수년간 특별히 훈련받기도 했고요. LLM에게 같은 일을 해 주는 것이 가능할 수도, 불가능할 수도 있습니다. LLM은 그런 경험의 상당 부분을 어떤 형태로든 담고 있지만, 그것을 반복적으로 활용하는 데는 능숙하지 않습니다. 지금의 방식으로는 단순하고 효과도 별로인 버전을 시도하는 데에도 비용이 엄청나게 듭니다.
LLM이 정확도 90%를 달성한다 해도 도움보다는 방해가 됩니다. 그 기능을 쓰면서 LLM이 새 정보의 출처를 제대로 파악했다고 믿으시겠습니까? 그렇다면 10%는 오도될 텐데, 인구 전체로 보면 재앙이 될 수 있습니다. 그냥 믿지 않는다면, 그 LLM이 알려주는 모든 것의 출처를 일일이 확인하시겠습니까? 물론 아니겠지요. 지금도 검색 엔진이나 블로그 같은 데서는 그렇게 하지 않으니까요. 그렇다고 그 중간쯤에 놓이는 것은 LLM에게 아예 출처로 신뢰도를 가려내라고 시키지 않는 것보다 훨씬 나쁩니다.
하지만 이건 전부 제 의견일 뿐이고 틀렸을 수도 있습니다. 내년에 누군가 LLM에 지혜와 분별력을 불어넣을 기발한 방법을 만들어 내서 이 모든 게 사소한 문제가 될 수도 있겠지요.
삐뚤어진 인센티브만 아니면 못 할 이유가 없죠. 자기네 모델이 100% 믿을 만한 데이터를 쓰고 있지 않다고 어느 회사가 인정하고 싶겠어요?
실제 사람들이 실제로 그 모델을 쓰다 보면 데이터가 믿을 만하지 않다는 걸 스스로 알게 될 테고, 그러면 다른 모델로 갈아탈 수도 있습니다.
구독자 기반을 유지해야 한다는 것이 인센티브가 되겠지요.
공개하지 않은 광고나 오해를 부르는 광고를 막는 법이 있는 건, 그렇지 않으면 소비자가 정보에 기반해 구매할 수 없기 때문이잖아요. LLM이라고 다른 모든 것과 근본적으로 다른 양상을 보일 거라고 생각하시는 이유가 뭔가요?
제가 본 바로는 그런 법은 AI 회사들에는 적용되지 않던데요. 하고 싶은 대로 하더라고요.
동의합니다. 그리고 "공식 도메인"을 찾는 것 자체가 흥미로운 문제입니다. 입력 데이터에 PageRank 같은 가중치를 주거나, 신뢰 네트워크(web of trust) 같은 발상으로 뻔한 스팸 사이트를 걸러내면 도움이 될지 궁금하네요.
맞아요, 최신 SOTA 모델이 얼마나 잘 속는지 시험해 보고 싶으면 특정 IPO에 대한 재무 조언을 물어보세요. 셀사이드의 헛소리를 청소기처럼 빨아들여서 절대적인 사실인 양 그대로 뱉어내는 걸 보게 될 겁니다.
잘 속아서라기보다는 일하는 방식 때문입니다.
원칙적으로 AI 에이전트는 코드포스(Codeforces)에서는 인간을 뛰어넘지만, 바이브 코딩으로 만든 앱 중에는 터무니없이 어이없는 성능 문제를 가진 것이 수두룩합니다.
문제는 전문성을 어떻게 활용하느냐입니다. 어떤 문제에 대해 물어보면 장단점과 주의사항을 놀라울 만큼 자세히 알려 줍니다. 정말 초인적으로 똑똑합니다.
그런데 실제 의사결정 단계의 판단력으로 넘어가면 능력이 엄청나게 떨어집니다. 아첨 성향 같은 것과 관련이 있을지도 모르지만, 의견이 정확히 0개인 사람(그래서 취향도 없는 사람) 같습니다.
제 경험으로는 "A로 할까 B로 할까?" 하고 브레인스토밍을 하면 동전 던지기 같은 답으로 A를 내놓습니다. 그러다 "B의 이런 면은 어때?" 하고 구체적인 우려를 물으면 곧바로 180도 돌아서서 B가 A보다 훨씬 낫다고 합니다.
의사결정 지점이 자연스럽게 나타났을 때 그 전문성을 바탕으로 행동하는 데서 모든 게 곤두박질칩니다. 그냥 되는 대로 합니다.
그러니 "재무 조언 해 줘" 하고 묻는 건 이런 약점을 정면으로 건드리는 일입니다.
지금 구글에서 다음 단어와 구절 토큰 예측을 발명한 사람한테 말씀하시는 겁니다.
여기서는 "잘 속는다"가 적절한 구어체 표현입니다. 반대되는 서사를 자연스럽게 확인하지 않고, 마지막 컨텍스트에 쏠리는 최신성 함정에 빠진다는 뜻이니까요. 긴 호흡으로 컨텍스트를 구성하는 건 어렵고, 시간도 많이 들고, 무엇보다 훨씬 더 비쌉니다.
우물물에 탄 독은 어떻게 빼냅니까? 웹에서는 이런 문제를 처리하는 지원 채널이 있어야 한다는 건 압니다. 하지만 속임수가 모델에 박혀 버렸다면 어떤 구제 수단이 있나요?
늘 하던 대로죠. 건강한 회의주의를 기르고, 신뢰도를 아는 다양한 출처로 안정적인 네트워크를 만들고, 읽은 것을 그대로 믿지 말고, 어떻게 만들어졌는지 모르는 종합 결과는 더더욱 믿지 않는 것입니다.
물론 그렇습니다. 논점을 옮기려는 건 아닙니다만, 그게 (대부분의) 사람들이 할 일이라는 데는 동의합니다. 하지만 우리는 빠르게 에이전트끼리 주고받는 흐름으로 가고 있는데, "그들"에게는 평균적인 사람만큼의 분별력이 없어 보입니다. 사기를 가려내려는 우리 같은 인센티브 구조도 분명 없고요. 에이전트는 거짓을 기꺼이 되풀이하고 그 위에 덧붙여 나갑니다. 그들에게는 거짓이 거짓이 아니기 때문이고, 아닐 수밖에 없으니까요. 모델의 관점에서는 기하학적으로 가까운 라벨 더미일 뿐입니다.
평균적인 사람도 분별력이 딱히 대단하다고는 생각하지 않아요.
에이전트끼리 주고받는 흐름으로 가지는 않을 겁니다. 근본적으로 결함이 있고 지금 상태보다 나쁘니까요.
그렇다면 다음 단계는 에이전트와 LLM이 그런 분별을 하게 만드는 일이 되겠네요?
그러니까 "구매자 위험 부담 원칙(caveat emptor)"이라는 건가요? 그게 늘 현실의 일부라는 건 압니다. 하지만 그 미끄러짐에 굳이 핸들을 꺾어 들어갈 일은 아니라고 봅니다. 부담을 나머지 사람들에게 떠넘길 뿐이고, 근본 원인은 하나도 해결하지 못하니까요.
예전부터 지금까지 그것만이 유일한 가능성입니다. 무엇이 진실이고 아닌지는 각자가 직접 확인해야 하고, 직접 확인할 수 없는 것은 누구를 믿을지 정해야 합니다.
진짜 교훈은 이겁니다. 읽는 것의 99.99%에서 가장 중요한 건 출처에 대한 신뢰입니다. 직접 검증할 수 있는 사실을 접할 때도 있지만, 큰 틀에서 보면 대부분 쓸모가 없습니다. 출처가 믿을 만한지 가늠해 보는 용도 정도를 빼면요. 그 밖의 모든 것은 결국 출처를 믿을 수밖에 없습니다.
물론 운이 좋으면 어떤 내용이 사실일 수 없음을 증명하는 내부 모순을 발견할 때도 있습니다. 그리고 평소 그다지 신뢰하지 않는 여러 출처에서 같은 정보를 읽는다면, 그것이 사실일지 모른다는 약한 신호가 될 수도 있고요. 하지만 이런 경우는 대체로 소수입니다.
그럼 마시는 물은 한 모금씩 다 검사하시나요? 도로는 달리기 전에 일일이 점검하시고요? 욕실용품마다 해로운 첨가물이 없는지 확인하시나요?
다시 말하지만 저는 현실을 무시하는 게 아닙니다. 하지만 사회가 돌아가고 우리가 조금이라도 제정신으로 일상을 살려면, 보고 만지고 소비하는 모든 것에 대해 충분한 정보를 갖고 있기를 기대할 수는 없습니다. 안전성과 정확성에 대해 합리적인 가정을 할 수 있어야 하고, 그렇지 않으면 아무것도 할 수 없어요. 게다가 검증할 시간이 있다는 것 자체가 흔히 특권이고요(아니면 돈으로 밀어붙여서 안전을 살 수도 있고요).
저는 위키백과에서 읽는 모든 내용을 엄밀하게 감사하지 않습니다. 물론 예외는 있지만 어느 정도까지는 기본적인 정확성을 가정합니다. 읽거나 주장하는 모든 것에 대해 양질의 출처를 서너 개씩 찾아보시나요? 그 정도로 학구적이십니까?
요지는, 그런 것들에서는 규제 기관을 믿고 있다는 거라고 생각합니다. 온라인에서 읽는 글은 정보의 출처를 믿거나 믿지 않거나 둘 중 하나고요. 어떤 정보 출처를 믿을지 신중하게 골라야 합니다.
저한테는 그게 계산을 바꾸지 않습니다. 우리는 원하는 건 무엇이든 규제할 수 있어요.
많은 사람이 두 손을 들고, 이게 마치 피할 수 없는 물리 법칙의 결과인 것처럼 말합니다. 사실은 우리가 맞설 방법도 없는 채로 일방적으로 떠밀리고 있는 건데도요.
정보를 규제하는 일은 몇몇 수준에서는 꽤 흔하지만(예를 들어 교과서는 법적으로 정보를 통제하는 가장 큰 통로 중 하나이고, 어느 나라 역사에서든 민족주의적 거짓말에 악용되곤 합니다), 정부가 손대기에는 매우 위험한 일입니다. 트럼프 정부가 뉴스 기사를 규제할 수 있다면 NYT와 알렉스 존스 중 어느 쪽을 바로잡을 가능성이 더 높을 것 같으세요?
변덕스러운 정권에 열쇠를 넘기지 않고도 규제를 해결할 방법은 많습니다.
"진실"을 규제한다고요?
가짜 약을 팔다 걸리면 FDA는 뭘 합니까? 진실에 따옴표를 씌워 놓고 설탕 알약을 철학 문제로 만들까요?
테크 기업에 책임을 묻는 게 왜 그렇게 양심에 어긋나는 일입니까? 우리는 사기와 소비자 보호를 집행하는 방법을 알고 있습니다(이제는 알고 있었다고 해야 할까요?). 이게 흔한 허위 광고나 제품 결함과 그리 다르지 않은 상업적 책임 문제가 아니라는 건 이해가 안 됩니다.
이렇게 하지 못하면 사업자들에게 보조금을 주는 꼴이 되고, 사기의 비용을 일반 대중에게 떠넘기게 됩니다.
제 요점은 사람을 믿어야 한다는 것, 그리고 신경 쓰는 중요한 일의 거의 전부에서 의지할 수 있는 건 그것뿐이라는 겁니다. 예를 들어 음식의 경우, 저는 친구의 개인적인 추천이 없으면 수상한 식당에서 먹지 않습니다. 즉 위생적이라고 믿을 만한 근거가 있는 곳에서만 먹습니다.
그리고 제가 모든 것에 대해 양질의 출처를 찾아봐야 한다고 말한 적도 없습니다. 오히려 반대로 말했죠. 무엇에 대해 누구를 믿을지 정하고, 그걸로 끝이라고요. 그 이상 할 수 있는 건 없고, 예전에도 없었습니다. 믿는 사람이나 출처도 가끔은 거짓말을 하거나 틀리고, 그러면 우리는 틀린 정보를 알게 됩니다. 이 또한 피할 수 없습니다.
물론 어떤 정보가 자신에게 중요할수록 믿을 만한 여러 출처로 확인하는 데 더 많은 노력을 들여야 합니다. 틱톡에서 본 고양이에 대한 시시한 사실이요? 그냥 믿어도 됩니다. 누구를 찍을지, 혹은 선거가 조작됐는지 알아보는 중이라고요? 출처를 몇 개 더 확인해 볼 만합니다. 위키백과에서 단어 뜻이나 오래된 역사적 사건을 읽는 거요? 아마 괜찮을 겁니다. 조금이라도 논쟁적인 주제를 읽는 거라면 실제 출처를 확인하세요. 우연히 본 스냅샷을 믿지 말고요.*
물론 LLM이 작동하는 방식은 이와 상반됩니다. LLM이 직접 제공하는 정보는 믿을지 말지 판단할 수 있는 사람 출처에서 오는 게 아니니까요. 그러니 검증할 수 없다면 중요한 일에는 믿으면 안 됩니다. 하지만 웹의 정보나 허위정보에 관해서는, 어쩌면 양을 제외하고는 달라진 게 없습니다.
*시시한 예를 하나 들자면, "electrocution"이라는 단어의 정확한 정의가 약간 논쟁거리입니다. 전기로 인한 (심각한) 부상 전반을 가리키는지, 아니면 사망만 가리키는지 하는 문제입니다. 현학적인 사람들이 위키백과 문서에서 "또는 심각한 부상"이라는 정의 부분을 지우려고 꽤 자주 편집합니다. 그 부분을 언급한 OED 링크가 달려 있는데도요.