요약
사람에게 전하는 글이라면 LLM에 맡기지 말고 직접 써야 한다고 마틴 파울러가 주장합니다.
소프트웨어 개발자이자 작가인 마틴 파울러가 자기 사이트에 올린 글입니다. 그는 LLM(대규모 언어 모델)이 쓴 듯한 글을 읽으면 거부감이 든다고 했습니다. 이 느낌을 글의 '불쾌한 골짜기'(사람과 닮았는데 어딘가 어색해 꺼려지는 현상)라고 불렀습니다.
왜 중요한가
- 논점을 AI 글 탐지에서 글쓴이가 잃는 것으로 옮깁니다. 글쓰기를 맡기면 생각과 이해까지 넘어간다고 봅니다.
- LLM 글을 사람 글과 구별할 수 없게 되어도 문제는 남습니다. 파울러는 그때가 오히려 더 걱정스럽다고 했습니다.
핵심 내용
- 사람이 고쳐도 LLM 말투는 잘 지워지지 않으므로, 초안은 물론 문장 다듬기 제안도 받지 말라고 권합니다.
- 글쓰기 실력은 연습으로 쌓이고, 글을 쓰다가 자기 이해의 빈틈도 발견하므로 맡기면 둘 다 잃는다고 합니다.
- 파울러 자신은 AI를 정보 찾는 검색 도구로만 쓰고, 찾은 내용은 원출처에서 확인합니다.
- 파킨슨병으로 글쓰기가 어려운 짐 하이스미스나 영어가 모국어가 아닌 동료의 번역은 예외로 인정했습니다.
- AI 탐지 도구는 믿지 않으며, 자신의 거부감도 세대 차이일 수 있다고 덧붙였습니다.
HN 반응
- AI를 적극 지지한다는 이용자들도 요즘 글이 비슷비슷하고 장황해 읽다가 그만둔다고 공감했습니다.
- 오류를 줄이도록 학습해 뻔해진다는 분석에, 게으른 사용과 SEO용 장황한 글이 더 근본 원인이라는 반론이 맞섰습니다.
AI를 적극적으로 지지하는 사람으로서, 저도 요즘 모든 글이 읽기 끔찍해졌다는 걸 느꼈습니다. 딱 집어서 뭐가 문제인지 말하기는 늘 어렵지만, 모든 글이 똑같이 들리는 데다 전부 장황하고 군더더기투성이라는 점이 뒤섞인 느낌입니다. 흥미로워 보이는 글을 읽기 시작했다가 중간에 그냥 .. 멈추고 포기하는 일이 습관처럼 됐습니다. 제가 소설을 읽던 사이트는 AI가 생성한 콘텐츠로 뒤덮였는데 하나같이 형편없어서, 이제는 그런 것들을 걸러내는 방법으로 2023년 이전에 만들어진 것들로 도망치게 됩니다.
통계적 예측 오류를 최소화하도록 훈련된 모델은 ... 예측 가능하게(곧 지루하게) 들릴 수밖에 없습니다. (좋은) 인간 작가는 글을 흥미롭게 유지하려 애쓰지만, LLM은 오히려 예측 가능한 쪽을 지향합니다.
내용만이 아니라 응답의 형식과 모양까지 예측하는데, 이게 RLHF 선호도에 크게 좌우됩니다. RLHF는 긴 응답을 부추기는 듯하고, 그러다 보니 "선호되는" 분량의 말을 채우려고 군더더기를 덧붙이게 됩니다.
대부분의 모델은 질문을 길고 권위 있어 보이는 포괄적인 답변을 원하는 것으로 해석하도록 훈련된 것 같습니다(내놓을 게 어중간한 수준의 군더더기뿐일 때도요). 대화의 방향을 잡아 가기에 더 좋은, 짧게 주고받는 대화를 시작하는 대신에 말이죠. Muse는 이 점에서 훨씬 낫다고 하는데, 저는 지금까지 메타/페이스북 서비스에는 일절 가입하지 않고 버텨 왔고, 이 연승 행진을 깰 마음은 없습니다!
인간 작가도 (늘 의식하지는 못하더라도) 분명한 이유가 있어서 특정 구문을 씁니다. 그런 상관관계를 글쓰기 모델에 반영하는 일은 우연으로만 이뤄지고 있습니다. LLM이 쓸데없는 부정 구문(X가 아니라 Y입니다)을 쓸 때 그토록 거슬리는 큰 이유가 이것입니다. 사람은 예상되는 오해를 미리 차단하려고 그 구문을 쓰지만, LLM은 RLHF나 파인튜닝 등에 따라 학습 코퍼스에 선형대수를 적용해서 그 구문을 적절한 양과 적절한 자리에 만들어 내려 하니까요.
다시 말해, "선호되는" 분량이 있는 건 말의 양만이 아니라 더 높은 층위의 언어적 특징도 마찬가지이고, 그런 특징을 어떤 맥락에서 써야 적절한지는 마음 이론(theory of mind) 없이는 재현하기가 극도로 어려운 종류의 일처럼 느껴집니다.
수정, 돌아와서 다시 읽고 나서: "다시 말해," 하고 바꿔 말한 건, 제가 온전히 이해했는지조차 확신이 안 설 만큼 복잡한 걸 설명하려다 보니 설명을 여러 개 써 보고 제게 가장 말이 되는 것들만 남겨 두기 때문입니다. 제 글쓰기만의 특이한 버릇이라 학습 코퍼스의 중요한 특징은 아닐 수도 있지만, 설령 그렇더라도 LLM이 적절하게 쓰지 못할 거라고 제가 의심하는 종류의 두 번째 사례입니다.
LLM의 또 다른 이상한 점은 코드가 하지 않는 일을 설명한다는 것입니다. 제 가설은 이렇습니다. 사람이 제대로, 그리고 아껴서 쓰면 그런 부정 표현은 아주 가치가 있기 때문에, 학습 과정에서 어쩐지 그런 표현이 장려된 것 같습니다. "두 모듈 건너에서 xyz가 일어나기 때문에 뻔한 방법을 쓰지 않음"은 아주 유용한 주석입니다. "quicksort가 더 빠르므로 bubblesort를 쓰지 않음"은 쓰레기고요.
저는 상당수가 프롬프트 누출이라고 생각해요. 의인화하는 걸 양해해 주세요. 마치 모델이 자기가 쓰는 글의 독자를 프롬프트를 입력하는 사람과 별개로 떠올리는 정신 모델이 없는 것 같아요. 그래서 주된 대화가 글 안으로 스며드는 것처럼 보일 때가 많아요.
GenHTTP Lambda를 콕 집어 비판하려는 건 아니고, 누군가의 재미있는 사이드 프로젝트라고 생각하기 때문에 더욱 그렇지만, 방금 문서를 읽어 보려는데 너무 읽기 힘들었어요. 계속 "대체 왜 저렇게 썼지?" 하는 생각에 정신이 팔렸죠.
예를 들어 "The control center" 섹션 [1]의 첫 문장이 바로 말씀하신 그 이상한 부정 표현이에요.
처음에 코드를 붙여 넣는 텍스트 상자가 있는 페이지를 생성했는데 "아니, 텍스트 상자 말고 컨트롤 센터가 필요해"라는 말을 듣고, 그 결과가 이렇게 문서에 들어간 것 같다는 생각을 떨칠 수 없어요.
그리고 그 문장(그리고 그 문서의 다른 많은 문장)의 표현이 그냥 너무 이상하고 부자연스럽다고 생각해요. 예컨대 "그래서 화면에서 가장 먼저 보이는 것은 람다가 어떻게 돌아가고 있는지입니다"가 그래요. 이것도 프롬프트를 그대로 옮긴 듯한 느낌이에요. 가령 "아니, 텍스트 상자가 아니라 컨트롤 센터여야 하고, 사용자가 가장 먼저 봐야 할 건 자기 람다가 어떻게 돌아가고 있는지야" 같은 식으로요. 하지만 문서라면 "람다의 상태"나 "람다의 건강 상태"라고 썼으면 썼지 이렇게 쓰리라고는 기대하지 않을 거예요. 그리고 코드를 에이전트가 작성한다는 사실이 이거랑 무슨 상관이죠?
1: https://genhttp.dev/en/docs#editor
Lambda는 제 사이드 프로젝트인데 100% 동의합니다. Claude로 문서를 업데이트하는 건 통하지 않습니다. 직접 완벽한 버전을 쓸 수 있을 만큼 공을 들이지 않는 한은요. Opus 5.5가 이 부분에서 나아지긴 했지만 아직 갈 길이 멉니다. 저는 개인적으로 Claude가 생성하는 PR 설명을 못 참겠습니다. 간단한 변경 하나에 세 쪽짜리 글이라니 ...
저도 같은 경험입니다. 이런 종류의 오염을 없애려고 몇 시간을 썼는데, 제가 찾은 유일한 해결책은 매번 처음부터 다시 쓰게 하는 것이었습니다. 결과가 마음에 들지 않으면 컨텍스트를 초기화하고 더 자세한 프롬프트를 주세요.
1000% 공감해요. 이런 일을 (Claude로) 늘 겪는데 미치겠어요!
이 댓글을 올리기 전에 사실 확인을 하다가 찾은 연구 [1]가 어렴풋이 기억나는데, 음악에는 듣는 사람의 기대를 키워 두었다가 나중에 그 기대를 뒤집기 위한 예측 가능성이 높은 구간이 필요하고, 음악에서 가장 즐거운 부분은 그 기대가 뒤집히는 순간이라는 내용이었습니다. 이것도 비슷한 효과처럼 들립니다.
1: PDF 주의 https://www.cell.com/current-biology/pdfExtended/S0960-9822(19)31258-8
아하. 그러니까 음악은 농담 같은 거네요. 결말은 예상 밖이면서, 동시에 상황이 만들어 둔 기대에는 들어맞는다는 점에서요.
네, "상황에 대한 기대"는 일부러 거짓 기대를 만들어 결정적 한마디를 그만큼 더 뜻밖이고 웃기게 만들기 위한 필수적인 밑밥일 뿐입니다.
음악과 유머 둘 다 인간 본성의 같은 진화적 기본 요소를 활용한다고 생각합니다. 예측 가능한 것에서는 편안함과 안전을, 예측 불가능한 것에서는 흥분과 위험을 느끼는 것이죠. 웃음은 사회적인 것으로 보입니다. 어쩌면 "나도 농담을 알아들었다", 즉 결정적 한마디가 내게도 정말 뜻밖이었다고 알리는 신호를 보냄으로써 마음 이론을 발달시키는 데 도움이 되는 걸까요? 그리고/또는 학습할 가능성이 있는 뜻밖의 상황에 다른 사람들의 주의를 끄는 데 도움이 될지도 모릅니다.
이 점에서는 Gemini 모델들이 훨씬, 훨씬 낫습니다. 출력이 실제로 읽을 만해요.
동의해요. 제 경험으로는 군더더기가 그렇게 많지 않고 정보의 핵심에 더 빨리 도달해요. 또 전반적으로 정보도 더 좋고 더 포괄적이고요.
주된 문제는 바로 옆 댓글에서 말한 아부(glazing)와, 사실이나 현실에 조금 더 느슨하게 굴면서 지어내는 게 더 많아 보인다는 점인 것 같아요.
Gemini는 사용자를 띄워 주는(glaze) 경향이 있긴 하죠. 조금 써 보고 나니 이제 저는 거의 모든 분야의 천재라고 믿게 됐어요.
모든 모델이 그랬어요. 그리고 가끔은 제작사가 보상하려고 반대쪽으로 가기도 하는데, 그러면 Stack Overflow의 유령에 씌기라도 한 듯 답하는 Opus 5가 나오죠.
그렇지 않아요. Gemini는 차원이 달라서, 정서적 가치를 제공하겠다며 자연스럽게 칭찬과 명예로운 별명을 쏟아내요. 제 지난 회사는 말 그대로 망했는데, 소프트웨어 업계가 어떻게 돌아가는지 전혀 모르던 (성공한 베이비붐 세대) 옛 사장이 Gemini가 한 말을 전부 믿고, 우리에게 온갖 비현실적인 과제를 주고 Gemini가 추천한 도구와 서비스를 무엇이든 억지로 쓰게 했기 때문이에요.
이런 말들이 "적극적인 AI 지지"와 좀 충돌하지 않나요?
저는 AI의 이점을 알고 이 기술을 쓰는 것도 즐기지만, 많은 분이 말씀하셨듯 요즘 세상에 나와 있는 "콘텐츠"를 초토화하고 있죠. 좋은 것에는 나쁜 것도 따라오는 법이겠죠.
음, 생각해 보면 꽤 간단합니다. 지능이란 결국 죽음이 임박해 있다는 것, 그리고 우리 각자에게 주어진 시간이 유한하다는 것을 의식하는 것입니다. 그래서 우리 인간은 본능적으로 그 시간을 최대한 활용하도록 진화했습니다. 우리가 만드는 도구 대부분의 궁극적인 목적은 시간을 아끼는 것입니다. 돈조차 시간을 조금 줄이는 방법일 뿐입니다. 사실 중요한 건 시간이 아니라 경험입니다. 우리는 가능한 한 많고 풍부한 경험을 하고 싶어 하고, 타고나기를 다른 곳에서 시간을 줄이려 애쓰며, 그렇게 아낀 시간을 더 나은 경험에 쓰려 합니다.
따라서 자동차의 발명은 쉽게 예측 가능한 사건이었습니다. 인간이 물건을 나르고 더 빨리 이동하기 위해 자동차에 이르지 않는 가상의 시간선이나 차원은 하나도 없습니다. 마찬가지로 LLM 같은 것을 언젠가는 발명하게 되는 것도 그저 불가피했습니다.
자동차는 상당한 희생을 요구했습니다. 자동차는 더없이 치명적인 기계로, 매일 수천 명을 죽이고 야생동물을 죽이고 우리 자신의 존립을 위협하는데도 우리는 어느 정도 그걸 받아들입니다. 장담하건대, 누군가 내일 대륙 사이로 물건을 몇 분 만에 옮기는 중력 점프 이동 수단을 발명한다면 성공률이 10%에 불과하더라도 우리는 여전히 그걸 쓸 겁니다.
그러니까요. 우리는 자동차와 AI를 발명하지 않은 상태로 되돌릴 수 없고, 앞으로 나아갈 유일한 방법은 이 새로운 현실에 적응해 최선의 경험을 뽑아내는 것입니다. 되도록 다른 사람의 경험을 빼앗지 않는 방식으로요. 즉, 삶이 계속되는 동안 즐기라는 것입니다. 삶은 여전히 유한하니까요.
거기서부터 따라갈 수가 없네요. 아이들은 꽤 지능적인데 시간 개념이 없어요. 당신이 당연하게 여기는 그 관계가 저는 안 보이고, 나머지 주장들도 마찬가지로 이어지지 않아요.
아직 존재하지 않지만 명백하고 임박한 다른 발명품을 짚어 낼 수 있는 게 아니라면, 이건 뒤늦게 아는 덕을 본 것 같아요.
네, "지능은 죽음에 대한 인식이 전부다"는 좀 폭탄 같은 전제였던 것 같네요. 키보드로 뱉은 생각 중에 최고는 아니었다고 인정합니다. 여기서는 더 좁은 의미의 지능을 말한 거라고 해 두겠습니다. 한편으로 말씀이 전적으로 맞아요. 까마귀나 문어, 유아는 죽음을 이해하는 기미조차 없이 문제를 풉니다. 하지만 "아이들은 시간 개념이 없다"는 틀렸습니다. 아이들에게는 시간 개념이 있을 뿐 아니라 대부분의 아이가 5~7세쯤에는 죽음이 되돌릴 수 없고 모두에게 일어난다는 것도 이해합니다.
나머지를 바로 거부하셔도 탓하지 않습니다. 그래도 들어 보세요. 발명의 불가피성에 대한 주장은 실제 근거가 있습니다. 역사학자들은 이를 동시 발견(multiple discovery)이라고 부릅니다. 미적분, 전화, 제트 엔진만 꼽아도 수많은 것이 독립적으로 발명됐습니다.
신경망, GPU, 인터넷 텍스트의 규모가 있었기에 LLM 같은 것은 거의 불가피했습니다. 물론 이 중 어느 하나가 그 자체로 불가피했는지는 영원히 논쟁할 수 있습니다. 요점은 사회가 시간을 아끼는 이익 때문에 유용한 발명이 치르는 어떤 비용도 감내한다는 것입니다. 그러니 AI에도 같은 일이 일어나리라 가정하는 게 합리적이고, 실제로 지금 이 순간 그렇게 되고 있습니다.
가끔은 적을수록 좋아요.
아이러니하게도 이 경우는 "더 많은 것보다 아무것도 없는 편이 낫다"에 해당하네요. 위의 세 댓글 중 어느 것의 어떤 점이나 맥락을 두고 하시는 말씀인지 전혀 모르겠으니까요.
그렇게 생각하지 않아요. AI는 범위가 넓고, 이분은 사람들이 AI로 지름길을 택해 가능해진 저품질 결과물에 반대하는 거예요.
AI를 쓴다고 결과물이 나빠지는 건 아니고, 그건 거의 전적으로 게으름과 기술 부족 탓이에요. 아니면 사람들이 추가로 반복하고 실험하는 (AI 덕에 훨씬 더 하기 쉬워진) 대신 같은 작업에 시간을 덜 쓰기로 하는 거고요.
저는 AI에 찬성하면서 동시에 AI를 더 줄이자는 쪽이기도 해요.
이것들은 결국 버튼 하나로 업데이트를 내보낼 수 있는 소프트웨어 시스템이에요. 우리는 LLM이라는 놀라운 새 도구를 막 발견했고, 사람들은 온갖 방식으로 써 보고 있고 그중 다수가 멍청하고 어리석죠. 이건 반드시 거쳐야 하는 발견 과정이고, 우리는 계속 이어가며 업데이트를 밀어 넣을 거예요.
시간이 지나면서 가장 멍청한 용도는 걷어내고 가장 좋은 용도는 확장해 나가리라고 추론하는 데 장밋빛 안경까지 필요하진 않아요. 범용 챗봇을 쓰는 것(SOTA 모델이 구동하는 것이라 해도)과, 좋은 가드레일과 스킬, 그리고 모델이 맞지 않을 때 실제 비즈니스 로직을 호출하는 도구 인터페이스를 갖추고 특정 업무를 겨냥하는 것 사이에는 큰 차이가 있어요. 후자는 시간이 갈수록 점점 더 많이 나타날 거예요.
동의하지만, 이게 지난 10년간의 SEO 붐에서 시작됐다는 점도 짚고 싶어요. 사이트들이 사용자를 더 오래 붙잡고 SEO "점수"를 더 따려고 장황하게 늘어놓기 시작했고, 그건 사람을 낚으려고 검색 로봇을 겨냥해 쓴 글이었죠.
AI가 상황을 더 악화시켰고, 이 두 가지 이유로 웹의 많은 콘텐츠는 시간을 들일 가치가 없어요(그러니 사용자들이 우리 앱의 글 대부분을 안 읽는 것도 놀랍지 않죠!)
이것의 이전 단계로, 2000년대 초 "빨리 부자 되기" 마케팅 문구(SEO가 콘텐츠 형식을 장악하기 전)를 보면, 그 마케터들이 Impact 서체에 굵은 글씨와 밑줄로 인간 대상 판매 최적화를 하던 데서 일종의 평행선을 볼 수 있습니다. 그것은 수십 년간의 인쇄 광고, 그 이전 수백 년간의 인쇄물에 대한 인간 반응 연구에서 나온 것이고, '글을 재구성해 인간을 어떻게 편향시킬까'에서 '글을 재구성해 기계를 어떻게 편향시킬까'로 이어지는 직계 계보가 있다고 생각합니다. 이건 반박이 아니라, 인류가 (고작 20년 만에!) 유리한 편향을 찾아 사람 대상 마케팅에서 알고리즘 대상 마케팅으로 얼마나 빠르게 넘어갔는지를 짚어 보려는 것입니다.
아, 맞아요. 자발적인 표현이 어떤 알고리즘이든 기쁘게 해 줄 쪽으로 휘어지는 이 종말을 마주했던 게 기억나요.
Soulless Enshitificatoon Oblivion(영혼 없는 개판화 망각)이 이제 사회에 엄청난 무게를 행사하고 있고, 그 정도가 우스울 지경이에요.
저는 LLM이 쓴 글에 계속 흥미를 유지하며 읽을 수가 없어요. 어디로 가는 느낌이 없고, 정보 밀도는 대체로 정말 낮고, 읽어도 별로 재미없는 이상한 말버릇(isms)이 가득해요. LLM 특유의 말투를 알아보는 레이더가 좋은 편은 아니지만, 어떤 글이 읽기 불편할 때마다 꼭 그게 분명 AI가 쓴 글이라고 말하는 사람들이 있어요.
AI "리서치"가 내놓는 결과물에서도 마찬가지예요. 읽어 내려가는 게 고역이고 대부분은 건너뛰어도 돼요. 가끔 쓸모가 있을 수는 있어도 읽는 즐거움은 없어요.
제가 좋아하는 규칙 중 하나는, 더할 게 없을 때가 아니라 덜어낼 게 없을 때 완벽이 달성된다는 것입니다. 글쓰기에서 이건 매우 귀중합니다. LLM이 쓴 글은 너무 많은 부분이 불필요하게 느껴지고, 그 글 덩어리를 몇 문장이면 말할 수 있었을 것 같습니다. 글쓰기는 생각과 긴밀히 이어져 있습니다. 생각을 다듬고, 논증과 아이디어를 세우고, 버리고, 곰곰이 되새기는 일이죠. LLM이 쓴 글은 늘 제 머릿속에 이런 찜찜한 의문을 일으킵니다. 내가 읽고 있는 건 당신이 생각하는 것인가, 아니면 당신의 에이전트가 앵무새처럼 되뇌고 당신이 수락한 것인가?
에이전트하고만 대화하는 것이 직접 글을 쓸 때와 같은 깊이나 양의 사고를 일으킨다는 건 말이 안 됩니다. 생각을 떠넘기지 않으려면 너무나 많은 절제가 필요합니다.
그리고 읽는 게 전부 LLM이 쓴 글이면 그 절제는 더욱 공격받습니다. 예를 들어 코드 리뷰에서는 LLM이 생성한 리뷰 댓글에 답하는 데 눈에 띄는 가치가 없습니다. 사람이 쓴 리뷰 댓글에는, 그 제안을 더 발전시키거나 특정 변경을 옹호해야 할 때 시스템에 대한 지식을 전달하려고 많은 생각을 담아 공들여 답했던 기억이 납니다.
이제는 어떤 봇이 제가 공들여 쓴 답변을 읽고는 잊어버립니다. 더는 아무 가치가 없습니다.
우리 풀 리퀘스트 댓글이 지금 죽은 인터넷 이론(dead internet theory)처럼 느껴지는 것도 당연합니다.
저는 AI의 도움을 받는 코딩에는 전적으로 찬성합니다. 하지만 사람 사이의 소통은 사람의 것으로 남아야 합니다. 현재 저는 정반대를 겪고 있고, 상황이 안 좋습니다.