요약
이란 사용자들이 ChatGPT로 쓴 가짜 칼럼 약 100건이 미국 언론 20여 곳에 실렸습니다.
오픈AI가 정치 여론 공작에 ChatGPT가 쓰인 사례를 정리한 보고서에서 밝힌 내용을 워싱턴포스트가 보도했습니다. 글들은 가짜 필자 이름으로 실렸고, 이란 전쟁이 미국인에게 주는 피해를 부각하는 내용이 많았습니다.
왜 중요한가
- 편집자가 따로 확인하지 않는 기고 경로를 타고 AI가 쓴 글이 실제 지면에 실려 실제 독자에게 읽혔습니다.
- 데일리 코스 창립자는 이런 공작이 커뮤니티의 "봇" 의심을 키워 신뢰 자체를 흔든다고 우려했습니다.
- 피해를 입은 매체들은 글을 내리고 AI 정책과 검증 절차를 손보고 있습니다.
핵심 내용
- 페르시아어로 지시한 사용자들이 가짜 필자 7명의 이름으로 글을 만들었습니다.
- 영어 초안을 매체별 투고 기준에 맞게 고치고, 편집자에게 보낼 제안 메일도 ChatGPT로 썼습니다.
- 플로리다 주간지 포트세인트조 스타는 오래 거래한 단체 피스보이스가 보낸 칼럼이라 필자를 확인하지 않았습니다.
- 미들 이스트 모니터는 가짜 필자 이름의 글을 21건 넘게 실었고, 일부 필자 사진은 AI로 만든 것이었습니다.
- 오픈AI는 계정을 막고 당국에 정보를 넘겼지만, 돈을 받고 공작을 대행한 업체가 누구인지는 밝히지 못했습니다.
HN 반응
- 가짜 기고는 새롭지 않다는 지적에, LLM이 공작 비용을 크게 낮춘 점이 진짜 변화라는 반론이 맞섰습니다.
- 각국 정부가 자체 모델로 얼마든지 할 수 있으니 허술한 검증이 문제라는 의견이 나왔고, 홍보 부서가 기사를 심어 온 오랜 관행도 거론됐습니다.
"하지만 ChatGPT 제작사 OpenAI는 목요일, 호스킨스(Hoskins)의 이른바 작업물이 이란 기반 사용자들이 '영향력 공작'의 일환으로 자사 챗봇을 이용해 만든 것이라고 밝혔습니다."
가짜 계정과 가짜 칼럼은 새로울 게 없습니다.
새로운 건 글을 대신 써 주는 데 그치지 않고, 모든 것을 기록하고, 평가하고, 자기가 알아서 판단해 당국과 언론사에 보고하는 초중앙집중식 "도구"입니다.
... 뭐, 그것도 새로운 점이긴 하죠.
또 하나 새로운 점이 있는데(그리고 구조적으로는 이쪽이 더 중요해요. 모든 LLM이 말씀하신 일을 하는 건 분명 아니니까요), 이런 전략에 드는 비용이 극적으로 줄었다는 겁니다.
HN에 있는 이 많은 자칭 똑똑한 분들이 비용이라는 개념도, 비용이 극적으로 줄면 어떤 일이 가능해지는지도 전혀 모른다는 게 (말 그대로) 믿기지가 않네요.
문제의 핵심은 구조적인 문제, 그러니까 LLM이든 소셜 미디어든 대규모로 돌아갈 때 어떻게 작동하느냐입니다.
2024~25년에 LLM 덕분에 피싱 비용이 싸지면서, 이제는 피싱 공격 대상으로 "수지가 맞는" 새로운 사회경제적 집단이 생겼습니다.
큰 틀에서 보면 ChatGPT가 라디오 자유 방송(RadioFree*)의 논평을 가져다 쓰는 것과 다를 게 없습니다.
라디오 자유 방송은 국가가 승인한 게 아니잖아요.
셀프 호스팅 선택지가 이렇게 많은데, 지구상의 모든 정부가 어느 정도는 이런 짓을 하고 있지 않다고 볼 이유가 없습니다.
어쩌면 진짜 문제는 부실한 검증을 너무 쉽게 받아들이는 데 있는지도 모릅니다.
반대편 이야기도 있어요. AI를 오염시키는 겁니다... https://www.newsguardtech.com/special-reports/moscow-based-global-news-network-infected-western-artificial-intelligence-russian-propaganda/
"2024년에만 360만 건의 기사에 달하는 방대한 러시아 선전물이 서방 AI 시스템의 출력에 흘러 들어가, 응답을 거짓 주장과 선전으로 감염시키고 있다."
2024년 얘기이긴 하죠.. 학습할 때 쓰는 필터가 나아졌길 바라지만, 어떨지는 모르겠네요..
언론 윤리가 무너지는 문제를 해결할 방법은 우리도 알고 있습니다. 다만 그게 수익에는 적대적이죠.
국영 뉴스 회사가 스팸 기사를 수백만 건 찍어 내는 일과 그게 무슨 상관인지 궁금하네요.
다시 짚어 둡니다. 지능을 가진 존재는 백만 번을 읽었다고 해서 그 내용을 믿거나 그대로 되풀이하지 않습니다. 이제 LLM이 존재하는 만큼 우리는 진짜 해법을 하루빨리 찾아야 합니다.
인류 역사와 사회에는 이 말이 들어맞는 예보다 반례가 훨씬 많을 것 같아서 걱정입니다.
저는 분명히 «지능을 가진 존재»라고 썼습니다. "지능이 있다고 여겨지는 누군가"가 아니라요.
물론 지적으로 성취한 예보다 지적으로 실패한 예가 더 많을 수는 있습니다. 그렇기 때문에 이제는 시스템에 지능을 제대로 불어넣는 일이 시급하다는 말을 다시 하게 됩니다.
https://en.wikipedia.org/wiki/Illusory_truth_effect
20세기 동안 러시아 선전물이 서방 학계에 얼마나 스며들었을지 궁금하네요. 아주 비슷한 양상이니까요.
당신이 여기서 적색 공포를 되풀이하는 걸 봐도 어째 놀랍지가 않네요. 그런 태도는 반지성적이고 파괴적입니다.
뉴욕 타임스는 러시아 혁명 100주년에 공산주의를 찬양하는 연재 기사를 여러 편 냈습니다. "볼셰비키처럼 아이 키우는 법" 같은 기사까지 있었죠. https://www.nytimes.com/column/red-century . "공포"라는 말이 실재하지 않는 것에 대한 반응이라는 뜻이라면, 적색 공포 같은 건 없었습니다. 공산주의자의 침투는 실재했으니까요.
뉴욕 타임스가 당신 마음에 안 드는 기사를 실었다고 해서 "공산주의자의 침투"가 되지는 않습니다. 이 나라에는 언론의 자유를 포함한 표현의 자유가 있습니다.
2017년에 소련을 그리워하는 듯한 보도를 내는 건 공산주의자의 침투입니다. 물론 공산주의자에게도 표현의 자유는 있습니다. 하지만 저 역시 그들을 있는 그대로 부를 자유가 있습니다.
소련이 붕괴한 지 30년이 지났는데 소련 사람들이 뉴욕 타임스에 글을 쓰고 있었다고 보시는 건가요?
"러시아 선전"에 완전히 넘어간 사람들이 2017년에 뉴욕 타임스에서 일하고 있었다고 봅니다. 네.
상위 댓글의 논의는 러시아 선전물이 AI 모델에 흘러 들어가는 문제였다는 점을 기억해 주세요. 제 요점도 비슷했습니다. 소련의 선전물이 학자, 기자 같은 사람들의 학습 자료에 스며들었다는 거였어요. 실제 소련 사람들이라고 말한 적은 없습니다.
러시아가 2017년에 왜 공산주의를 밀겠어요?
제 요점은 20세기 러시아의 선전물이 21세기 러시아의 선전물과 마찬가지로 지식 사회의 상수원에 스며들었다는 겁니다. 선전 내용은 다르지만 그 메커니즘은 서로 닮은 점이 있습니다.
그러니까 공산주의자도 없었고 침투도 없었는데, 그냥 누군가 책인지 뭔지를 읽고 글을 쓴 것까지 그 부류의 "공산주의자의 침투"라는 거네요?
자꾸 말을 바꾸시네요. 위에서는 "소련 사람들"이라고 하셨죠. 저는 그들이 소련 사람이라고 생각하지 않습니다. 하지만 공산주의자라고는 생각해요. 그러니 "공산주의자의 침투"가 정확한 표현입니다.
검증의 문제라고는 생각하지 않습니다. 언론과 라디오가 통제되던 시절에도 밀어붙일 서사가 없었던 건 아닙니다. 다만 대부분의 사람들은 다른 선택지가 있다는 것조차 몰랐을 뿐이죠. 오늘날 사람들은 대안적인 관점이나 시각이 있다는 걸 훨씬 잘 알고 있습니다. 해법은 승인된 단 하나의 진실의 출처를 강요하는 게 아니라, 모두가 자기 버전의 진실을 밀어붙이려 한다고 가정하고 비판적으로 따져 보는 것입니다.
제가 알기로 프랑스가 이런 방식으로 움직입니다. 모든 언론이 적대적이라고 가정하고 전부 비판적으로 바라보죠. 미국에서는 이게 좀 충격입니다. 오랫동안 믿을 만한 진실의 심판자가 있었는데, 이제 그 신뢰가 줄어들자 모든 것을 비판적으로 따져 봐야 한다는 걸 깨닫기보다 대안을 찾아 헤매고 있으니까요.
마침내 "ChatGPT가 뭔가를 했다"고 쓰지 않고 운영 주체에게 초점을 맞춘 기사가 나왔네요.
다른 뉴스에서도 이런 표현을 쓰면 안 될까요? 안 된다면 일관성을 위해 여기서도 ChatGPT가 가짜 기사를 심었다고 해야 하지 않을까요?
저는 저널리즘이 어떻게 돌아가는지 잘 몰랐나 봅니다. 그럴듯해 보이는 칼럼을 써서 무명 매체에 보내기만 하면, 그게 뉴스 사이트와 신문으로 퍼져 나갈 수 있다는 건가요? 원고료도 받나요? 아니면 공짜로 주는 게 흔한 일이라 의심스럽지 않은 건가요?
예전부터 계속 있던 일입니다. 홍보 부서는 항상 뉴스 기사를 심어요. 기사를 내 줄 기자나 작가가 몇 명만 있으면 일이 굴러가기 시작합니다.
"submarining"이라고 불렀던 걸로 기억하는데, 그건 다른 뜻인 것 같네요. 조엘 스폴스키(Joel Spolsky)가 이걸 쓴 글도 본 것 같은데 지금은 찾을 수가 없습니다.
폴 그레이엄(Paul Graham)의 글을 떠올리신 것 같습니다: https://paulgraham.com/submarine.html
맞아요! 제가 떠올린 글이 바로 그겁니다. 감사합니다.