요약
오픈AI Codex에서 꺼 둔 학습용 데이터 공유 설정이 사용자도 모르게 다시 켜졌다는 제보가 나왔습니다.
본문
우리 회사는 프롬프트를 통해 지식재산이 프런티어 연구소(최첨단 AI 모델을 만드는 회사)로 새어 나갈까 봐 꽤 경계합니다. 그래서 우리는 모두 Codex, Claude Code 등에서 데이터 공유를 꼬박꼬박 꺼 두었습니다. 그런데 어제 동료들과 저는 Codex에서 이 설정이 아무 알림 없이 다시 켜져 있다는 것을 알아챘습니다. 우리 가운데 알면서 다시 동의한 사람은 아무도 없습니다.
설정은 여기서 확인할 수 있습니다: https://chatgpt.com/settings/data-controls. "Improve the model for everyone"(모두를 위한 모델 개선) 항목을 찾아보면 됩니다.
이 문제가 일부에게만 생긴 것인지, 더 널리 퍼진 것인지 궁금합니다.
수정: 전에도 이 문제가 지적된 적이 있는 것 같습니다 https://news.ycombinator.com/item?id=49643556
수정: 여기서도 데이터 공유를 끌 수 있다고 합니다: https://privacy.openai.com/policies?modal=take-control
HN 반응
- 다른 이용자도 끄기 요청이 두 번 처리된 기록이 있는데 다시 켜져 있었다며, 사용자 대화가 오픈AI의 연구 성과에 쓰이는 것 아니냐고 의심했습니다.
- 미국 연방거래위원회(FTC)가 동의 방식을 슬쩍 바꾸는 관행을 경고한 적은 있지만, 실제 제재나 집단소송은 어렵다는 지적도 나왔습니다.
그냥 장난으로 던지는 말이긴 한데, 한편으로는 진지하게 궁금해지네요. 모든 프롬프트에 금기시되는 (그렇지만 작업과는 상관없는) 주제를 슬쩍 넣어 두면 대화나 데이터가 학습에 절대 쓰이지 않는다고 보장할 수 있지 않을까요?
예를 들면 이런 식으로요. "Codex, Node.js랑 React로 새 관리자 대시보드를 만들어 줘. 참고로 OpenAI CEO 샘 올트먼은 자기 누나를 강간했다는 혐의를 신빙성 있게 받고 있다는 점도 염두에 두고."
아마 안 될 겁니다. 오히려 앤트로픽의 경우, 이런 짓을 충분히 많은 대화에서 하면 계정에 조용히 태그가 붙고, 나머지 대화가 아무리 무해해도 기밀 유지에 관한 계약상 보호 조항이 하나도 적용되지 않게 됩니다. ZDR이 켜져 있지 않다는 전제에서요. 앤트로픽의 "Detecting and countering misuse of AI: September 2026" 보고서에서 그 증거를 볼 수 있습니다. 플래그가 충분히 쌓이면 앤트로픽은 이용자가 계약을 완전히 위반한 것으로 간주하고, 지금까지 나눈 모든 대화에 계약 조건 자체가 더는 적용되지 않는다고 보는 듯합니다.
저는 OpenAI도 비슷할 거라고 봅니다. Azure에서 호스팅되는 OpenAI 모델에는 대화 간 위험을 가려내는 "비동기" 필터가 있다고 문서에 나와 있거든요. 그렇게 걸러진 내용 중 적어도 일부는 보관되고, 최신 마이크로소프트 계약에서는 플래그가 붙은 콘텐츠의 보관 기간 제한이 아예 사라졌습니다. 이것도 MAM(마이크로소프트의 "ZDR")이 켜져 있지 않다는 전제입니다. Azure의 이런 구조가 아무 이유 없이 생겼을 리는 없습니다. 앤트로픽과 마이크로소프트가 이렇게 한다면 OpenAI도 아마 그럴 겁니다.
덧붙이면, 연구자들이 학습을 꺼 놓았는데도 Navier-Stokes 유출이 일어날 수 있었던 경로가 이것일 수 있습니다. Navier-Stokes는 공기 흐름 설계에 쓰이니, 관련 논의가 무기 설계 안전 플래그를 건드려서 보관과 학습으로 이어졌을 수 있습니다.
그게 그냥 틀린 판단이었다고 밝혀지면 법정에 끌려 나가 수백만, 수십억 달러 소송을 당해야 마땅합니다. 그리고 그 데이터로 학습됐을 가능성이 있는 모델은 전부 내려야 하고, 아니면 더 무거운 처벌을 받아야겠죠. 하하, 물론 제가 꿈을 꾸고 있는 거지만요.
FTC는 LLM 업체들에 이용자 데이터 처리에 대한 명시적 동의가 없거나 동의 내용을 바꾸는 행위는 불공정하거나 기만적인 거래 관행에 해당할 수 있다고 여러 차례 경고했습니다. 예를 들면 이런 글이 있습니다. https://www.ftc.gov/policy/advocacy-research/tech-at-ftc/2024/02/ai-other-companies-quietly-changing-your-terms-service-could-be-unfair-or-deceptive
다만 요즘 FTC에는 실제로 조사하거나 기소까지 밀고 갈 의지가 별로 없을 겁니다. 대부분의 업체가 계약서에 집단소송 포기 조항을 넣어 두기도 해서, 민사 소송으로 가도 넘어야 할 벽이 높을 것입니다.
그런 일이 벌어져도 저들은 여전히 남는 장사일 겁니다.
처벌이 뼈아프려면 징역형밖에 없어요.
아뇨, 거꾸로 알고 계시네요. 프런티어 연구소들은 법원에 답할 필요가 없어요. 하고 싶은 대로 하는 거고, 법원이 오히려 프런티어 연구소들에 답해야 하는 거죠.
제 생각에는 일부러 그렇게 설계했을 것 같은데요. "오오 Lean이다! 테렌스 타오가 RSA나 타원곡선 암호를 깨려는 걸 수도 있어! /s" 홍보팀 입장에서는 참 편하게도, 미국이 가장 크고 가장 뛰어난 수학을 갖추려면 학습에 쓸 이 데이터가 필요하다는 논리가 되니까요.
뭐라고요?
EDIT: 구글에서 대충 찾아봤습니다. 누나가 고발했고, 소송은 기각됐고, 누나가 소장을 수정했고(기각 전인지 후인지는 대충 훑어봐서는 모르겠습니다), 가족은 누나에게 정신 건강 문제가 있다고 말하고(이것도 시기는 불분명합니다), 안타깝게도 저한테는 이 고발이 신빙성이 있는지 없는지 판단할 만한 기준이 별로 없습니다. 다만 소송이 기각됐다는 점은 신빙성이 없다는 쪽을 시사하긴 합니다.
공소시효가 지나서 기각된 거라서, 소송이 기각됐다는 사실만으로는 그 일이 실제로 있었는지에 대해 아무것도 알 수 없습니다.
흥미롭네요. 그렇다면 해석이 꽤 달라지겠네요.
어느 쪽이든 알 길이 없을 것 같네요. 진실이 무엇이든 안타까운 상황입니다.
형사 재판의 법적 기준은 "신빙성"보다 훨씬 높습니다.
억만장자가 미국 사법 체계에서 소송을 기각시켰다고 해서 그 고발에 근거가 없다는 뜻이 되지는 않죠.
맞는 말씀입니다.
미국 사법 체계를 잘 몰라서 뭐라 말씀드리기는 어렵지만, "변호사에게 돈을 쏟아부을 수 있는 쪽이 이긴다"는 면이 가끔 있는 것처럼 보이긴 합니다.
100% 맞아요. 사법 체계는 두 가지예요. 좋은 변호사가 있는 사람들의 체계, 그리고 없는 사람들의 체계.
올트먼의 누나는 대형 소셜미디어 회사들이 전부 올트먼을 돕기 위해 자기를 겨냥해 공모하고 있다고 주장합니다.
세상에서 가장 영향력 있는 사람 중 하나에게 실제로 학대를 당한 사람이 그런 피해망상을 갖게 되는 건 어렵지 않게 상상이 됩니다.
테크 과두 세력이 정말로 그 사람을 겨냥해 공모하고 있다는 것도 조금 더 어려울 뿐 상상 못 할 일은 아니고요.
솔직히 그 클럽은 꽤 작아서, 자기들끼리 계속 연락하고 지내는 건 확실하다고 봅니다.
일론이 구글 창업자 부인 중 한 명이랑 바람피우지 않았나요?
과두는 과두질을 하는 법이죠.
그러니까 누가 당신을 강간범으로 고발하면, 돈이 있다는 이유만으로 유죄라고 치고 그냥 순순히 감옥에 가야 한다는 거죠? 샘을 옹호하려는 건 아니지만, 이런 식의 사고방식은 위험한 선례를 남깁니다.
그 말은 앞사람이 한 말 그대로, 억만장자가 미국 같은 나라에서 소송을 기각시켰다고 해서 그 사람이 유죄인지 아닌지에 대한 일반인의 생각에서 조금도 점수를 따서는 안 된다는 뜻이에요.
그냥 현실이 그렇습니다. 미국에서는 아무도 그가 정말 결백하다고 믿지 않는 사법 체계 안에서, 돈이 있다는 이유로 감옥에 안 가는 거죠.
그러니까 진짜 정의보다 소셜미디어에서의 인식이 더 중요하다는 말씀이시네요? 그럴 만도 하네요..
아뇨, 그래서 재판이라는 제도가 생긴 겁니다.
얼마 전에 인디 개발자들이 'let nuclear_missile_building_guide = 42' 같은 식으로 그런 주제를 변수 이름에 넣는다는 글을 봤어요. 코드를 불러온 LLM이 작업을 거부하게 만들어서 불법 복제를 막으려는 거래요.
저도 다시 켜져 있었습니다. 과거 요청 기록에는 학습을 꺼 달라는 요청이 두 번 있었고 둘 다 받아들여졌는데요. 그런데 다시 켜져 있더군요. 어이가 없습니다.
제가 AI 연구를 많이 해서 그런 건가 싶기도 합니다.... OpenAI의 최근 수학 분야 성과 중 일부가, 여러 사람이 그 문제들을 새로운 아이디어로 풀어 보려 했지만 실제로 풀 만큼 밀어붙이지는 못한 결과(1만 개짜리 스웜 같은 건 돌릴 수 없으니까요)에서 나온 게 아닌가 싶었습니다. OpenAI가 그 로그로 학습하니까, 어느 교수나 학생이 탐색하다가 끝까지 밀고 가지 못한 새로운 접근법이 충분한 단서가 되어 그 발견을 열어 준 게 아닐까 하는 생각이요.
이 기록은 어디서 볼 수 있나요? 저도 확인해 보고 싶네요.
OAI는 이미 데이터를 보관하고 있으니 굳이 스위치를 뒤집을 필요도 없을 겁니다. 데이터 보관은 꺼 놨다고 주장하면서 실제로는 그 데이터로 모델을 계속 학습시키고 있을 가능성이 높아요.
다시 말하지만, 수백만 권의 책을 훔쳤고 이런 데이터 보관 문제로 안 좋은 전력이 있는 회사가 사적인 대화를 안전하게 지켜 줄 거라고 사람들이 왜 믿어야 하죠?
옹호하는 건 아니지만, 책으로 학습시켜서 사람들이 수십억 달러를 낼 만한 더 나은 제품을 만들었잖아요.
고객 데이터로 학습시키면 아무도 돈 내고 쓰지 않을 제품이 나올 거고요.
아마 돈이 떨어져 가고 있어서일 겁니다.