요약
메타가 약관에서 '학습'이라는 말을 뺐지만, 웹사이트를 폭넓게 수집할 권한은 그대로라는 경고가 나왔습니다.
니먼랩은 10월 15일 메타의 새 비즈니스 계정 약관이 뉴스 사이트 스크래핑(웹 페이지 자동 수집)과 AI 학습을 허용할 수 있다고 보도했습니다. 메타가 이튿날 문구를 고쳤지만, 니먼랩이 의견을 구한 법률 전문가 세 명은 모두 회의적이었습니다.
왜 중요한가
- 거의 모든 언론사가 메타 비즈니스 계정을 쓰므로, 페이스북이나 인스타그램을 계속 쓰려면 이 수집 권한에 동의하게 됩니다.
- 메타는 robots.txt(크롤러 접근 규칙을 적는 파일) 설정을 존중한다고 했지만, 고친 약관에는 그런 문구가 없습니다.
- robots.txt는 법적 강제력이 없는 의사 표시라서, 약관 동의가 그 설정보다 앞설 수 있다고 전문가들은 봤습니다.
핵심 내용
- 메타는 허용 용도에서 '학습(train)'을 빼고, 용도를 모든 제품이 아닌 '광고와 비즈니스 제품'으로 좁혔습니다.
- 매트 토픽 변호사는 약관에 남은 '개발'이라는 말이 AI 비즈니스 제품의 학습까지 포괄한다고 봤습니다.
- 코넬대 제임스 그리멀먼 교수는 '사업과 관련된' 사이트라는 문구 때문에 사이트 전체를 긁어 갈 수 있다고 지적했습니다.
- 지금 약관은 생성형 AI 광고 기능을 쓸 때만 수집을 허용하고 용도도 광고 최적화로 한정해서, 새 약관은 권한을 크게 넓힙니다.
- 새 약관은 10월 30일 시행되며, 유럽·영국·미국의 언론 단체들이 잇달아 반발하고 있습니다.
HN 반응
- robots.txt는 크롤러를 끄는 장치가 아니라 부탁일 뿐이라는 지적이 많았고, 봇을 직접 찾아내 연결을 끊으라는 조언이 이어졌습니다.
- 20년 가까이 스크래퍼를 만들며 robots.txt 얘기를 들은 적 없다는 경험담에, 개인 윤리를 탓하는 쪽과 자발적 준수로는 못 막는다는 쪽이 맞섰습니다.
사람들이 이번 약관 변경에 왜 그렇게 난리인지 잘 모르겠어요. 메타는 이미 제 웹사이트를 꽤 주기적으로 긁어 가거든요(robots.txt가 있는데도요). 이번 변경은 더 강도 높게 긁어 가려고 명분을 만드는 건가요?
저도 같은 생각이에요. 반응이 왜 이렇게 큰지 잘 이해가 안 되네요.
robots.txt 플래그로 크롤러를 끌 수 있는 권한은 여전히 있다
robots.txt는 절대 믿지 마세요. 설정은 해 두되 의지하지는 마십시오. 봇은 할 수 있는 건 합니다. 메타 봇은 알아보기 쉬우니 그냥 연결을 끊어 버리세요. 소켓을 조용히 닫고 웹 데몬의 첫 번째 RST와 OS의 두 번째 RST를 막아 두면 보너스입니다.
저는 거의 20년 동안 봇과 스크레이퍼를 만들어 왔습니다.
이 일로 의뢰를 받으면서 robots.txt를 물어본 사람은 단 한 명도 없었습니다.
얼마를 드리면 아예 직업을 바꾸시겠어요?
그래 봐야 별 차이 없을걸요. 저는 그냥 재미로 하거든요.
robots.txt는 보상 장치로 쓸 수 있습니다. 평소 같으면 차단했을 자동화 방문자가 robots.txt부터 읽고 들어오면 좋은 신호이므로, 가산점을 주는 식으로 처리합니다. 그 방문자가 이후 접근에서도 robots.txt를 지키면 계속 들어오게 해 줍니다(요청 빈도 검사는 하면서요).
반대로 누가 봐도 자동화된 방문자가 robots.txt를 가져가지 않으면 즉시 차단할 수도 있습니다. 일종의 역방향 허니팟이라고 할 수 있죠.
그러니 전체적으로 보면 0보다는 큰 가치가 있습니다. 다만 이것을 차단 수단으로 생각하는 건 어리석습니다.
요컨대 robots.txt는 어떤 접근이 허용되는지를 문서로 적어 둔, 일종의 정책 선언입니다. 그 정책을 강제하는 건 다른 장치가 할 일입니다.
그리고 이런 일로 의뢰를 맡기는 사람이 robots.txt를 물어보지 않는 건 당연합니다. 그런 세부 사항을 처리하라고 당신에게 일을 맡긴 거니까요.
듣자 하니 당신도 문제의 일부네요.
그런 사람이 해결책의 일부가 될 수도 있죠. 스스로 나서서 봇과 스크레이퍼가 robots.txt를 존중하도록 만들면 윤리적으로 구현할 수 있으니까요. 명세에서 아예 그러지 말라고 못 박은 경우라면, 저도 새 의뢰인이나 다른 일자리를 찾는 게 맞다고 봅니다.
그 말은 세상 모든 주체가 자발적으로 따라 주는 게 해결책이라는 뜻인데, 제가 보기엔 별로 현실적이지 않습니다.
도움이 필요한 사람들에게 가능한 모든 사람이 100달러씩 기부하면 세계 기아가 해결된다는 말과 비슷합니다. 맞는 말일 수는 있어도, 왜 저절로 그렇게 안 되느냐고 발을 구르는 건 핵심을 놓친 겁니다.
전 세계적인 기근 문제와, 쓰레기 같은 회사에서 일하기로 스스로 선택하는 건 분명히 다릅니다.
문제 자체가 뭔지는 중요하지 않습니다. 해결책이 전 세계의 자발적 준수에 달려 있다면, 무엇을 해결하려 하든 효과가 별로 없을 겁니다.
모든 사회는 근본적으로 자발적 준수에 기대고 있습니다. 소수의 외부인을 강제할 수는 있어도, 상당수의 사람들이 따르지 않게 되는 순간 사회는 무너지고 맙니다.
그래서 인터넷이 잘 돌아가지 않는 거죠.
인터넷은 하나의 사회가 아니에요. 모든 사회가 한데 모인 곳이죠. 게다가 갈수록 사람의 사회조차 아니고요.
거부합니다. 그 문제의 적극적인 일부가 되지 않기로 선택할 수는 있습니다.
오, 살인 문제를 해결하셨네요. 스스로 등 좀 두드려 주세요.
살인자를 살인했다고 비난하면 안 된다는 말씀입니까?
사람들에게 뭘 하지 말라고 말하는 건 바람에 대고 방귀 뀌는 거나 다름없이 쓸모없다는 말입니다. 비난해 봐야 달라지는 건 없고, 말 뒤에 행동의 힘이 실려야 의미가 있어요.
그런데 그 사람이 어디에든 있는 누구든 될 수 있는 이상, 당신의 말은 공허하고 알맹이가 없습니다. 그 사람의 앞으로의 행동을 막을 힘이 당신에게는 없어요.
그럼 어떤 해결책을 제안하시는 건가요?
맞아요. 이걸 "차단"이라고 부르는 건 부정확하죠. 그냥 "좋게 부탁하는 것"일 뿐이에요.
네, 수십 년 전부터 책에 으레 붙어 있던 저작권 고지가 떠오르네요.
AI의 경우에는 그 책이 먼저 학습 시스템으로 "복제되거나 전송"된 게 아니었나요?
요즘이라면 이 문구를 어떻게 고쳐 써야 할까요?
법적 고지는 최대한 무섭게 보이도록 쓰기 때문에, 실제로는 해도 되는 일까지 하지 말라고 적혀 있는 경우가 많아요.
닌텐도도 참고하세요.
가짜 데이터를 먹여 주는 쪽이 더 낫지 않을까요?
그러면 진짜 데이터를 돌려주는 것만큼, 어쩌면 그보다 더 많은 자원이 들 수 있습니다.
서버 파일시스템에서 텍스트 파일 몇 개 내려주는 건, 봇이 크롤링하면서 검색, 미들웨어, DB를 전부 거치게 두는 것보다 훨씬 가볍습니다.
아니면 아주 작은 zip 폭탄을 보내 주거나, /dev/random에서 나오는 쓰레기를 그냥 던져 줘도 되고요.
봇은 이런 문제를 꽤 잘 감지하고 막아요. 허술한 클라이언트라면 여전히 당하겠지만요.
AI를 오염시키는 게 가능한지 잘 모르겠어요. 진짜 데이터는 서로 상관관계가 있는데, 가짜 데이터는 저마다 제각각이거든요. AI에 가짜 데이터를 먹이는 건 시간 낭비일 것 같아요.
뭘 다루느냐에 달렸다고 봅니다. 드문 주제라면 성공할 가능성이 더 높아요.