요약
클라우드플레어 집계에서 얀덱스 네트워크발 봇 트래픽이 10월 10일 사실상 0으로 떨어졌습니다.
클라우드플레어가 운영하는 Cloudflare Radar의 데이터 페이지입니다. 러시아 검색 기업 얀덱스의 네트워크(AS13238, 한 사업자의 망에 붙는 번호)에서 나온 봇 요청을 보여 줍니다. HN 이용자들에 따르면 얀덱스 데이터센터들이 며칠 사이 잇달아 공격을 받아 멈춘 뒤의 모습입니다.
왜 중요한가
- 봇만 줄어든 것이 아니라 얀덱스 데이터센터의 트래픽 전체가 멈췄다는 사실을 바깥에서 확인할 수 있는 지표입니다.
- 이 그래프는 얀덱스 네트워크 하나만 센 것이라, 인터넷 전체의 봇 트래픽이 줄었다는 뜻은 아닙니다.
핵심 내용
- 봇 요청은 10월 7일에 한 차례 크게 줄었고, 10월 10일에는 0 가까이 떨어졌습니다.
- 10월 11일 늦게 일부 요청이 다시 잡혔지만 평소 수준에는 한참 못 미칩니다.
- 점선으로 겹쳐 그린 직전 7일 수치는 같은 시간대에 평소 수준을 유지해 차이가 뚜렷합니다.
- 지난 7일 동안 이 네트워크에서 온 HTTP 요청의 99.6%가 봇, 0.4%가 사람으로 분류됐습니다.
HN 반응
- 검색 크롤러를 돌리는 얀덱스라 봇 비율이 높은 것은 당연하다는 의견이 많았고, 처음 제목이 인터넷 전체 봇이 줄어든 것처럼 읽혔다는 지적도 나왔습니다.
- 얀덱스 클라우드의 컴퓨팅과 백업까지 멈췄다는 전언과 함께, 제재 탓에 해외로 옮길 곳이 없어 복구가 더 어렵다는 분석이 이어졌습니다.
얀덱스는 러시아의 구글이에요.
당연히 봇이 있죠... 웹을 색인하려면 그래야 하니까요.
구글을 오프라인으로 만들면 구글 쪽 봇 트래픽도 줄어들 거라고 장담합니다!
게다가 색인 작업은 아마 우선순위가 낮은 작업일 테니, 데이터센터 용량의 절반이 꺼지면 봇 트래픽은 50% 넘게 줄 가능성이 높아요.
여기서 말하는 게 그 친구들이 아닌 것 같은데요?
수정: 제가 틀렸습니다. 이건 그냥 봇과 사람의 트래픽을 일반적으로 비교한 수치였고, 말씀이 맞습니다.
얀덱스한테는 치명타네요. SRE 복구 계획에는 대체 뭐라고 적혀 있을까요? "방어막 올려!"인가요?
경영진에 올릴 권고안은 이겁니다. 물리적 사이버보안 위험을 줄이려면 우크라이나 시장에서 철수할 것.
"장기간의 넷 스플릿(net-split)도 감당할 수 있어야 한다"는 제가 맡았던 모든 서비스의 비상 계획에 늘 들어 있던 항목입니다. (예를 들어 아메리카 대륙과 나머지 세계 사이의 통신이 몇 주 동안 전부 끊긴다고 상상해 보세요.)
대규모 전쟁이나 정치적 격변으로 인터넷이 둘로 쪼개져야 하는 상황이 오면 꽤 일어날 법한 일입니다. 저는 서비스가 한 순간도 끊기면 안 된다고까지 요구하지는 않았고, 몇 시간 안에 서비스를 복구할 수 있을 만큼은 되어야 한다고 봤습니다.
여기에 도움이 되는 건 이런 것들입니다. 사용자와 지리적으로 가까운 곳에 실시간 데이터나 백업이 있어야 합니다. 데이터도, 암호화 키도 마찬가지고 코드도 마찬가지입니다. 그리고 서비스는 처음 보는 사람도 배포해서 최소한 대체로 돌아가게 만들 수 있을 만큼 단순하게 만들어야 합니다. 그런 점에서 terraform 같은 도구가 좋고, 직원 교육도 크게 줄어듭니다.
IRC에서도 넷 스플릿은 흔한 현상이어서 우리도 꽤 자주 우회해서 써야 했습니다.
궤도에 있는 예비 데이터센터를 가동하세요 :)
좋은 선전 앞에서는 논리 따위가 방해되게 두면 안 되죠.
논리적으로 구글 봇은 변장하고 오지 않고 구글 에이전트라고 밝히고 옵니다.
아니면 다른 정보가 있나요?
지금은 구글에서 오는 AI 에이전트 스팸도 아마 있겠지만, 이 정도 규모는 아니라고 봅니다. 그리고 여기서 무엇을 스팸으로 세는지도 저는 잘 모르겠습니다. 구글을 이 목록에 넣었을 것 같지는 않은데, 그렇다면 얀덱스 봇은 공식적으로 오는 경우에도 여기에 포함한 걸까요?
구글 봇은 분명히 변장하고 옵니다. 웹사이트가 구글이 아닌 사용자 에이전트에게 다른 콘텐츠를 제공하는지 확인하려고요.
반대 현상도 아주 잘 알려져 있죠. 구글과 전혀 상관없는 사람들이 자기 크롤러를 구글봇 사용자 에이전트로 위장하는 건 적어도... 15년은 된 일인가요?
맞아요, 구글 봇인 척하는 구글 아닌 봇이 많이 보이고, 다음번에는 또 다른 봇이 오고, 계속 그래요.
구글이 아니라는 건 어떻게 아세요? IP 주소로요, 아니면 행동으로요?
주로 행동입니다. 구글이 그 서버에 알려진 취약점 공격을 시도할 거라고는 생각하지 않으니까요. 비슷한 행동도 마찬가지고요.
무슨 말씀을 하시려는 건지 모르겠습니다. 그런데 일반적으로 봇이 뭘 뜻하는지, 그리고 그 페이지에서 제시한 지표에서 봇이 구체적으로 어떻게 정의되는지를 이해하지 못하시는 것 같네요.
그 페이지의 관점에서는 구글 봇이든, 얀덱스 봇이든, 당신네 삼촌이 돌리는 AI 에이전트 스팸이든 다 똑같이 봇입니다.
일반적으로 무슨 뜻인지는 압니다. 다만 말씀드렸듯이 "그 페이지에서 제시한 지표에서 구체적으로 어떻게 정의되는지"는 정말로 몰랐고요.
얀덱스 봇도 변장하지 않아요. 요점이 뭔가요?
공식 얀덱스 봇이 이 데이터에 포함되지 않았다면, 스팸이나 사기 봇이 정말로 얀덱스 서버에서 온다는 뜻이 됩니다. 얀덱스 데이터센터가 공격받자 그 봇들이 멈췄으니까요.
그런데 "포함되지 않았다면"이 무슨 뜻인가요? 잘 정의된 지표라서 "만약"은 없습니다.
괜찮다면 이 댓글 링크를 걸어 두겠습니다. https://news.ycombinator.com/item?id=50042416
감사합니다. 그 댓글을 놓쳤네요(아니면 제가 쓰기 시작할 때는 없었거나요).
그러니까 얀덱스 봇도 포함되어 있고, 이 지표는 얀덱스가 악의를 가졌다는 것에 대해서는 아무것도 말해 주지 않는군요.
"구글을 오프라인으로 만들면 구글 쪽 봇 트래픽도 줄어들 거라고 장담합니다!"
그럼 정말 좋겠네요.
누가 봇 트래픽 페이지 읽는 법 좀 알려 줘야겠네요.
저건 얀덱스 봇(얀덱스 크롤러와 얀덱스 데이터센터에서 호스팅되는 다른 앱 포함)의 트래픽이 줄었다는 것뿐입니다.
이제 아래 지역의 봇 트래픽과 비교해 보세요.
러시아: https://radar.cloudflare.com/bots/ru?dateRange=7d
유럽: https://radar.cloudflare.com/bots/europe?dateRange=7d
전 세계: https://radar.cloudflare.com/bots?dateRange=7d
러시아에서조차 하락폭이 거의 눈에 띄지 않습니다.
"API 요청이 완전히 끊겼다"고 말하는 것과 같아요. (그리고 작은 단서 하나: 당신 서버가 죽어서 당신 서버에서 오는 요청만 끊긴 겁니다.)
걱정 마세요. 이제 트럼프가 정유 시설을 보호하기 시작했으니, 다른 데이터센터도 조만간 공격받을 겁니다. 새로 들여온 fp2 드론이 아깝게 버려질 일은 없을 테니까요. 궁금한 건 다음이 어디냐는 거죠. 발전소? 정수 시설? 북쪽 어딘가의 난방 시설?
봇 트래픽이 사라진 건 부차적인 문제입니다. 더 큰 건 데이터센터가 내려가서 봇이든 아니든 얀덱스 트래픽 전반이 거의 다 사라졌다는 점이고, 이건 분명히 뉴스거리입니다.
처음 올리신 제목은 얀덱스 데이터센터가 봇 공격에 쓰였고 그게 내려가서 전 세계 인터넷의 봇 트래픽이 크게 줄었다는 것처럼 들렸습니다.
세 번째 공습 이후 얀덱스의 HTTP 트래픽은 거의 0%로 떨어졌습니다. 앞선 두 번의 공습으로 이미 떨어져 있었고요. 검색 페이지는 아직 서비스되고 있는데 네트워크 수준에서는 어떻게 보일지 궁금하네요. 다만 크롤러는 지금 멈춘 것 같습니다.
수정: 좀 더 정보를 찾았는데, 예상대로 가용성 문제가 있는 것 같습니다.
수정 2: 얀덱스 클라우드 상태 페이지입니다. GCP나 AWS에 해당하는 서비스죠. 컴퓨트 핵심부 전체가 오프라인이고, 더 심각하게는 Cloud Backup까지 내려갔습니다.
https://status.yandex.cloud/ru/dashboard
흥미롭게도 얀덱스는 상태 페이지에서 사용자들에게 경쟁사인 셀렉텔, K2Cloud, VK Cloud로 옮기라고 안내합니다. 아마 다음에 공격받을 곳들이겠죠.
고가용성(HA)과 운영 담당자들에게는 대재앙 사례 연구가 되겠네요.-
AWS 바레인 리전이 완전히 파괴된 사건이 먼저 그 자리를 차지했다고 생각합니다.
사례 연구로 얼마나 쓸모가 있을지는 모르겠습니다. (미국, 캐나다, 호주, 서유럽 국가 같은) 곳의 HA/운영 담당자는 사실상 어느 지역에서든 하이퍼바이저 용량이나 코로케이션을 살 수 있으니까요. 저도 내일 적당한 사람들에게 연락하면 브뤼셀, 파나마시티, 샌디에이고, 에드먼턴, 멜버른 어디에든 코로케이션을 구할 수 있습니다.
러시아인들은 (아주 타당한 제재 사유 때문에) 자국 국경 밖에서 뭔가를 하는 데 훨씬 더 많은 제약을 받으니, 한계가 거의 다른 어느 나라의 HA 담당자와도 같지 않습니다. 이란의 HA/운영 담당자들 정도라면 그들과 서로 경험을 비교해 볼지도 모르겠네요.