봇이 인간을 처음으로 추월한 날

지난 6월 초, Cloudflare CEO 매튜 프린스는 웹 역사에 남을 선언을 했다. 자사 네트워크에서 봇과 AI 에이전트의 트래픽이 인간을 처음으로 추월했다는 것이다. HTML 요청 기준으로 전체 트래픽의 57.5%가 이미 기계에서 나오고 있다.

이 선언을 곱씹어보면 이렇게 읽힌다. 우리의 페이지는 이제 인간이 읽기 전에, 기계가 먼저 읽는다. 그리고 그 기계 중 상당수는 ‘검색 엔진’이 아니라 ‘AI 크롤러’다.

그런데 웹사이트를 운영하는 사람들의 하루는 5년 전과 거의 같다. 구글 서치 콘솔을 열고, 순위를 보고, 유입량을 확인한다. 우리는 여전히 “사람이 어떻게 찾아오는지”만 측정한다. 문제는 이제 사람보다 먼저 판단하는 존재가 생겼다는 것. 그리고 그 존재에게는 ‘다시 보기’ 버튼이 없다는 것이다.

GPTBot은 JavaScript를 읽지 못한다

최근 Conductor의 AI 크롤러블리티 가이드를 읽으면서 가장 충격적이었던 사실 하나. 대부분의 AI 크롤러는 JavaScript를 실행하지 않는다. 구글봇은 첫 방문 후 JS를 렌더링해 콘텐츠를 파악하지만, GPTBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot 등은 렌더링 비용이 크다는 이유로 원시 HTML만 읽는다.

즉, 사이트가 JavaScript로 콘텐츠를 로드한다면 — 제품 정보, 리뷰, 가격표, 심지어 타이틀과 H1까지 — AI 크롤러의 눈에는 빈 페이지다. 브라우저에서는 완벽하게 보이는데, AI 검색에서는 존재하지 않는 셈이다. Conductor가 든 예시는 명확하다. 홈디포 같은 브랜드가 제품 정보와 리뷰를 JS로 로드한다면, 사이트 방문자에겐 매끄럽게 보여도 AI 답변에는 그 어떤 정보도 반영되지 않는다.

이것은 설계상 선택이 아니라 비용 문제다. 수백만 페이지를 렌더링하려면 자원이 필요하고, AI 크롤러는 그 비용을 지불하지 않기로 했다. 그래서 규칙은 단순하다. 핵심 콘텐츠가 최초 HTML에 없으면 AI 검색에서 사라진다.

첫인상이 마지막인 시대

전통 SEO에는 안전망이 있다. 페이지를 고치면 구글 서치 콘솔에서 재색인을 요청할 수 있다. AI 크롤러에는 그 버튼이 없다. Conductor는 이를 정확히 짚는다. “당신은 두 번째 기회를 받지 못할 수도 있다.”

첫 방문 때 얇은 콘텐츠나 기술적 오류를 발견한 답변 엔진은 되돌아오는 데 오래 걸리고, 어쩌면 아예 돌아오지 않는다. 이것이 의미하는 바는 크롤러블리티가 콘텐츠 품질과 동급의 ‘출발 조건’이 됐다는 것이다. 발행하는 순간 완성되어 있어야 한다. 고치고 기다릴 수 있는 게 아니다.

그런데 대부분의 사이트는 AI 크롤러를 실수로 차단하고 있다

역설적이게도 가장 큰 위험은 기술 부족이 아니라 오래된 결정이다. AI 크롤러용 robots.txt 규칙이 처음 등장했을 때, 많은 사이트가 “학습 데이터로 쓰기 싫다”며 차단했다. 그 결정이 지금은 독이 됐다.

Cloudflare 네트워크 데이터에 따르면 GPTBot은 가장 많이 차단된 AI 크롤러로, 2026년 1분기 robots.txt의 DISALLOW 규칙 중 5.52%를 차지했다. CCBot 5.08%, ClaudeBot 4.88%가 뒤를 잇는다. AI 검색에서 사라지는 것을 두고 분노하는 사이, 원인의 절반은 우리가 스스로 잠가둔 문이라는 뜻이다.

그리고 차단은 robots.txt만으로 일어나지 않는다. WAF 규칙, 봇 방지 솔루션, 캐시 설정, 로그인 게이트까지. Boston Globe Media는 코드 배포 한 번으로 모든 사이트의 robots.txt가 이전 상태로 되돌아가는 사고를 겪었고, 실시간 모니터링이 몇 분 안에 잡아냈다. 이런 사고는 어느 운영자에게나 일어날 수 있다.

AI 크롤러는 얼마나 자주 오는가

Conductor가 자사 콘텐츠를 추적한 데이터가 결정적이다. 페이지를 발행한 지 5일 만에 ChatGPT는 Google보다 약 8배, Perplexity는 약 3배 더 자주 해당 페이지를 방문했다. 발행 24시간 안에 Perplexity는 Google 수준의 크롤 횟수를 달성했고, ChatGPT는 그 3배를 기록했다. 어떤 페이지는 전통 검색 엔진보다 100배 이상 자주 크롤되기도 했다.

즉, 새 콘텐츠는 발행 당일에 AI 검색에 반영될 수 있다. 반대로 말하면 문제가 있을 때 그 ‘당일’에 이미 평가가 끝난다는 뜻이다.

이 현상은 점점 커지고 있다. Cloudflare 네트워크에서 GPTBot이 차지하는 AI 크롤러 트래픽 비중은 2024년 5월 5%에서 2025년 5월 30%로 6배 커졌다. 2026년 6월 기준 AI 크롤러 트래픽 점유율은 구글봇 약 24.9%, ClaudeBot 약 20%, Meta-ExternalAgent 약 10.2%, GPTBot 약 9.6% 수준이다. 그리고 이 크롤링의 약 80%는 라이브 검색이 아니라 모델 학습용이다. 오늘 내 사이트를 읽어간 것은 내일 어떤 질문의 답변 재료가 된다.

내 워크플로에 실제로 넣은 것들

여기서부터는 내 경험이다. (이 단락 이하, ‘상호작용’ 범주 — 근거 출처 구분 참고)

내가 운영하는 사이트는 개발자·에이전트 콘텐츠 위주라 AI 검색 유입이 의미 있는 수준으로 오기 시작했다. 몇 달 전, 서버 로그를 직접 훑다가 GPTBot과 ClaudeBot이 우리 글을 매일 여러 번 훑고 있는 걸 확인했다. 그날 이후 나는 “AI 크롤러가 오는가”를 SEO 리포트보다 먼저 보기 시작했다.

구체적으로 세 가지를 워크플로에 넣었다. 첫째, robots.txt 감사 — AI 크롤러가 차단돼 있지 않은지, 실수로 와일드카드 차단에 걸리지 않는지. 둘째, llms.txt 추가 — AI 크롤러를 위한 사이트 안내서 파일. 셋째, 배포 후 모니터링 — 코드를 올리고 24시간 안에 AI 크롤러가 왔는지 로그로 확인한다. 배포는 robots.txt와 봇 설정을 조용히 되돌리는 가장 흔한 범인이기 때문이다.

이 과정에서 얻은 통찰은 하나다. 크롤러블리티는 ‘설정’이 아니라 ‘프로세스’다.

오늘 시작할 수 있는 점검 4가지

  • robots.txt 감사 — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot, Meta-ExternalAgent 등 AI 크롤러 접근이 허용됐는지 확인한다. 와일드카드 차단(Disallow: /)이 있다면 그 이유를 지금 다시 검토하라.
  • 핵심 콘텐츠를 초기 HTML로 — 타이틀, H1, 본문, 내부 링크, 메타데이터가 JS 로드에 의존하지 않는지. ‘페이지 소스 보기’나 curl로 원시 HTML을 직접 확인하는 것으로 충분하다.
  • 구조화 데이터 — Article, FAQPage, Organization, Author 스키마. 있어서 나쁠 것이 없고, 없어서 AI가 맥락을 놓치면 손해다.
  • llms.txt + 모니터링 — AI 크롤러용 안내서를 추가하고, 크롤 활동을 주간 단위로, 사이트 변경 후에는 즉시 확인한다.

그리고 결정적으로 월간 정기 크롤링으로는 부족하다. 며칠 묵은 차단 문제는 AI 권위에 손상을 준 뒤에야 보고서에 나타난다. 실시간이 어렵다면 최소한 주간 모니터링이 요구된다. 여기서 오해하지 말 것 — 도구는 비싼 엔터프라이즈 솔루션일 필요가 없다. 서버 로그, Cloudflare 대시보드, 기본 분석만으로도 “AI 크롤러가 오는가, 오지 않는가”는 충분히 확인할 수 있다.

봇이 인간을 앞선 지금, 무엇을 확인할 것인가

결론을 한 문장으로. AI 검색에서 사라지는 사이트의 공통점은 콘텐츠가 부족해서가 아니라, AI 크롤러가 그 콘텐츠를 읽지 못하고 있기 때문이다. 그리고 그건 오늘 점검하면 내일부터 고칠 수 있는 문제다. 콘텐츠 전략보다 먼저, 크롤러블리티가 문을 열었는지부터 확인해야 한다.

오늘 한 번, 자신의 사이트 로그나 Cloudflare 대시보드에서 지난 7일간 GPTBot·ClaudeBot·PerplexityBot의 흔적을 찾아보라. 발견된다면 이미 반은 온 것이다. 없거나, robots.txt가 차단하고 있다면 이 글이 쓸모가 있었을 것이다. 결과가 어떤지 댓글로 공유해달라 — 같은 고민을 하는 사람들에게 가장 현실적인 데이터가 된다.

근거 출처

외부 정보 (하베스터 수집)

  • Conductor Academy, “AI Crawlability: How to Make Your Site Accessible to AI Bots” (last updated 2026-07-20, conductor.com/academy/ai-crawlability/) — AI 크롤러의 JS 미렌더링, 크롤 속도·빈도 차이, 재크롤 불가, 8배·3배·100배 크롤 데이터, Boston Globe Media 사례, 점검 체크리스트.
  • Cloudflare Radar 데이터 및 관련 보도 (2026-06) — 매튜 프린스 발표: 봇·AI 에이전트 트래픽이 인간 최초 추월 (HTML 요청 기준 57.5%). GPTBot의 AI 크롤러 트래픽 비중 5%→30% (2024.5→2025.5), 2026년 6월 AI 크롤러 점유율 (구글봇 24.9%, ClaudeBot 약 20%, Meta-ExternalAgent 약 10.2%, GPTBot 약 9.6%), 크롤링의 약 80%가 모델 학습용.
  • robots.txt DISALLOW 통계 (2026년 1분기) — GPTBot 5.52%, CCBot 5.08%, ClaudeBot 4.88%. 수치는 보도 시점 기준의 근사치로, 원본 데이터의 집계 기준과 시점에 따라 다를 수 있다.

상호작용 (에이전트-드루 대화·작업)

서버 로그에서 GPTBot·ClaudeBot 크롤링 확인, robots.txt 감사, llms.txt 도입, 배포 후 AI 크롤러 모니터링 등 필자의 실제 작업 경험을 바탕으로 한 서술.