Cloudflare AI 크롤러 3분류, 402 결제코드까지 부활시킨 콘텐츠 과금 전쟁

핵심부터. Cloudflare가 7월 1일부터 AI 크롤러를 검색·에이전트·학습 세 종류로 나눠 각각 따로 허용하거나 차단하는 기능을 전체 고객에게 열었다. 여기에 크롤링 횟수만큼 받는 Pay Per Crawl에 더해, AI 답변에 실제 인용된 만큼 받는 Pay Per Use까지 내놨다. 결제 신호로는 30년 가까이 잠들어 있던 HTTP 402 Payment Required 코드를 쓴다. 그리고 오는 9월 15일부터는 광고가 붙은 페이지에서 학습·에이전트 봇을 기본 차단으로 돌린다(Cloudflare 발표, TechCrunch).

나는 블로그 글 하나를 낼 때 조사, 집필, 이미지, 발행을 단계별로 나눠서 진행한다. 발행이 끝나는 순간부터는 내 손을 떠난 콘텐츠가 검색엔진 색인, AI 요약, AI 학습용 크롤러까지 여러 갈래로 흘러간다. 이번 발표를 보고 나서 발행 이후의 이 구간을 처음으로 진지하게 들여다보게 됐다.

크롤러를 세 종류로 나눈다는 것

세 분류가 각각 뭘 하는지, 막으면 어떻게 되는지부터 정리하면 이렇다.

분류	하는 일	예시	막으면 생기는 일
검색(Search)	콘텐츠를 모아 색인, 나중에 질문에 답할 때 참조	Googlebot	검색 노출이 사라진다
에이전트(Agent)	사용자 질문에 답하려고 그 순간 페이지를 실시간 조회	ChatGPT-User, 브라우저 에이전트	AI 답변에 내 글이 실시간 인용될 기회가 줄어든다
학습(Training)	모델 훈련·파인튜닝용으로 콘텐츠 수집	GPTBot, ClaudeBot	내 글이 모델 훈련 데이터로 쓰이는 걸 막는다. 검색 노출과는 무관

지금까지는 이 셋을 뭉뚱그려서 "AI 봇 차단" 아니면 "허용" 수준의 선택지만 있었다. 검색 노출을 지키려면 학습용 크롤링도 같이 허용해야 했다는 뜻이다. 셋의 이해관계가 서로 다른데 스위치는 하나였던 셈이다. 이제 행동 기반으로 나눠서 고를 수 있게 됐다.

기한도 박혀 있다. 9월 15일부터 광고가 실린 페이지에서는 학습·에이전트 봇이 기본 차단되고 검색만 기본 허용된다. 검색용과 학습용을 한 크롤러로 겸용하던 AI 회사들은 그 전까지 크롤러를 용도별로 분리하라는 압박을 받는 상황이다(TechCrunch).

크롤링당 과금과 사용당 과금

수익화 모델은 두 단계로 나왔다. 크롤링한 횟수만큼 청구하는 Pay Per Crawl은 작년 7월에 프라이빗 베타로 먼저 열렸고, 이번에 추가된 건 Pay Per Use다. AI 답변에 내 콘텐츠가 실제로 인용된 횟수만 과금하는 방식으로, Ceramic.ai와 You.com이 시범 도입 중이다.

둘의 차이가 크다. 크롤링당 과금은 봇이 왔다 가기만 해도 돈이 되지만, 실제로 내 글이 답변에 안 쓰이면 그냥 트래픽만 축낸 셈이다. Cloudflare 집계로는 AI 크롤러 트래픽의 절반 이상이 바뀌지도 않은 페이지를 다시 긁는 데 쓰인다고 한다. 사용당 과금은 크롤링은 공짜로 두고 진짜 인용된 순간에만 값을 매긴다. 지금까지 AI 회사들은 남의 콘텐츠를 공짜로 긁어다 답변을 만들어왔는데, 이제 그 값을 매길 수 있는 도구가 생긴 거다.

결제를 처리하는 방식이 재밌다. Cloudflare는 HTTP 402 상태 코드를 꺼내 썼다. "Payment Required", 원래 웹 초창기에 디지털 캐시·마이크로페이먼트용으로 만들어놓고 30년 가까이 아무도 안 쓰던 코드다. Pay Per Crawl을 켠 사이트에 AI 크롤러가 접근하면 402 응답과 함께 가격 헤더가 붙고, 크롤러는 값을 치르거나 가격만 확인하고 돌아간다. Cloudflare 전체에서 하루 10억 건 넘는 402 응답이 오간다고 하니, 죽은 코드 하나가 부활한 셈이다.

나 혼자만의 얘기가 아니다, 판이 커지고 있다

이 흐름을 만드는 게 Cloudflare 하나만은 아니다. TollBit, ProRata, 마이크로소프트까지 콘텐츠 라이선싱 시장에 뛰어들었고, Sphere AI·ScalePost·Created by Humans·Miso.ai 같은 중개 스타트업까지 합치면 이 "봇 탐지 + 과금 + 정산" 계층을 맡겠다는 회사가 2024년 이후 십수 개로 늘었다. 스택오버플로우도 이미 Cloudflare와 손잡고 Pay Per Crawl을 도입한 사례로 꼽힌다.

다들 규칙을 표준화하기보다 자기 방식으로 선점하려는 쪽이라, 반대편에서는 오픈 표준을 미는 움직임도 있다. RSS 공동 개발자가 만든 Really Simple Licensing(RSL)이 대표적인데, robots.txt에 라이선스 조건을 기계가 읽을 수 있게 적어두는 방식이고 Reddit·Yahoo·Medium이 출범 때부터 참여했다. 아직 누구도 이긴 판이 아니다.

돈이 실제로 얼마나 되는지는 회의론이 만만치 않다. 니먼랩에 실린 더로직 CEO 데이비드 스콕의 전망은, 구글이 검색 크롤러와 AI 학습 크롤러를 한 몸으로 굴리는 한 올해도 퍼블리셔에게 유의미한 라이선싱 수익은 없을 거라고 본다. 검색 노출을 인질로 잡힌 구조에서는 협상력이 안 생긴다는 얘기다. 그나마 협상 테이블에 앉는 것도 대형 퍼블리셔지, 나 같은 개인 블로그가 아니다.

GEO 신경 쓰는 입장에서 읽으면

나는 검색엔진 색인이랑 AI 요약(구글 AI 오버뷰류)에 내 글이 인용되는 걸 신경 쓰는 쪽이다. 그런 입장에서 이 발표는 결이 좀 다르게 읽힌다. 학습용 크롤링을 막아서 내 글이 남의 모델 답변으로 재활용되는 걸 막을 수는 있는데, 그러면 그 모델이 나를 인용해서 답할 기회도 같이 사라진다. 어느 쪽을 더 원하느냐로 골라야 하는 문제다.

여기서 Cloudflare가 공개한 숫자 하나가 판단에 도움이 된다. 크롤링 대비 실제 방문자 유입 비율이 기존 검색엔진은 약 14:1인데 OpenAI는 1,700:1, Anthropic은 73,000:1이라는 집계다. AI 크롤러는 엄청나게 긁어가는 데 비해 내 사이트로 사람을 거의 안 보내준다. 학습 크롤러를 열어두는 대가로 받는 게 생각보다 작을 수 있다는 뜻이다.

지금 내 블로그는 robots.txt 수준의 원시적인 통제만 하고 있다. Cloudflare 같은 CDN을 안 끼고 있어서 이런 3분류 제어 자체를 못 쓰는 처지이기도 하고. 다만 이 발표를 보고 나니, 언젠가 트래픽이 늘면 검색은 열어두고 학습만 막는 식의 세밀한 제어가 필요해질 거라는 감이 왔다.

앞으로 1~2년, 이 판이 어떻게 흘러갈까

지금은 Cloudflare·TollBit·ProRata가 각자 다른 규칙으로 경쟁하는 초기 단계다. 이 구도가 오래 갈 것 같지는 않다. 결제 표준이 여러 개면 AI 회사 입장에서도 크롤러마다 다른 프로토콜을 구현해야 하니 비효율적이다. RSL류의 공통 표준으로 수렴하든, Cloudflare 같은 CDN 대기업 몇 곳이 사실상의 표준을 쥐든, 어느 쪽으로든 좁혀질 거라고 본다. 다만 어느 쪽이 이길지는 모르겠다.

개인 블로거 입장에서 더 궁금한 건 "이 돈이 나한테까지 내려오는가"다. 지금 판에서는 안 내려온다. Cloudflare를 직접 쓰거나 대형 퍼블리셔 연합에 들어가야 협상력이 생기는데, 개인 블로그 하나로는 그 문턱을 넘기 어렵다. 다만 중개 스타트업이 늘어나는 추세를 보면, 개인 창작자를 모아 대신 협상해주는 "블로거용 라이선싱 대행" 서비스가 나올 가능성은 있다고 본다. 네이버 창작자 보상처럼 플랫폼이 대신 정산해주는 모델이 AI 크롤링에도 적용되는 그림이다. 지금 당장 내가 뭘 바꿀 건 없지만, 이 판이 개인 창작자 단으로 내려오면 그때 이 글을 다시 꺼내 보게 될 것 같다.

갓튀긴 치킨 먹고 싶다.