웹 크롤러와 robots.txt의 32년 역사

1993 · 최초의 웹 크롤러

세계 최초의 웹 크롤러는 World Wide Web Wanderer로, MIT의 매튜 그레이(Matthew Gray)가 Perl로 만들었습니다. 목적은 검색이 아니라 "웹이 얼마나 큰가"를 측정하는 것. 한 페이지를 가져와 링크를 뽑고 따라가며 반복하는 — 오늘날 모든 봇의 원형이 이때 나왔습니다. 이 첫 순회에서 집계된 웹 전체가 단 130개 URL이었습니다.

이듬해 브라이언 핑커턴의 WebCrawler가 본문 전체를 검색 가능하게 만들며 "크롤러로 돌아가는 검색엔진"의 시조가 됩니다. 핵심은, 최초의 크롤러엔 악의도 상업적 의도도 없었다는 것 — 그저 학술 도구였습니다. 문제는 이 무해한 도구가 곧 남의 서버를 괴롭히기 시작한 것입니다.

1994 · robots.txt의 탄생 — 사고에 대한 응급처치

네덜란드 엔지니어 마르테인 코스터(Martijn Koster)는 자기 서버가 크롤러 부하로 마비되는 일을 겪습니다(오늘날로 치면 의도치 않은 DoS). 그의 해법은 놀랍도록 단순했습니다 — 사이트 최상위에 /robots.txt 파일을 두고 "어느 봇이 어디에 오면 안 되는지"를 적으면, 봇이 긁기 전에 이를 읽고 따른다.

1994년 2월 www-talk 메일링 리스트에 제안된 이 아이디어는 그해 6월경 사실상의 표준이 됩니다. 강제할 기구도 법도 없이, 순전히 합의만으로. 정식 인터넷 표준(RFC 9309)이 된 것은 무려 2022년 — 28년간 "그냥 다들 지키는 관습"이었습니다.

1998~2018 · 검색엔진 "대타협"

구글 PageRank 이후 굳어진 거래는 명확했습니다: 구글이 페이지를 긁어 색인하는 대가로, 검색 노출과 방문자를 돌려준다. 사이트에 크롤은 손해가 아니라 공짜 유통망이었고, SEO 산업 전체가 "어떻게 크롤러가 내 페이지를 더 잘 긁게 할까"를 중심으로 태어났습니다. 봇을 막는 게 아니라 초대하는 게 상식이던 시대 — robots.txt의 약점(강제력 없음)이 문제 되지 않았던 건, 아무도 봇을 막고 싶어하지 않았기 때문입니다.

2008~ · 조용한 축적: Common Crawl

전환의 씨앗은 검색엔진 시대 한복판에서 뿌려졌습니다. Common Crawl은 2008년부터 웹을 정기 수집해 페타바이트 규모의 공개 말뭉치로 배포하고 있습니다.

이 말뭉치는 여러 언어모델 연구의 데이터 원천이 됐습니다. OpenAI의 GPT-3 논문은 필터링한 Common Crawl을 학습 데이터에 포함했다고 밝힙니다. 다만 GPT-4 기술 보고서는 학습 데이터 구성을 공개하지 않았으므로, 이 페이지는 GPT-4가 Common Crawl을 사용했다고 단정하지 않습니다.

2022~2023 · 대타협이 깨지다

2022년 11월 ChatGPT 이후 모두가 동시에 깨닫습니다 — 크롤러가 이제 방문자를 돌려주지 않는다. AI는 콘텐츠를 자기 답변 안에서 소비하고, 사용자는 원 사이트에 올 이유가 없습니다. 20년짜리 거래의 절반이 사라진 겁니다. Cloudflare는 이를 "crawl-to-click gap"이라 부르며, AI 봇 활동의 약 80%가 학습 목적 크롤이라는 데이터를 냈습니다.

업계는 두 방향으로 반응합니다. ① 봇에 이름표를 달다 — 2023년 8월 OpenAI가 GPTBot을 명명하고 robots.txt 차단을 가능케 함. 9월 구글이 Google-Extended 토큰으로 "학습"과 "검색"을 분리. ② 대량 차단 — 언론사가 선봉에 서, 2025년 기준 영미권 주요 뉴스의 약 79~80%가 최소 하나의 AI 학습 봇을 차단합니다.

2024~2026 · 신뢰가 인프라가 되는 국면

기술적으로: Cloudflare 같은 인프라 사업자가 AI 봇 기본 차단·크롤 유료화·봇 신원 검증으로 신사협정을 강제력 있는 관문으로 바꾸려 합니다. 반대 방향의 새 표준 llms.txt("막겠다"가 아니라 "이렇게 잘 쓰라"고 AI에 안내)도 등장했습니다.

제도적으로: 준수 여부가 소송으로 갑니다. 2025년 8월 Cloudflare의 Perplexity 스텔스 크롤링 고발, 앤트로픽의 대규모 합의, 한국의 지상파-네이버 소송, 2026년 2월 문체부의 생성형 AI 공정이용 안내서로 이어집니다.