robots.txt 생성기 — 크롤러 규칙 파일 온라인 생성

이 robots.txt 생성기의 기능

robots.txt 파일은 도메인 최상위에 위치하며, 검색엔진 크롤러가 사이트의 어떤 부분을 가져올 수 있고 없는지 알려줍니다. 이 생성기는 간단한 입력만으로 그 파일을 만들어 줍니다. 규칙을 적용할 User-agent를 지정하고(모든 봇에는 *, 특정 봇에는 Googlebot 같은 이름 사용), Allow와 Disallow 경로를 한 줄에 하나씩 입력하고, 필요하면 Crawl-delay를 초 단위로 추가하고, Sitemap URL로 크롤러를 안내하면 됩니다. 크롤러를 추가하면 그 크롤러만의 규칙 블록이 하나 더 생기므로, 흔히 쓰는 파일(Googlebot만 허용하고 나머지 봇은 전부 차단)을 두 번 만들어 붙이지 않고 한 번에 쓸 수 있습니다. 직접 입력하기 번거로우면 ‘시작 틀 고르기…’ 메뉴에서 미리 만든 파일을 고르세요. 모두 허용, 모두 차단, Googlebot만 허용, GPTBot·ClaudeBot 같은 AI 크롤러 차단, 그리고 WordPress·Drupal·Joomla가 기본으로 쓰는 규칙으로 크롤러 블록을 채우며, 입력한 사이트맵 URL은 그대로 둡니다. 그 옆의 ‘규칙 추가…’는 파일을 통째로 바꾸지 않고 규칙을 더합니다. ‘CSS와 자바스크립트 가져가기 허용’과 ‘이미지 가져가기 허용’은 모든 크롤러 블록에 그 파일들의 Allow 줄을 넣되 블록에 이미 있는 규칙은 다시 쓰지 않습니다. 검색엔진이 페이지를 그리려면 CSS와 스크립트가 필요하기 때문입니다. 그 아래 ‘AI 크롤러 하나씩 차단’에는 AI 크롤러 차단 틀이 막는 크롤러가 운영 회사 이름과 함께 나오며, 하나를 체크하면 그 크롤러에게 사이트 전체를 막는 그룹이 더해지고 해제하면 그 그룹만 빠지며 파일의 나머지는 그대로입니다. 다른 규칙을 따로 써 둔 크롤러는 흐리게 표시되고 그 블록에서 직접 고치면 됩니다. 어떤 블록이 /를 차단하고 아무것도 허용하지 않으면, 그 크롤러(User-agent가 *이면 따로 그룹이 없는 모든 크롤러)에게 사이트 전체가 막힌다고 알려 줍니다. 입력하는 즉시 결과가 실시간으로 갱신되며, 클릭 한 번으로 전체 파일을 복사해 사이트 루트에 robots.txt로 저장할 수 있습니다.

파일이 만들어지는 방식

추가한 크롤러마다 블록이 하나씩 만들어집니다. 먼저 User-agent: 줄을 출력하고, 이어서 모든 Allow: 경로, 그다음 모든 Disallow: 경로를 예측 가능한 순서로 정리해 파일이 읽기 쉽고 변경 비교(diff)에도 편하게 유지됩니다. 블록과 블록 사이는 읽기 쉽도록 빈 줄로 나누며, 크롤러는 다음 User-agent 줄에서 새 그룹을 시작합니다. 빈 줄과 공백만 있는 줄은 무시되므로, 실수로 남은 빈 행이 잘못된 지시문이 되는 일이 없습니다. Crawl-delay: 줄은 양수를 입력했을 때만 추가되며, 사이트맵 URL을 입력하면 빈 줄로 구분한 뒤 마지막에 Sitemap: 줄이 붙습니다. 결과는 Google, Bing 등 주요 크롤러가 이해하는 널리 지원되는 로봇 배제 형식을 따릅니다.