robots.txt
robots.txt는 사이트 운영자가 웹 크롤러에 접근 허용 또는 제한을 요청하는 규칙을 게시하기 위한 텍스트 파일이다. Robots Exclusion Protocol에 따라 사이트의 최상위 경로인 /robots.txt에 위치하며 크롤러가 자동 수집을 시작하기 전에 읽을 수 있다. 검색...
| 분류 | 자동 크롤링 경로 정책 |
|---|---|
| 정식 명칭 | 크롤러 접근 규칙 파일 |
| 관련 기술 | World Wide Web, HTML, HTTP, 웹 브라우저 |
| 관련 규격 | RFC 9309: Robots Exclusion Protocol |
robots.txt는 사이트 운영자가 웹 크롤러에 접근 허용 또는 제한을 요청하는 규칙을 게시하기 위한 텍스트 파일이다. Robots Exclusion Protocol에 따라 사이트의 최상위 경로인 /robots.txt에 위치하며 크롤러가 자동 수집을 시작하기 전에 읽을 수 있다. 검색 엔진의 크롤링 범위를 관리하는 데 활용되지만 파일 자체가 접근 인증이나 서버의 강제적인 보안 차단을 수행하는 것은 아니다.
파일은 User-agent로 특정 크롤러를 구분하고 Allow와 Disallow를 이용하여 경로별 허용·제한 규칙을 지정한다. 규칙의 일치는 파일에 적힌 URL 경로와 지정된 패턴에 따라 판정되며 그룹의 선택 및 우선순위는 표준이 정의한다. 서로 다른 크롤러가 동일한 규칙을 지원하더라도 일부 비표준 확장의 해석은 다를 수 있다.
크롤러는 HTTP를 통해 robots.txt 파일을 가져올 수 있으며 서버 응답의 상태 코드와 리디렉션 결과에 따라 규칙을 처리한다. 파일이 존재하지 않거나 접근할 수 없는 경우는 모두 같은 방식으로 처리되는 것이 아니므로 RFC 9309의 성공, 접근 불가 및 서버 오류 규칙을 구별해야 한다. 캐시된 규칙은 일정 기간 후에 다시 확인할 수 있다.
robots.txt는 문서가 검색 결과에 표시되는지 여부를 직접 보장하지 않는다. 크롤러가 페이지에 접근하지 못하더라도 다른 사이트의 링크에서 URL을 발견할 수 있으며, 페이지 자체의 noindex 지시를 읽기 위해서는 해당 문서에 접근할 필요가 있을 수 있다. 검색 노출 제어와 콘텐츠 접근 통제는 서로 다른 문제다.
민감한 관리 경로나 비공개 파일을 robots.txt에 나열하면 해당 경로의 존재를 외부에 알려 줄 수 있다. 비밀 정보는 인증과 접근 권한으로 보호하고 크롤링 규칙과는 별도로 관리해야 한다. robots.txt는 자동화 클라이언트와 서버 운영자가 자원 사용과 콘텐츠 수집 정책을 조정하는 공개적인 의사소통 수단이다.[1]