네이버 로봇의 방문 주기를 변경하려면?
네이버 웹로봇의 방문 주기를 변경하려면 robots.txt 파일에 아래 내용을 기재하시면 됩니다.
User-agent: NaverBot
Crawl-delay: 30
User-agent: Yeti
Crawl-delay: 30
이 경우 NaverBot, Yeti는 30초 단위로 고객의 홈페이지를 방문하여 웹문서를 수집하게 됩니다.
해당 옵션을 지정하지 않으면 일반적으로 약 10 ~ 20초 간격으로 1페이지씩 수집을 진행합니다.
위의 내용처럼 네이버봇에 방문 주기를 제어하는 설정입니다. 그렇다면 다음봇도 위와 같은 룰을 따르지 않을까요?
User-agent: daumoa
Crawl-delay: 10
이렇게 하면 10초 간격으로 페이지를 수집해 가도록 설정하는데, 실제로 적용될지는 미지수네요.