Позавчера Яндекс написал о том, что теперь их робот понимает новую директиву в файле robots.txt. Сама директива называеться "Crawl-delay". Использовать ее необходимо в том, случае если ваш сервер, на котором размещается сайт, работает не сильно быстро. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. Т.е. написав в robots.txt код "Crawl-delay: 2" вы буквально скажете роботу перейти к следующей странице через 2 секунды, после начала просмотра предыдущей. Таким образом можно существенно ускорить обходи сайта робтом. Несмотря на это сами разработчики обращают внимание пользователей на то что, если вы зададите значение равное "0.5", то это не означает что робот будет заходить на сайт каждые пол-секунды.

А вот и примеры использования:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Так что коллеги, вперед, использовать новшества во благо своих сайтов!

Ссыдка по теме: Новая директива

Related items

Популярность: 65%