Позавчера Яндекс написал о том, что теперь их робот понимает новую директиву в файле robots.txt. Сама директива называеться «Crawl-delay». Использовать ее необходимо в том, случае если ваш сервер, на котором размещается сайт, работает не сильно быстро. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. Т.е. написав в robots.txt код «Crawl-delay: 2″ вы буквально скажете роботу перейти к следующей странице через 2 секунды, после начала просмотра предыдущей. Таким образом можно существенно ускорить обходи сайта робтом. Несмотря на это сами разработчики обращают внимание пользователей на то что, если вы зададите значение равное «0.5″, то это не означает что робот будет заходить на сайт каждые пол-секунды.

А вот и примеры использования:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

Так что коллеги, вперед, использовать новшества во благо своих сайтов!

Ссыдка по теме: Новая директива

Да уж все хотят быть красивыми, выдающимися, привликающими внимание. Некоторые люди колят себе пирсинг, некоторые современные студенты одеваются очень особенно, некоторые блогеры любыт разные гаджеты и современные штучки, как например iphone. Главное для большенства не быть как все. Но бывает, что в погоне за тем, чтобы не быть как все, ты и превращаешься в того, кто как все.