Яндекс вводит новую директиву в robots.txt
Позавчера Яндекс написал о том, что теперь их робот понимает новую директиву в файле robots.txt. Сама директива называеться «Crawl-delay». Использовать ее необходимо в том, случае если ваш сервер, на котором размещается сайт, работает не сильно быстро. Читать полностью
