При всех достоинствах самой популярной системы для блога - WordPress, большое количество дублей контента, которые создает CMS, может довести до фильтра Яндекса, и здесь важно закрыть все лишнее от индексации в роботс. В статье представлена подробная информации о грамотном составлении файла robots.txt для WordPress.
Комментарии