Недавно я писал о оптимизации wp плагинами, там я выложил лучшую подборку компонентов для seo продвижения вордпресс. В этом уроке поговорим про оптимизацию wordpress при помощи robots.txt и полезных хуков, которые помогут убрать дубли и избежать фильтров ПС Янндекс и Google.
Правильный robots.txt для wordpress
После переезда с старой cms на wp, я отложил настройку роботс, о чем потом сильно пожалел. У меня появилось куча ненужных страниц в индексе, и даже словил пессимизацию от Яндекса. Чтоб избежать этого, рекомендую сразу после установки движка прописать все это в вашем роботс.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://werstey.ru/sitemap.xml
Host: werstey.ru
Где взял уже не помню, но конфиг реально крутой. Уже через 2 апдейта весь мусор вылетил с индекса, а позиции на страницах с контентом начали расти. P.S. не забудьте заменить werstey.ru на свой домен. А можете и забить, мне только лучше))
Как убрать дубли картинок
Опять же, отложив настройку системы, у меня вылез очередной геморрой, с которым пришлось повозиться. На сей раз в индекс вошли дубли картинок, которые имели такой url — https://werstey.ru/3-sposoba-dlja-sbora-kljuchevyh-zaprosov.html (название картинки после слеша поста). Как видим, такая страница не имеет абсолютно никакой ценности. Там только картинка и непонятный заголовок, даже ссылки нет с какой записи она извлечена.
Решить проблему можно 2 способами:
- Закрыть в роботс при помощи Disallow: */* Но, это вас спасет лишь в случае если ваш url такой как у меня. Например, если будет – site.ru/cat/post тогда Вы исключите из индекса весь материал что опубликован.
- При помощи хука:
Вставлять в самый конец functions.php перед ?> Если в конце нет закрытия php à ?> тогда просто вставляем в самый конец. Чтоб отредактировать functions.php зайдите в админ панель à внешний вид à редактор и справа выберите необходимый файл.
add_action('wp_head', 'jrc_noindex_attachment_pages');
function jrc_noindex_attachment_pages(){
if (get_post_mime_type()!= false){
echo '<meta name="robots" content="noindex,nofollow" /> ';
}
}
Убираем css и js с верхней части
Если Вы уже проверяли сайт в PageSpeed Insights, тогда наверняка вас смутила надпись “Удалите код JavaScript и CSS, блокирующий отображение верхней части страницы” и чтоб избавиться от нее в wordpress, я предлагаю воспользоваться хуком:
if(!is_admin()){
remove_action('wp_head', 'wp_print_scripts');
remove_action('wp_head', 'wp_print_head_scripts', 9);
remove_action('wp_head', 'wp_enqueue_scripts', 1);
add_action('wp_footer', 'wp_print_scripts', 5);
add_action('wp_footer', 'wp_enqueue_scripts', 5);
add_action('wp_footer', 'wp_print_head_scripts', 5);
wp_deregister_script('jquery');
wp_register_script('jquery', ("https://werstey.ru/ajax.googleapis.com/ajax/libs/jquery/1.3.2/jquery.min.js"), false, '1.3.2', true);
wp_enqueue_script('jquery');
}
Вставлять по тому же принцепу как в случае с дублями картинок (см. выше).
Вот и все, по большему счету, Вы потратили всего 5 минут для того чтоб копировать-вставить, а cms оптимизировали. К тому же теперь Вы не наступите на те грабли, о который я говорил в самом начале.
Читайте так-же – Как раскрутить сайт самостоятельно