Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Грамотный robots.txt для WordPress 4.х

Сегодня сразу после обновления движка WordPress Яндекс прислал мне страшилку с запретом индексирования сайта. Обновление WordPress прошло при этом успешно, только файла robots.txt я на хостинге не обнаружил, так что будьте бдительны. Пришлось заливать на хостинг новый файл robots.txt и раз уж пришлось делать это, я решил показать, что именно у меня в robots.txt для WordPress если пригодится я буду рад.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: ВашСайт.ru
Sitemap: http://ВашСайт/sitemap.xml
Пользуйтесь! П.С. ВашСайт — заменить на адрес вашего сайта

Полезная информация:

Woocommerce заказы со статусом "ожидание оплаты" автоматически отменяются
TimThumb error has occured WordPress
Как добавить отображения даты в подвале сайта WordPress.
Ошибка платежа Яндекс.Касса и Woocommerce
Исправляем проблемы с кодировкой (utf-8 charset)
iSape vs VKontakte API и iMoney + VK comments
Как отключить сообщения «системы безопасности» Mac OS X
Убрать category из ссылки WP (продолжение)
Случайный вывод кода (видео, текст, картинки)
Добавление PageNavi (постраничной навигации) в нестандартные шаблоны
Breadcrumbs редактировать в Cherry FrameWork
Управления ссылками WordPress плагин WPNoExternalLinks
Akismet и его API key
Площадки для размещения статей
MainWP Child не добавляется при успешном подключении [Решено]
WordPress не работают постоянные ссылки (404 Not Found)
Полная русификация Woocommerce
Как настроить DNS шаблоны в ISPConfig 3
Отображение и текста и логотипа в шаблоне WordPress
Как быстро узнать версию ISPConfig 3 (ssh)
Форма контактов для WordPress
Русификация плагина «NextGEN Gallery» (файл)
Backup сайта в DropBox
Простой плагин email рассылки (Newsletter) для WordPress
При обновлении произошла ошибка: Не удалось определить директорию содержимого
Как в WordPress импортировать .xml файл больше 2mb
Добавление бесплатного SSL сертификата на WordPress
Добавить новый sidebar
Правильные анонимайзеры
Footer в functions.php для дочерней (child) темы StoreFront WordPress
Простой и красивый способ украсить UnderConstruction
Сделать изображения одинаковыми по высоте средствами CSS
Доступ к namebased сайту без DNS-записи в Windows
Ошибка Deprecated: Function ereg() is deprecated in /samefile.php on line 142
Как включить logging (debugging) в ISPConfig 3
Шаблон Mantra изменение текста Read more
Как удалить ссылки на картинки в новостях WordPress
Полезные плагины WordPress
Как выводить первую картинку поста wordpress
Количество сопутствующих товаров в Woocommerce
Как обойти AdBlock
Красивые WordPress caption
Как очистить очередь Exim
Задача: выравнять картинки по центру div-ов с помощью CSS
Повышение безопасности – редактируем .htaccess
Как добавить редирект (301) в ISPConfig
Html в конце ссылки статей в WordPress
WordPress Super Cache - кто такой?
Jazzy Forms плагин, который радует!
Удаление плагинов WordPress
Joomla/Mambo To WordPress Migrator Fatal error (решение)
Удаляем строки Saphali Lite, Woocommerce, All in one seo pack
Не показывать виджет iMoney если он пуст
Правильный robots.txt
Локализация woocommerce Print Invoice & Delivery Note
Метки: , , , , . Закладка Постоянная ссылка.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.