Главная - Без рубрики - Файл robots.txt для WordPress

Файл robots.txt для WordPress

Вы создаёте сайт, блог. Для чего? Просто так?! Появилось свободное время и как то надо не отстать от жизни? У всех есть, а у Вас ещё нет своего сайта на домене второго уровня?! Так?

Или быть может Вы хотели бы получать какой то доход от своего сайта? Это тоже сейчас очень модное и интересное занятие. А главное полезное. Какой бы вариант Вы не выбрали, в любом случаи для того чтобы сайт стал популярен (а с популярностью придёт и доход) его надо как-то продвигать в поисковых системах. Основные поисковые системы для России это yandex и google…

Хотел написать про файл robots.txt для WordPress, а по ходу возникает столько отступлений, что если на всё отвлекаться, то до файла robots.txt для WordPress можно и не добраться. А поэтому перейдём сразу к телу:

Движок у Вашего сайта будет WordPress (вроде как наиболее популярный и раскрученный блоговский движок для сайта). Чтобы сразу не допускать обидных ошибок и постараться максимально уменьшить утечку PR и ТиЦ с Вашего сайта, надо сразу максимально по возможности оградить свой сайт от дублированных страниц. Это архиважно. Конечно это сделать будет никогда не поздно, но чем раньше тем лучше.

Каким должен быть файл robots.txt для WordPress? Самый просто способ посмотреть, как сделано у других. Да, да тут тот самый случай когда Ваш плагиат будет оправдан и полезен как никогда. Как технически это посмотреть? Очень просто. Находите более менее авторитетный сайт, статьи на котором Вам пришлись по вкусу, и добавляете к адресу сайта, через слеш robots.txt

Например: https://bestplugins.ru/robots.txt

Смотрите, изучаете, сравниваете. Если у Вас более менее стандартная установка блога была, то Ваш файл robots.txt для WordPress будет выглядеть, как я привожу далее:
[slh lang=»html»] User-agent: Yandex
Disallow: /wp-admin*
Disallow: /archive/
Disallow: */trackback/
Disallow: */comments/
Disallow: */comment-page-*
Disallow: */page/
Disallow: /tag/
Disallow: */feed/
Disallow: /wp-includes*
Disallow: /category/
Disallow: /comments/page
Disallow: /*?s=
Disallow: /*&s=
Disallow: /trackback
Disallow: /*.html/feed
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/languages/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /*?*
Disallow: /*?
Disallow: /xmlrpc.php
Host: bestplugins.ru

User-agent: *
Disallow: /wp-admin*
Disallow: /wp-includes*
Disallow: /tag/
Disallow: /category/
Disallow: */comment-page-*
Disallow: */page/
Disallow: /tag/
Disallow: */feed/
Disallow: /wp-includes*
Disallow: /comments/page
Disallow: /*?s=
Disallow: /*&s=
Disallow: /trackback
Disallow: /*.html/feed
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/languages/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /*?*
Disallow: /*?

Sitemap: https://bestplugins.ru/sitemap.xml[/slh] В этом файле (robots.txt для WordPress) важные все звёздочки и прочие знаки. Будьте внимательны.

Мой блог находят по следующим фразам

О admin

6 комментариев

  1. Сергей

    скажи: вот если я такой себе установлю файл robots.txt, то какие страницы попадут в индексацию поисковыми системами?!

  2. при такой конфигурации файла robots.txt не попадут в индексацию дубли оригинальных статей, а именно теги,категории,архивы и прочее…

  3. Станислав

    На некоторое время, начав использовать плагин Yoast SEO, я перестал на некоторых сайтах делать и sitemap.xml и robots.txt
    Про robots.txt это конечно я по запарке забывал. А вот нужно ли делать карту сайта при использовании плагина Yoast SEO?
    Ведь он не делает в корневом каталоге файла sitemap.xml, а в robots.txt путь к файлу прописывается…

    • Олег Власов

      Yoast делает карту сайта в XML формате, но не надо забывать ее создать и настроить в этом плагине.
      Отсутствие sitemap.xml и robots.txt очень критично для любого сайта, это 2 технических параметра обязательны,
      если хотите видеть свой сайт в ТОП выдачи любой ПС.

  4. И ещё вопрос…
    Плагин Yoast SEO делает несколько Sitemaps. Главная карта https://bestplugins.ru / sitemap_index.xml в ней список из ещё нескольких карт:
    Sitemap: bestplugins.ru / post-sitemap.xml
    Sitemap: bestplugins.ru / page-sitemap.xml
    и так далее, всего у меня пока что 9 карт.
    Нужно все прописывать в robots.txt или хватит одного Sitemap: https://bestplugins.ru / sitemap_index.xml ?
    Я прописал и главную и остальные карты. Но думаю главной хватит. Уточнить решил)))

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*