роботУрок №26

Сегодняшний урок посвящён созданию файла robots txt.

Я вам расскажу что это такое, для чего это нужно  и как сделать.

Что такое Robots txt

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте,  рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.Также в нем задается адрес карты сайта sitemap.xml, что это такое разбирали в прошлом уроке. Но как правило его используют для того, что бы скрыть от индексации не нужные файлы.

В общем функций много. Если хотите почитать по-больше и по-подробнее и сделать свой robots, то рекомендую посетить сайт — robotstxt.org.ru

А для тех кто не хочет париться, предлагаю готовый вариант ниже.

Как сделать robots txt для wordpress

Создаётся очень просто. Открываете блокнот или Notepad++ (в общем любой текстовый редактор) и вставляете в него вот этот текст, заменив слова — ваш сайт на адрес вашего блога:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш сайт
Sitemap: http://ваш сайт/sitemap.xml.gz
Sitemap: http://ваш сайт/sitemap.xml

После сохраняете файл с именем — robots.txt

Если нет никаких текстовых редакторов, можете скачать  готовый файл robots.txt в разделе — каталог файлов (не забудьте внутри файла прописать ваш блог).Всё готово.

Ну что же, основные приготовления с блогом завершены. Теперь можно добавляться в поисковые системы для начала индексации блога. Но об этом в следующем уроке — как проиндексировать сайт.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *