Комментарии к записи: Оптимизация robots.txt для WordPress

Автор: Валентин

Валентин — Sat, 16 Jan 2010 00:15:18 +0000

Илларион а на фтп зайти не судьба? это же дело 1 секунды

Автор: Илларион

Илларион — Fri, 15 Jan 2010 19:55:11 +0000

А нет ли случайно какого-нибудь плагина для создания robots.txt?

Автор: Валентин

Валентин — Fri, 15 Jan 2010 17:16:52 +0000

Tod, Вы неправы. allow в роботсе быть может. и директория host понятно не только яше, но и гуглу, и другим поисковикам

Автор: Caustikk

Caustikk — Thu, 14 Jan 2010 11:14:29 +0000

>> поэтому нужно отдельно прописывать правила для всех поисковиков * и отдельно для

Всегда пишу правила для всех юзерагентов общие – гугль просто игнорирует некоторые директивы, но у него и обход более оптимально построен, чем у яндекса. Кстати, гугль лезет даже туда, куда явно запрещено…

Автор: Tod

Tod — Sat, 09 Jan 2010 04:14:55 +0000

По моему Allow в роботс.тхт быть не должно – там можно только запрещать.
Во-вторых, где-то читал, что директива Host понятна только для Яши, поэтому нужно отдельно прописывать правила для всех поисковиков * и отдельно для Яши. Что можете по этому поводу сказать?

Автор: Как составить правильный robots.txt? | SEO-блог Ярыгина Виктора

Как составить правильный robots.txt? | SEO-блог Ярыгина Виктора — Wed, 06 Jan 2010 12:28:23 +0000

[...] wordpress: Оптимизация robots.txt для WordPress, единственное, правильнее, вместо строки: Allow: [...]

Автор: Twin

Twin — Mon, 04 Jan 2010 16:44:55 +0000

Не проще вместо этого:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

поставить следующее:
Disallow: /wp-

Автор: Интервью на тему: "Гостевые посты" с Ильей автором seoinsoul.ru | Маркетинг блога

Mon, 04 Jan 2010 16:13:43 +0000

[...] http://www.seoinsoul.ru, который недавно опубликовал гостевой пост “Оптимизация robots.txt для WordPress” на всем известном блоге [...]

Автор: Самая необходимая оптимизация wordpress | Маркетинг блога

Самая необходимая оптимизация wordpress | Маркетинг блога — Sun, 03 Jan 2010 23:03:30 +0000

[...] robots.txt, но недавно на блоге Димка был опубликован пост: Оптимизация robots.txt для WordPress, и я стал пользоваться этой версией. Расхождение были [...]

Автор: Я

Wed, 30 Dec 2009 09:49:56 +0000

А, значит, Allow: /wp-content/uploads/ добавлено, что противодействовать этой далее добавленной команде Disallow: /wp-content.

Автор: mavick

mavick — Mon, 28 Dec 2009 11:32:58 +0000

Я, так там же дальше стоит
Disallow: /wp-content , по идее он закрывает все что внутри…

Автор: Я

Sun, 27 Dec 2009 17:49:26 +0000

Итак, вы предложили:

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
и т.д.

А нужно ли это Allow: /wp-content/uploads/ ?
Разве по умолчанию не разрешается все то, что не запрещено в disallow?

Автор: Ваше блоговодие № 14 | Блог Оксы о деньгах в сети

Ваше блоговодие № 14 | Блог Оксы о деньгах в сети — Fri, 25 Dec 2009 21:12:38 +0000

[...] Оптимизация robots.txt для WordPress [...]

Автор: Валентин

Валентин — Thu, 24 Dec 2009 16:51:07 +0000

Ценная информация, особенно если учитывать что АГС зверствует, чтобы перестраховаться лучше закрыть страницы дубли от индексации

Автор: SEOinSoul

SEOinSoul — Wed, 23 Dec 2009 13:24:27 +0000

бомж, конечно информация, но она ведь есть в других разделах, в основном блоке на предыдущих страницах, поэтому в архивах она дублируется. А поисковики не очень любят дублированную информацию, и в сумме с другими нарушениями могут исключить страницы из индекса.