Комментарии: У Yahoo! хороший аппетит

Автор: dimok

dimok — Thu, 15 Mar 2007 08:07:53 +0000

blogger, спасибо. тоже на заметку возьмем!

Автор: blogger

blogger — Thu, 15 Mar 2007 00:35:46 +0000

не знаю как для яхи, а гуглу в похожих случаях лучше отдавать 503 Retry-After: NNN

Автор: dimok

dimok — Wed, 14 Mar 2007 21:24:15 +0000

samlowry, уже применили эту тему. плюс скрипты подкрутили. la на серваке упало очень заметно. все бегает. завтра будет пробовать снимать ограничение (delay=10 поставили ща) с яхубота – посмотрим, так ли хорошо мы заоптимизили скрипты.

Автор: samlowry

samlowry — Wed, 14 Mar 2007 18:11:15 +0000

dimok: ну когда идет настоящий дос понятие «приятно» уже неуместно.
Два: в той же моей заметке пункт насчет заголовка с датой изменения. Вы его отдаете? Бот просто не будет в след. раз пагу грузить, если вы отдадите, что она не изменена.

Автор: dimok

dimok — Wed, 14 Mar 2007 05:25:31 +0000

samlowry, про такой прием слышал. спасибо, что напомнил, наверное поставим пока скрипты оптимизируются.

Но все же это полумеры имхо. Так приятно, когда боты начинают тебя активно индексить, что ограничивать их в этом – просто кощунство! Так что я выбираю вариант оптимизации скриптов и апгрейда сервера.

Автор: samlowry

samlowry — Wed, 14 Mar 2007 04:44:31 +0000

Блин, два зубра SE RTFM не делают?

Димок, смотри ссылку. Делаешь общий robots.txt алиасом апача – и в нем ставишь боту дилей, допустим, 10 сек. Отпускает буквально на глазах.

Автор: dimok

dimok — Tue, 13 Mar 2007 20:51:18 +0000

alexf2000, такое не в первый раз, конечно. но раньше получалось побороть эту напасть довольно быстро (постоянной оптимизацией скриптов и апгрейдами сервака), но в этот раз сервер падает как только мы даем яхе доступ. Я думаю, что это происходит потому, что забанив (в основном, частично) часть наших сайтов, аха осознала, какую глупость совершила, и старается как можно быстрее все проиндексировать все бездарно утерянные страницы – раньше все шло своим чередом, без спешки, а вот сейчас ей исподобилось обрушиться на нас.

бывало и не такое. Как то раз китайский поисковик начал индексить сайты, каким-то образом подбирая неправильные урлы (видимо перепутали обслютные с относительными и стали запрашивать непозволительно идиотские страницы типа domen.com/archive/archive/archive/archive/archive/archive/archive/page.html) – модреврайт, конечно, помер довольно быстро, учитывая, что и запросов было оооочень много. В итоге я просто забанил всех китайцев на сервере.

Автор: alexf2000

alexf2000 — Tue, 13 Mar 2007 17:18:07 +0000

У меня более гибкая схема – если бот попадается агрессивный, то есть скажем качает больше N страниц в час, то я начинаю показывать ему 502ю страницу (перегрев сервера) в течении какого-то времени. Проблама с яхо в том, что он досит распределённо, с кучи адресов, так что эту схему пришлось ещё дополнительно модифицировать, чтобы банить не по ip, а по подсети.
Вообще странный пост, у тебя первый раз что-ли нашествие яхи? У меня минимум раз в 2 месяца такое случается.