Инструменты для веб-мастеров от Гугл (Google Webmaster Central) анонсировали инструмент для создания файла robots.txt.
Теперь запрещать и разрешать индексация элементов сайта просто. И главное, что Гугл проследит за тем, чтобы не было ошибок.
Вообще, Инструменты для веб-мастеров полезная штука. Например, можно посмотреть по каким запросам находят ваш сайт, на каких он позициях в выдаче и по каких запросам больше всего переходят на сайт. Из первых рук как говорится. Кстати, "Популярные поисковые запросы" и "Популярные запросы с кликами" в статистики отличаются (+ можно уточнять по типу поиска, региону и дате) и эти отличия наводят на интересные мысли - попробуйте сами и вам понравится.