В настоящее время в блоголете rss запрещены к индексации - помещены в robots.txt, сделал я это еще для блогов на wordpress. Проблема в том, что в панели вэбмастера у яндекса для всех text/xml документов выдает ошибку - тип документа не поддерживается. Ну и ладно - поставил в robots.txt, лишь яндекс не возмущался, хотя очень странно, что xml яндекс не поддерживает. Вчера же я почитав доку по поиску по блогам яндекса, робот яндекса регулярно дергает и парсит рсс. И тут появляется коллизия: рсс запрещен в robtos.txt и его же должен читать робот яндекса. Как быть? Указать другой тип документа text/html? Но не все так просто, у меня рсс постов редиректится на фидбурнер - алгоритм заимствовал из соответствующего плагина для wordpress. Редерект происходит для всех агентов кроме фидбурнера, чтобы дать ему возможность читать оригинальный фид. И если не забыл, то фидбурнер выдает тип документа text/html - это установлено по умолчанию, и может быть изменено в настройках.

Я сейчас в некоторой расстеряности - попытка погуглить на эту тему ничего путевого не дала.