Доход с нуля
Все что относится к интернету.

Новые правила обработки Allow и Disallow в robots.txt

Сообщение Николай76 » более года назад 07 апр 2012, 05:52

Новые правила обработки Allow и Disallow в robots.txt

07.03.2012 г. в Яндекс.Вебмастер пришло сообщение такого содержания:

Код: Выделить всё
Добрый день!

Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.

--
С уважением,
Яндекс.Вебмастер


Вот и думаю на тему соответствия наших robots.txt новым стандартам... :)

Кто желает прокомментировать заявление Яндекс?
pravila
Аватара пользователя
Николай76
Эксперт
 
Сооб­щения: 1120
Откуда: Россия

Сообщение Administrator » более года назад 07 апр 2012, 14:06

Думаю эти правила могут сказаться на некоторых движках, в которых адреса страниц очень сложные. Когда я делаю файл robots, стараюсь задавать правила так чтобы каждый вид адреса подпадал под действие только одной директивы. А вообще правило довольно логичное: открываем для скачивания весь сайт и закрываем некоторые страницы от индексации. Отдельные страницы обычно имеют более длинный адрес или префикс.
Аватара пользователя
Administrator
Администратор
 
Сооб­щения: 9590
Откуда: Россия

на главнуюна главную



Вверх Вниз