Robots.txt – файл (инструкция), содержащийся в корневой папке сайта и управляющий работой поисковых роботов без индексации любой части сайта.
В 90-е года поисковики индексировали сайты, обращаясь к содержимому всего сайта, что намного усложняло работу пользователей. Поэтому был создан эффективный инструмент, непосредственно указывающий нужные страницы сайта. Июнь
Работа поискового робота начинается с анализа структуры сайта и обращения к файлу robots.txt. Рассмотрим пример файла, запрещающего индексацию сайта.
User-agent: *
Disallow: /
Всё указанное в файле относится ко всем поисковым роботам, об этом свидетельствует звездочка. Вместо звездочки можно указывать название робота, тогда индексация будет запрещена данному поисковику, об этом говорит слово «Disallow». Прямой слэш означает запрет индексации сайта всеми роботами. Если не указать слэш, то индексировать сайт могут все роботы. Запрет индексации также можно выполнять с помощью атрибута nofollow и тега noindex.
07.09.2012, 4786 просмотров.