Записи с меткой «sitemap.xml»
Составляем файл robots.txt
Для начала Теория.
Robots.txt- это текстовый файл, предназначенный для роботов различных поисковых систем, расположенный на сайте/блоге (в корне папки с файлами интернет ресурса).
В нем web- мастер перезаписывает правила индексации интернет ресурса. Эти правила можно прописать как для всех поисковых роботов сразу, так и для каждого из них по отдельности.
То есть, текстовый файл robots.txt, нужен для запретов к индексации определенных страниц интернет ресурсов.