Файл robots.txt
Все документы HTML и не только, представляют собой файлы и папки, в которых они хранятся на сервере. Для их индексации поисковые системы присылают своих роботов, которые забирают информацию о вашем сайте и передают ее в базу поисковиков. В дальнейшем, обработанная информация с учетом соответствующих запросов, выдается пользователям сети Интернет. На любом сайте помимо информации для общего пользования хранится служебная информация, которая не должна попадать под индекс поисковых роботов. Для того, чтобы контролировать процесс индексации, существует файл robots.txt. С его помощью, веб-мастер задает разрешения или запреты индексирующим роботам……