Файл robots txt и индексация сайта
Текстовой файл robots.txt сайта – это обычный txt документ содержащий особые указания для поисковых роботов. robots.txt создается в текстовом формате Unix. Однако вебмастеру при создании robots.txt не нужно заботиться о том в правильном формате создается файл или нет – современные текстовые редакторы сами превратят строки документа в формат Windows в Unix. Файл robots.txt создается для …