Что такое файл robots

Файл robots.txt нужен для управлений индексацией Вашего сайта поисковыми системами. Этот файл может запретить для индексации одни файлы и каталоги и разрешить другие.
Robots.txt - это обыкновенный текстовый файл, который располагается в корне сайта. Он состоит из набора команд, сообщающих какую нибудь информацию поисковому роботу.  далее...