Генератор robots.txt
Заполняйте все поля по порядку. По мере заполнения, Вы будете видеть изменения и пополнение вашего Robots.txt директивами. Ниже подробно описаны все директивы файла Robots.txt.
Пометьте, скопируйте и вставьте текст в текстовый редактор. Сохраните файл как "robots.txt" в корневой директории Вашего сайта.