Генератор robots.txt

Заполняйте все поля по порядку. По мере заполнения, Вы будете видеть изменения и пополнение вашего Robots.txt директивами. Ниже подробно описаны все директивы файла Robots.txt.

Введите адрес вашего сайта: http://
Выберите поисковые системы, для которых собираетесь создать правило:
User-agent:
Запишите файлы и директории, которые не нужно индексировать:
Disallow:
Главное зеркало сайта:
Host:
Введите адрес нахождения карты сайта XML:
sitename/Sitemap:
Вставить:
Результат - Robots.txt:

Пометьте, скопируйте и вставьте текст в текстовый редактор. Сохраните файл как "robots.txt" в корневой директории Вашего сайта.