Запрет индексации поддомена или как закрыть от индексации поддомен в robots.txt, в htaccess

Запрет индексации поддомена в robots.txt, если он находится в подкаталоге /dir/

User-agent: *
Disallow: /dir/

Запрет индексации поддомена в htaccess, если он находится в подкаталоге /dir/

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteRule ^/dir/.*$ – [F]

или же в /dir/.htaccess :

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteRule ^.*$ – [F]

Запрет индексации поддомена в robots.txt , если он находится в одном каталоге с сайтом или другими поддоменами

RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$
RewriteRule ^robots\.txt$ robots1.txt

Создать robots1.txt его поместить в корень, а в него:

User-agent: *
Disallow: /

Таким образом создадим несколько разных robots.txt для каждого поддомена.

Запрет индексации поддомена в htaccess , если он находится в одном каталоге с сайтом или другими поддоменами

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteCond %{HTTP_HOST} pod1\.site\.ru.*$
RewriteRule ^.*$ – [F]

Можно так же запретить все поддомены, кроме указанных.

Это может быть полезно в случае социальных сетей или каталогов с личными данными.

RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC]
RewriteCond %{HTTP_HOST} ^([a-z0-9-]+)\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !www\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !pod1\.site\.ru.*$ [NC]
RewriteCond %{HTTP_HOST} !pod2\.site\.ru.*$ [NC]
RewriteRule ^.*$ – [F]

Где: pod1, pod2 – поддомены, которые запрещать не надо.