User-agent: UNetBot Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat User-agent: * Disallow: / User-agent: Yandex Allow: / Allow: /forum/ Allow: /board/ Allow: /search/ Allow: /dir/ Allow: /gb/ User-agent: googlebot Allow: / Allow: /forum/ Allow: /board/ Allow: /search/ Allow: /dir/ Allow: /gb/ User-agent: * Allow: / Sitemap: http://ac-sw.net.ru/sitemap.xml Sitemap: http://ac-sw.net.ru/sitemap-forum.xml #Пример корректно составленного robots.txt, при обработке #которого директива Host учитывается User-Agent: * Disallow: Host: www.ac-sw.net.ru #Примеры некорректно составленных robots.txt, при обработке #которых директива Host может не учитываться #1. User-Agent: * Host: www.ac-sweet.ucoz.com #2. Host: www.ac-sw.net.ru User-Agent: * Disallow: