robots.txt кодировка в Ansi
предназначен для роботов поисковых систем

User-agent: - Пользовательский агент или * - все роботы
Disallow: /key/ - директория без индексации
Disallow: /installation/views/complete/ - директория без индексации
Disallow: /crack - Файлы которые начинаются на crack без индексации
Disallow: /crack$ - Файлы crack без индексации, но файлы с продолжением например crack1 или crack-adobe индексируются
Disallow: /*crack - директория или файлы crack без индексации и /kaygen/crack тоже
Disallow: /crack/*.hlp - не индексируются файлы с расширением .hlp в данной и дочерних категориях
Allow: /key/ - директория key с индексацией
Allow: /key - Файлы которые начинаются на key с индексацией
Crawl-delay: 10 - задержка между загрузками страниц, по умолчанию 1-2 секунды
Request-rate: 1/5 - число прочитаных страниц в секунду, т.е. 1 страница за 5 секунд
Visit-time: 0800-1625 - индексировать страницы с 8 утра до 16.25
Host: - Хост или Url сайта без http://
Sitemap: - Url файла sitemap.xml без http://
Разрешенными или Allow считаются не прочитаные robots.txt или размер которых превышает 32 килобайта

Стандартный файл robots.txt

User-agent: Yandex
User-agent: Aport
User-agent: Googlebot
User-agent: StackRambler
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /cgi-bin/
Disallow: /components/
Disallow: /download/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /raznoe/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: myhouselife.ru
Sitemap: http://myhouselife.ru/sitemap.xml