Было интересно зайдя на один из сайтов увидеть в меню статистику посещения ботом (время, раздел, имя бота). Порывшись в нете обнаружились простые скрипты для анализа переменной $_SERVER ['HTTP_USER_AGENT'] с окончаниями типа:

$detect = SpiderDetect($_SERVER['HTTP_USER_AGENT']);
if ($detect)
{ // Это бот, его имя - в переменной $detect. }
else
{ // Это посетитель. }

Лично мне тоже любопытно какой бот и когда заходил ко мне на сайт, что смотрел. Поиски продолжились, нашелся сайт usings.ru с миловидным названием страницы: Скрипт статистики посещений поисковыми ботами и полностью готовым скриптом под PHP как модуль Апатча или Fast CGI. Кликаем для увеличения

Скачать можно здесь или по ссылке выше на странице разработчика
Скрипт версии 1.03 (rev.0015) 06.11.2009 дополнен обновлением 1.3.11

Инструкция по установке:
1. Распакуйте архив и замените файлы обновления
2. Установите файлы в корень вашего сайта (директория public)
3. Добавьте следующий фрагмент в файл .htaccess:

<Files "bot_stat.*">
Order Allow,Deny
Deny from All
</Files>

<Files "bots_*">
Order Allow,Deny
Deny from All
</Files>

<Files "bots.php">
<IfModule mod_fastcgi.c>
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP:Authorization} !^$
RewriteRule ^(.+)\.php$ $1.php?HTTP_AUTH=%{HTTP:Authorization} [QSA,L]
</IfModule>
</IfModule>
</Files>

4. Добавьте следующий код:

<?php require_once 'bot_stat.php'; ?>

в корневой файл директории public Вашего сайта - index.php после тега <body>

5. Настройте права доступа к файлам:
Установите права 666 на файлы: bot_stat.log, bot_stat.txt, bots_settings.php
Установите права 644 на все остальные файлы скрипта

6. Измените пароль администратора перейдя по ссылке: http://mydomain/bots.php, по умолчанию:
admin login = admin password = 12345
user login = user password = 123

При обновлении следующими версиями скрипта, не перезаписывайте файлы: bot_stat.log и bot_stat.txt, а в файле bots_settings.php введите заново логины и пароли

Боты и файл robots.txt

Файл robots.txt

Боты