SferaBot

Индексирующий бот поиска Sfera. Сейчас собирает открытые сайты Москвы для теста search.space-cafe.ru.

• User-Agent: SferaBot/0.1 (+https://search.space-cafe.ru/bot)
• Соблюдает robots.txt
• Не ходит за пределы списка семян (Москва)
• Пауза между запросами ~0.8 c

На поиск