Spidr

Скрипт може працювати на одній сторінці, веб-сайт, кілька доменів або навіть нон-стоп.
SPIDR призначений для швидкої і простий у використанні

Особливості :.

• Відновлення чергу павуків і історію з попередньої сесії .
• Користувальницькі рядки User-Agent.
• користувача настройки проксі-сервера.
• HTTPS підтримка.


• наступним чином:
• тегів.
• IFrame теги.
• теги кадрів.
• Cookie охоронюваних посилання.
• HTTP 300, 301, 302, 303 і 307 перенаправлень.
• Мета-Оновити перенаправлення.
• HTTP Basic Auth охоронюваних посилання.


• Чорно-білий список або список URL-адрес, засновані на:
• схема URL-адрес.
• ім'я хоста
• Номер порту
• Повна зв'язок
• Розширення URL

<Клас Li = "bbli"> Забезпечує викликів захисники для:
• Кожен відвідали сторінку.
• Кожен відвідали URL.
• Кожен відвідали URL, який відповідає заданим шаблоном.
• Кожен походження і призначення URI ланки.
• Кожен URL, який не вдалося відвідати.

<Клас Li = "bbli"> Надає методи дій, щоб:
• Пауза робот-павук.
• Перейти обробку сторінок.
• Перейти обробки посилань.

Що нового У цьому випуску:

• Спіймати OpenSSL :: SSL :: виключення SSLError, коли з ініціативи HTTPS Сесії.