PHPCrawl

Може бути використаний у письмовій формі пошуку Шукачі (павуки), які веб-сторінок з розмінуванням, на різної інформації.
PHPCrawl отримує інформацію, що був налаштований для завантаження і передає його на більш потужні програми для подальшої обробки

Можливості :.

• Фільтри для URL і Content-Type даних
• Define способи обробки Печиво
• Define способи обробки файлів robots.txt
• Обмежити свою діяльність у різних способів

Режими
• Multi-Processing

Що нового У цьому випуску:

• Виправлені помилки:
• Посилання, які частково urlencoded і частково не отримати відновленню / закодований коректно.
• Вилучено непотрібне налагодження var_dump () з PHPCrawlerRobotsTxtParser.class.php
• ім'я-сервера-вказівка ​​в TLS / SSL працює коректно.
• & Quot; базовий HREF & Quot ;. -tags На веб-сайтах інтерпретуються правильно тепер знову

Що нового у версії 0.80 бета:

• Код був повністю перероблений, портована на PHP5-оо- був переписаний код і багато коду.
• Додана можливість використовувати Використовуйте кілька процесів павук веб-сайту. Метод & Quot; goMultiProcessed () і Quot; доданий.
• New Overridable метод і Quot; initChildProcess () і Quot; додано для початку дітей-процесів при використанні шукача в мульти-технологічних режимі.
• Implementet альтернативу, внутрішня SQlite кешування механізму для URL-адрес, що дозволяють індексувати дуже великих сайтів.
• Метод & Quot; setUrlCacheType () і Quot; доданий.
• Новий метод setWorkingDirectory () додана для визначення місця розташування сканери тимчасове робоче каталог вручну. Therefor метод і Quot; setTmpFile () і Quot; позначається як застарілим (не має функції більше).
• Новий метод і Quot; addContentTypeReceiveRule () і Quot; замінює старий метод і Quot; addReceiveContentType () і Quot ;.
• функція & Quot; addReceiveContentType () і Quot; ще присутній, але була позначена як застарів.

Вимоги

• PHP 5 або вище
• PHP з підтримкою OpenSSL