Scrapy

Клаптева написано 100% в Python і може бути використане для простого аналізу даних, моніторингу сторінки, веб-пошукових систем і навіть для перевірки коду.
SCRAPY НЕ пошукова система в істинному значенні цього слова, але він діє як один (без індексації частини). Проте SCRAPY може бути відмінним інструментом, щоб побудувати свій логіку пошуку двигуна на.
Істинна сила цих рамках покладається універсальність свого сердечника, SCRAPY бути система, на якій будується загальні або спеціальні пошукові павуки (сканерів) на.
Хоча це може здатися дуже складним для нетехнічних користувачів, з швидким поглядом через документації та наявних навчальних посібників, це досить просто, щоб побачити, як SCRAPY вдалося вивезти всю важку-роботу через це і зменшити весь процес для всього кілька рядків коду (для простіше, менші гусеничні)

Що нового У цьому випуску :.

• Unquote запит шлях перш ніж перейти до FTPClient, це вже бігти шляху.
• Включити тести / с Джерело поширення в MANIFEST.in.

Що нового у версії 1.0.1:

• шлях запиту Unquote перш ніж перейти до FTPClient, це вже уникнути шляху.
• Включити тести / с Джерело поширення в MANIFEST.in.

Що нового у версії 0.24.6:

• Додати UTF8 заголовок кодування шаблони
• Telnet консоль в даний час зв'язується з 127.0.0.1 за замовчуванням
• Оновлення Debian / Ubuntu встановити інструкції
• Відключити розумні рядки в оцінках LXML XPath
• Відновлення файлової системи кеш, заснований за замовчуванням для HTTP-кеш проміжного
• Expose поточний сканер в SCRAPY оболонки
• Поліпшення Тестів порівнянні CSV і XML експортерів
• Нью-виїзні / фільтрували та виїзні / домени Статистика
• Підтримка process_links як генератора в CrawlSpider

Що нового у версії 0.24.5:

• Додати UTF8 заголовок кодування шаблони
• Telnet консоль в даний час зв'язується з 127.0.0.1 за замовчуванням
• Оновлення Debian / Ubuntu встановити інструкції
• Відключити розумні рядки в оцінках LXML XPath
• Відновлення файлової системи кеш, заснований за замовчуванням для HTTP-кеш проміжного
• Expose поточний сканер в SCRAPY оболонки
• Поліпшення Тестів порівнянні CSV і XML експортерів
• Нью-виїзні / фільтрували та виїзні / домени Статистика
• Підтримка process_links як генератора в CrawlSpider

Що нового у версії 0.22.0:

• Перейменувати scrapy.spider.BaseSpider в scrapy.spider .Spider
• Сприяння запуску настройок і проміжного рівня в INFO
• Підтримка часткові в get_func_args UTIL
• Дозволити працює indiviual тести за допомогою ToX
• Оновити розширення ігноруються посилання екстракторів
• Селектори зареєструйтеся EXSLT імен за замовчуванням
• Уніфікація пункт навантажувачі, схожі на селекторів перейменування
• Зробити клас RFPDupeFilter легко підкласи
• Поліпшення тестового покриття і майбутня Python 3 підтримка

Що нового у версії 0.20.1:

• include_package_data потрібно побудувати колеса з опублікованих джерел.

Що нового у версії 0.18.4 :.

• Виправлена ​​AlreadyCalledError заміні запит в команди оболонки
• Виправлена ​​start_requests ленивости і на початку зависає.

Що нового у версії 0.18.1 :.

• Вилучено додаткове імпорту додані вишні взяв зміни
• Виправлена ​​повзе випробування в кручений попередньої 11.0.0.
• py26 не може відформатувати нульової довжини поля {}.
• Тест PotentiaDataLoss помилки на незв'язаних відповідей.
• Лікувати відповідей без Content-Length або Transfer-Encoding як хороші відгуки.

не «LI> Будь не включають ResponseFailed якщо http11 обробник не включений.

Вимоги

• Python 2.7 або вище
• кручена 2.5.0 або вище
• libxml2 2.6.28 або вище
• pyOpenSSL