sCrawler

Існує нескінченна кількість причин, чому особа або компанія, хотіли б використовувати Роботи програмне забезпечення. Цей тип програми переглядає полотна в призначений моди, яка може бути автоматизований, методична чи в впорядкованим чином. Якщо ви новачок в перспективі Роботи програмного забезпечення, може бути, ви чули про павуків, ботів, мурах, автоматичні індекси, роботів або scutters? Вони всі в основному те ж саме!
Мета Роботи Програмне забезпечення

Коли ви думаєте про веб-повзе програмне забезпечення, ви, ймовірно, гучне ім'я пошукові системи, як Google, Bing і Yahoo зображення. Їх ботів повзти через веб-сторінки, щоб визначити зміст, актуальність та індексацію. Створюючи копію відвіданих сторінок, вони можуть забезпечити більш швидке і точне пошуки. SqrBox скаже вам, що ви, звичайно, не потрібно бути пошуковик є потреба в Роботи програмного забезпечення. Ви просто повинні бути кимось, хто має необхідність збору великої кількості або дуже складну інформацію.
Типи Роботи Програмне забезпечення

Якщо ви плануєте користуватися послугами професійної компанії, такі як SqrBox, ви дійсно не повинні бути стурбовані усьому складному жаргоні про Роботи програмного забезпечення. Тим не менш, це корисно, щоб зрозуміти кілька речей про це.

Focused Сканування - Мета цього типу Роботи програмного забезпечення для завантаження сторінки, які з'являються, щоб містити таку інформацію. Є часто деякі недоліки, пов'язані з цим методом, хоча і фактичних показників гусеничного і результаті залежить від того, як багатих свої посилання на цьому конкретній темі, що в даний час шукали. Цей тип Роботи програмного забезпечення часто використовується в якості відправної точки для звуження пошуку для подальшого сканування.

URL Нормалізація - Роботи програмне забезпечення буде часто виконують певний рівень URL нормалізації, який допомагає зменшити повторюваний шукачем того ж джерела більше, ніж один раз.

Обмеження гіперпосилань - У деяких випадках, Роботи програмне забезпечення може хочете, щоб уникнути певних веб-контент і тільки шукати .html сторінок. Щоб зробити це, URL часто розглядається, а потім ресурси будуть запитуватися тільки якщо є певні символи в URL, такі як HTML, ASP-, .htm, .php, .aspx, .jspx або .jsp. Роботи Програмне забезпечення, як правило, ігнорують ресурсів з "?" ., Щоб уникнути павука пастки

Вимоги

.NET Framework 3.5