ASPseek

ASPseek є забезпечення Інтернет пошукової розроблений SWsoft і ліцензується як вільне програмне забезпечення під GNU GPL.
ASPseek складається з індексації роботом, пошуку демона, і пошук CGI інтерфейс. Це може індексувати, як багато хто, як кілька мільйонів адрес і пошук слів і фраз, використання масок, і зробити логічне пошуку. Результати пошуку можуть бути обмежені періоду, визначеного, сайт або веб-простір (набір дільниць) та упорядковано релевантності (PageRank використовується) або дата.
ASPseek оптимізований для кількох сайтів (різьбовій індексу, асинхронних пошуків DNS, угруповання результатів по сайту, веб-простору), але може бути використаний для пошуку один сайт, а також. ASPseek може працювати з декількома мовами / кодування відразу (в тому числі мультибайтних символів, таких як китайський) через режиму зберігання Unicode. Інші функції включають в себе стоп-слова і підтримку, ISpell кодування і мова Guesser, шаблони HTML для результатів пошуку, витримки і слів запиту підсвічування.
ASPseek написаний на С ++ з використанням бібліотеки STL, і використовує поєднання SQL бази даних і довічних файлів для зберігання.
Ось деякі ключові особливості "ASPseek":
Можливість індексувати і шукати серед мільйонів документів
 
· Використання ASPseek, ви можете створити базу даних і пошук через багато сайтів, і результати для кожного запиту будуть повернуті швидко, навіть якщо у вас є кілька мільйонів документів індексованих. Звичайно, це залежить від апаратного забезпечення, так що не чекайте "старий добрий" i486 машина впоратися з будь-який сайт в домені .com. Все залежить від процесора (ів), пам'ять, швидкість диска і т.д. Так що ваші власні випробування, перш ніж купити спеціальну апаратуру.
 
· Те, що ASPseek оптимізований для великих обсягів не повинно зупинити вас від використання його для пошуку свій власний сайт, який містить кілька сотень документів - вона працює там же.
 
Дуже добре релевантність результатів
 
· Мета пошукової системи, щоб знайти те, що користувач хоче. Там може бути тисячі адрес знайдених в результаті пошукового запиту, але всі вони можуть бути несуттєвими, так що користувач буде незадоволеною.
 
· Вихідні результати в ASPseek упорядковано релевантності (або рангу), але розрахунок Оцінка не легке завдання. Розробники намагалися включити великі і новітні методи в ASPseek двигуна при збереженні хорошої швидкості пошуку.
 
Підтримка Ispell
 
· При ASPseek використовується з ISpell підтримки, SearchD (1) може додатково знайти всі форми для всіх зазначених слів (приклад: створити -> Створення або створено чи створює). Таким чином, це дозволяє вам знайти слово у всіх різних формах.
 
Режим зберігання Unicode
 
· ASPseek може зберігати інформацію про документи в Unicode, що робить можливим реалізувати багатомовну пошукову машину в. Таким чином, ви можете індексувати і шукати документи англійською мовою, російська та навіть китайський, все в одній базі даних.
 
HTTP, HTTPS, HTTP-проксі FTP (через проксі-сервер) протоколи
 
· Як ASPseek є веб-пошукової системи, він використовує протокол HTTP для індексації сайтів. ASPseek також підтримує безпечні HTTPS: // протокол. Протокол FTP не підтримує безпосередньо, але ви можете використовувати проксі-сервер (наприклад, кальмари) і індекс FTP сайти через проксі-сервер.
 
· ASPseek підтримує "основний авторизації" особливість HTTP, так що ви можете індексувати захищені паролем області (наприклад, приватна інформація в інтрамережі).
 
Текст / HTML і текст / звичайний підтримка типів документів
 
· ASPseek можу зрозуміти документи, написані на HTML і текстові документи. Вони є найбільш популярних форматів в Інтернеті.
 
· Інші формати, такі як PDF, RTF і т.д., можуть бути підтримані за допомогою будь-якого зовнішнього програми / скрипта, який здатний конвертувати формати, які HTML або звичайний текст.
 
Багатопотоковий дизайн, асинхронний DNS-перетворювач і т.д.
 
· ASPseek використовує POSIX теми, це означає, що один процес має багато потоків, що виконуються паралельно. Так завантажень індексувати документи з багатьох сайтів, і пошук процеси демонів багато пошукових запитів одночасно. Це не тільки допомагає ASPseek добре масштабується на SMP (багатопроцесорних) систем, але також покращує швидкість індексування, тому що у випадку одного потоку більшу частину часу буде витрачено на очікування даних з мережі.
 
· Одна річ, яка повільно процес індексації вниз багато це DNS-пошук (процес визначення IP-адреси за допомогою імені сервера). Щоб уникнути затримок, асинхронні запити (пошук проводиться по окремих виділеним процесів) і IP-адреса кеш реалізовані.
 
Стоп-слова
 
· Стоп-слів є слова, які не мають ніякого сенсу саме по собі. Приклади: є, є, на це. Пошук по марно, тому такі слова, виключаються з пошукового запиту. Стоп-слова також виключаються з бази даних під час індексації, так база даних стає менше і швидше.
 
· Там немає "вбудованих" стоп-слова в ASPseek, вони завантажуються при запуску з файлів. Багато файли стоп-слів для різних мов поставляється з ASPseek.
 
Кодування guesse
 
· Деякі зламані або неправильно сервери не сказати клієнтам кодування, в якому вони надають контент. Якщо ви індексації таких серверів, або за допомогою ASPseek індексувати FTP-серверів (протокол FTP не знає нічого про кодування), кодування відгадує можуть бути використані для боротьби з ним. Кодування відгадує використовує таблиці частот слів (так звані langmaps) для визначення правильної кодової.
 
Стандарт винятків для роботів (robots.txt) підтримка
 
· ASPseek повністю підтримує цей стандарт. Він призначений для авторів веб-сайту для говорити робота (наприклад, індекс ASPseek (1)), щоб пропустити індексації деякі каталоги своїх сайтів.
 
· Для отримання додаткової інформації див http://www.robotstxt.org/wc/robots.html
 
Налаштування для контролю використання пропускної здатності мережі та веб-серверів навантаження
 
· Ви можете точно контролювати пропускну здатність мережі, що індекс (1) використовує. Точно, ви можете обмежити смугу пропускання (виражений в байтах в секунду), використовуваний за індексом (1) для заданого часу в день. Наприклад, ви можете обмежити пропускну здатність у робочі години, щоб люди у вашому офісі не буде відчувати повільний інтернет.
 
· Ви також можете встановити мінімальний час між двома запитами до тієї ж веб-сервері, так що не буде перевантажений і отримав на коліна під час запуску індекс (1).
 
У режимі реального часу асинхронний індексації
 
· Деякі пошукові системи потрібно, що пошук повинен бути зупинений на час оновлення бази даних. ASPseek не потрібно, так що ви можете шукати нон-стоп.
 
· Більше сказати, є спеціальний режим індексації називається "реального часу" індексація. Ви можете використовувати його для невеликого числа документів, і, наскільки такий документ завантажується і обробляється, зміни відразу видно в пошуковий інтерфейс. Ця функція дуже допомагає, якщо ви будуєте пошуковик для сторінок з швидко мінливим змістом, наприклад, онлайн-новини і т.д.
 
· Зверніть увагу, що ряд документів, в "режимі реального часу" бази даних обмежений. Це близько 1000 на нашому обладнанні (ваш пробіг може варіюватися), і більше документів ви повинні в базі даних "в режимі реального часу", повільніше буде швидкість індексації в цьому (і тільки цієї) бази даних. Це не вплине на швидкість пошуку, хоча.
 
· Документи, з бази даних "в режимі реального часу», переміщаються в нормальному базі даних після запуску індекс (1) у звичайному порядку.
 
Сортування результатів за релевантністю або за датою
 
· Пошукові системи, як правило, повертає найбільш релевантні результати в першу чергу. Але якщо ви шукаєте для останніх сторінок, ви можете сказати, ASPseek для сортування результатів за датою останньої зміни, так недавно змінені (або створюється) сторінки будуть відображатися першим.
 
Уривки, слова запиту, що висвітлюють
· Витримка шматок знайденого документа зі словами шукали підкреслив, просто щоб дати уявлення про те, що документ о. Ви можете налаштувати кількість уривків відображення і їх довжини. Якщо вимкнути уривки, початок документа буде відображатися.
 
· Кожен знайшов документ супроводжується "кешування" посилання. ASPseek тримає місцевий стислу копію кожного документа обробленого, так що користувач може побачити весь документ з (опціонально) виділені слова, які були шукали, навіть якщо вона була видалена з початкового місця (що іноді трапляється).
 
Угруповання результатів по території
 
· Результати одному сайті, можуть бути згруповані разом. Якщо угруповання по сайтам на тільки два Результати відображаються з того ж сайту за замовчуванням, і користувач може побачити на інших сторінках з того ж сайту, слідуючи "Інші результати з ..." посилання.
 
Клони
 
Клони · однакові документи в різних місцях. Вони виявлені і згруповані разом, так що користувач не буде представлений повний сторінки URL, на однакових документів.
 
· Виявлення клонів, як правило, обмежується одним сайту (так однакових документів з різних сайтів, не враховуються як клони), але ви можете змінити це перекомпіляції ASPseek з --disable-клони-на-сайті варіанта.
 
Прогалини і підмножини
 
· Простір набір сайтів. Так що, якщо ви хочете, щоб забезпечити пошук скоротився до якоїсь області, ви можете створити простір і пошук у цьому просторі. Тільки цілі сайти (наприклад http://www.mysite.com/) можуть бути включені в просторі.
 
· Підмножини також можуть бути використані для обмеження пошуку. Ви можете створити підмножина і покласти URL маску (як http://www.mysite.com/mydir/%) в тому, що, а потім обмежити область пошуку тільки даного підмножини.
 
· Ви можете обмежити область пошуку не тільки одного, а декількох підмножин або пропусками.
 
Шаблони HTML для результатів пошуку легко в налаштуванні
 
· Ви можете налаштувати ваші сторінки пошуку, так що вони будуть виглядати і бути інтегровані з іншими вашого сайту. Це робиться шляхом простого редагування файлу шаблону пошуку.
Установка
GZIP -dc aspseek-1.2.10.tar.gz | дьоготь XF -
CD-aspseek 1.2.10. / Налаштувати
робити
су
зробити установку