WebGraph

WebGraph є основою для вивчення веб-граф. WebGraph надає прості способи управління дуже великими графіки, експлуатуючи сучасні методи стиснення. Точніше, в даний час складається з:
1. Набір плоских кодів, званих коди, які особливо підходять для зберігання веб-графіки (або, загалом, цілих чисел з розподілом по статечному закону в певному діапазоні показника). Справа в тому, що ці коди працюють добре можна легко перевірити дослідним шляхом, але ми також намагаємося, щоб забезпечити детальний математичний аналіз.
2. Алгоритми стиснення веб-графіки, які використовують стиснення прогалин і referentiation (ла LINK), intervalisation і коди для забезпечення високого коефіцієнта стиснення: наприклад, WebBase графік (2001 повзати) стискається в 3,08 біт на посилання, і знімок близько 18500000 сторінок домену .uk зібраної UbiCrawler стискається в 2,22 біт в лінії зв'язку (відповідні показники для транспонуватися графів 2,89 біт на посилання і 1,98 біт на засланні). Алгоритми контролюється кількома параметрами, які забезпечують різні компроміси між швидкістю доступу і стиснення.
3. Алгоритми для доступу стислий графік, фактично розпакування його, використовуючи ліниві методи, які затримують декомпресію, поки це не насправді необхідно.
4. повне, документально реалізації зазначених в Java алгоритмів, що містяться в пакеті it.unimi.dsi.webgraph. Крім того, чітко визначеної API, пакет містить декілька класів, які дозволяють змінити (наприклад, перенести) або стиснути графік, так що експериментувати з різними настройками. Пакет спирається на fastutil для рамок колекцій тип-специфічний, висока продуктивність, на MG4J для бітового рівня I / O, на розподіл COLT для готових до використання, ефективних алгоритмів і на ГНУ Getopt для лінії командної аналізу.
5. набори даних для дуже великий граф (наприклад, млрд посилань). Вони або зібрана з відкритих джерел (таких як WebBase), або виробляється UbiCrawler.
Зрештою, з WebGraph ви можете отримувати і аналізувати дуже великий веб-графіка, навіть на ПК з всього за 256 Мбайт оперативної пам'яті. Використання WebGraph так само легко, як установка декілька файлів фляги і завантаження набору даних. Це робить вивчення явищ, таких як PageRank, розподіл графа властивостей веб-графіка і т.д. Дуже легко

Що нового У цьому випуску :.

• Ця версія додає кілька удосконалень HyperANF і виправлено декілька помилок.
• WebGraph тепер можна знайти на Maven Central.

Що нового у версії 2.4.5:

• Ця версія містить реалізацію HyperANF, новий дуже масштабований алгоритм для обчислення функції сусідства графа, і методи, які обчислюють середню найкоротший шлях та інші похідні дані з функції сусідства.
• Крім того, багатство статистичних даних в даний час розраховується при стисненні.

Що нового у версії 2.4.4 :.

• Деякі старі варіанти були видалені
• Файли властивостей в даний час містять безліч корисних статистичних даних.
• Випадкові доступ був поліпшений.

Що нового у версії 2.4.3:

• Виправлені ArrayListMutableGraph.addNodes () (спасибі Еріку Лумер для пошуку та виправлення цієї помилки).
• Нові можливості перекласти вихід ASCII графіки.
• RemappedImmutableGraph.successorArray (х) робить той же масив при кожному виклику, таким чином роблячи успадковані наступників (х) метод непридатним для сканування в паралельних різних списків. Виправлена ​​(тепер вона повертає копію масиву, замість цього).
• Нью-випадкового перетворення переставляє випадково граф.

Що нового у версії 2.4.2:

• Новий & Quot; складати і Quot; побудувати робить можливим скласти (дуги позначені) графіки.