Pcompress

Pcompress є відкритим вихідним кодом командного рядка паралельної компресії, декомпресії та дедуплікаціі утиліта, поділ вхідних даних на шматки.
Pcompress є дельта стиснення, можливість нерухомий блок, стиснення метаданих, підтримка декількох алгоритмів, в тому числі LZMA, LZMA-багатопоточний, PPMD, Bzip2 або LZ4, сильний цілісності даних, фільтри, Матриця перетворення, шифрування, аутентифікація повідомлень, метаданих, перекритими обробки, звичай розподільник, тверде режим, оббивка і багато іншого

Що нового У цьому випуску :.

• Це великий реліз Завдяки архівування носій на основі Libarchive. Передові технології використовуються для виявлення типів файлів і використовувати відповідні алгоритми для стиснення краще. Фільтри, як PackJPG для файлів JPEG і Dispack для виконуваних файлів використовуються для поліпшення стисливість. Через кілька евристики допомогти виявити вже стислі дані і уникнути дорогих кроків стиснення. Архів записів також сортуються в кластер пов'язані з утриманням і добитися кращого стиснення. Межі сплати даних для декількох паралельних потоків визначаються з типу файлу і прокатних змін хеш. MMap і Zero-Copy методи використовуються всередині, коли це можливо, щоб поліпшити продуктивність. Деякі оптимізації також було зроблено, щоб зменшити використання пам'яті. Використання була спрощена з більшістю функцій автоматично налаштовується на основі рівня стиснення.
• З цими змінами Pcompress можуть виступати в якості повноцінного архіватора, як смола або CPIO і забезпечують кращий коефіцієнт стиснення і вищу продуктивність у порівнянні з режимом стиснення одного файлу. Pcompress дуже вигідно з іншими провідними комунальні послуги архиватора.

Що нового у версії 2.4:

• Ця версія виправляє ряд проблем, у тому числі деякі прикордонні випадки аварій та Кілька атак на переповнення буфера.
• дедуплікаціі даних тепер може бути зроблено за допомогою блоків, як маленькі, як 2 КБ, забезпечуючи набагато вищий ступінь DeDupe, ніж практично будь-яке інше програмне забезпечення дедуплікаціі.
• подібності на основі продуктивності дедуплікаціі була покращена.
• точність виявлення вільної пам'яті також була покращена.

Що нового у версії 2.3:

• У даній версії виправлені кілька помилок і забезпечує ряд удосконалень в ефективності і продуктивність.
• Ефективність виявлення схожість подібності на основі майже точна дедуплікаціі була покращена.
• У той же час вимоги пам'яті для індексу був зменшений.
• Точність розділення даних між потоками була покращена.
• Чанкінг і швидкість індексування були вдосконалені та обчислення Кавказькі Мінеральні Води Ескіз тепер більш точно.
• Цей реліз рухається всі основні функціональні можливості в розділяється бібліотеку в рамках підготовки до інтерфейсу API, який буде представлений в майбутніх версіях.

Що нового у версії 2.2 :.

• Це, насамперед, Виправлення реліз
• Він виправляє деякі збої з невірного введення і побудувати проблем на Debian6 і старих процесорів, що не SSE4.
• Min-купа зіставлення на основі подібності для Delta кодування було покращено і зроблено швидше і точніше.
• Точність масштабируемой сегментированной глобальної дедуплікаціі було вдосконалено, щоб бути більше, ніж 95%.
• Інші testcases були додані.

Що нового у версії 2.1 :.

• Ця версія додає багато виправлення і поліпшення продуктивності
• Точність в пошуку дублікатів в Глобальній DeDupe була покращена.
• SHA256 тепер алгоритм блок хеш замовчуванням для дедуплікаціі, з можливістю зміни його окремо від шматка перевірки хеша.
• В цілому, багато поліпшення продуктивності були зроблені, з кращого паралелізму, більш SSE векторизації і швидше сортування та поліпшення обробки сегмент хеш список файлів, в результаті чого менше I / O і менше випадкового доступу.
• Помилки в розрахунку в пам'яті розмір індексу було зафіксовано, щоб уникнути переповнення вільної оперативної пам'яті і підкачки на диску.