cpdetector

cpdetector проект невеликий, але розумний рамки для виявлення кодуванні.
cpdetector є невеликий, але розумний рамки для виявлення кодуванні, яка об'єднує різні стратегії. Він може бути використаний як бібліотеки для стороннього програмного забезпечення, яке звертається текстових даних по мережі.
Вона також включає в кращою практикою у вигляді інструменту командного рядка, що дозволяє сортувати і перетворення великих колекцій документів, заснованих на їх кодової сторінки.
Існуючі стратегії включають в себе: jchardet (виняток, частотний аналіз, і гадати), виявлення майна HTML кодування, і виявлення оголошення кодування XML.
Що таке код сторінки?
По-перше, текстовий документ є не більше, ніж послідовність бітів. Комп'ютер повинен вирішити, як він може відобразити ці дані у вигляді символів (які будуть визначені, за допомогою комп'ютера, як чисел).
Кодова сторінка - який також відомий як таблиці кодування - відображає необроблені дані в текстовому документі символів. Вихідний код ASCII сторінки, наприклад, тільки використовує 7 біт октету (байти) для прийняття рішення характер, який представлений таким чином, що дозволяє тільки відображати 128 різних символів. У минулому пам'ять була дорогою і комп'ютери найчастіше було тільки регістри і шини для 8 біт.
Коли мейнфреймів була задумана це повинно було бути прийнято рішення, які символи він повинен підтримувати. Лікарі і математики наприклад потрібно спеціальних символів для рівнянь. В результаті, комп'ютер часто поставляються зі спеціальним кодової сторінки

Що нового У цьому випуску :.

• Це велике Виправлення версії виправлені дві проблеми в командному рядку пакетному режимі.
• Перемикач для пропуску рухомих непоміченими документи в даний час працює знову.
• Ніяка спроба виявилася буде перекодувати непоміченими документи (що викликало виняткову програмний потік).

Що нового у версії 1.0.8:

• Цей реліз реліз стабільність і виправлені байт порядок визначення марки і несумісність з OpenJDK. Вона також вимагає Java 1.5 тепер.