Hadoopy

Це в основному бібліотеки Python для MapReduce, написаної в Cython

Особливості :.

• Схожі інтерфейс як Hadoop API (патерни проектування використовувані між інтерфейсами Python / Java)
• Загальна сумісність з Дамбо, щоб дозволити користувачам перемикатися
• Корисна на Hadoop кластерів без Python або адміністратора доступу
• Швидке перетворення та обробка
• Перебування невеликий і добре задокументовані
• Будьте прозорими з тим, що відбувається на
• Програми ручка з складні .so-х років, ctypes та розширення
• Код, написаний для рубати здатності
• Простий доступ HDFS (наприклад, читання, письмо, Ls)
• Підтримка (і не повторити) велику екосистему Hadoop (наприклад, Oozie, дзижчання)
• Автоматизована розпаралелювання роботи "Авто-oozie" доступні в проекті hadoopy потоку (підтримується з галузі)
• Місцеві виконання незміненому MapReduce роботи з launch_local
• читати файли / запису порядкові TypedBytes безпосередньо до HDFS з пітона (readtb, writetb)
• дозволяє виконувати друк на стандартний висновок і стандартний потік помилок в Hadoop завдань, не викликаючи проблем (використовує 'труби' стрибкової техніки, обидва доступні в стандартний потік помилок в завдання)
• Роботи на кластерах без додаткової установки, Python, або які-небудь бібліотеки Python (використовується Pyinstaller, що входить в цю вихідного дерева)
• Роботи з OS X
• Критичний шлях в Cython
• Простий доступ HDFS (readtb і Ls) всередині Python, навіть у виконанні завдань
• Юніт-тестування інтерфейсу

(Заяви і друкувати! Немає необхідності боятися з них в Hadoopy)
• , які повідомили про використання статус і лічильники
• Підтримка шаблонів проектування в книзі Лін і Дайер
• Typedbytes підтримка (дуже швидко)
• підтримка Oozie

Вимоги

• Cython 0,13 або вище