Apache Hadoop спочатку був розроблений Yahoo і проект являє собою поєднання між попередніми Apache Hadoop в осерді і Apache Hadoop Common репозиторіях.
Проект Hadoop придбав багато популярність завдяки своїм великим результатами в реалізації кількох серверах розподіленої обчислювальної системи з для обробки великих обсягів даних.
Сам проект насправді складається з чотирьох частин. Одним з них є Hadoop Common, так зване ядро, яке дозволяє все інші модулі для роботи, другий є його власний файлова система - HDFS (Hadoop Distributed File System), третій є основою планування пряжа Hadoop, і, нарешті, є система Hadoop MapReduce для підтримки паралельних обчислень.
Використовуючи ці системи порушення землю, Апач вдалося створити багато інших побічних проектів, таких як:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache Mahout
- Apache Pig
- Apache Спарк
- Apache Tez
- Apache Zookeeper
Всі вони спираються на потужні засоби обробки даних двигуна Hadoop або його розподілених обчислювальних функцій, інтеграції одного зі своїх модулів в одному чином їх основної або інший.
Що нового в цьому випуску:
- Підтримка для архівного зберігання
- Прозорі дані при шифруванні спокою (бета-версія)
- Операційна безпечний DataNode, не вимагаючи кореневого доступу
- Гарячий диск підкачки: підтримка додавання / видалення томів вузла даних без перезавантаження вузла даних (бета-версія)
- Підтримка AES для більш швидкого шифрування дроти
- Підтримка тривалих послуг в пряжу
- Підтримка вузла мітки під час планування
- Підтримка заснованих на часі резервування ресурсів в ємності планувальника (бета-версія)
- Global, загальний кеш для артефактів додатків (бета-версія)
- Підтримка роботи додатків спочатку в Докер контейнери (альфа)
Що нового у версії 2.7.1:
- Підтримка для архівного зберігання
- Прозорі дані при шифруванні спокою (бета-версія)
- Операційна безпечний DataNode, не вимагаючи кореневого доступу
- Гарячий диск підкачки: підтримка додавання / видалення томів вузла даних без перезавантаження вузла даних (бета-версія)
- Підтримка AES для більш швидкого шифрування дроти
- Підтримка тривалих послуг в пряжу
- Підтримка вузла мітки під час планування
- Підтримка заснованих на часі резервування ресурсів в ємності планувальника (бета-версія)
- Global, загальний кеш для артефактів додатків (бета-версія)
- Підтримка роботи додатків спочатку в Докер контейнери (альфа)
Що нового у версії 2.7.0:
- Підтримка для архівного зберігання
- Прозорі дані при шифруванні спокою (бета-версія)
- Операційна безпечний DataNode, не вимагаючи кореневого доступу
- Гарячий диск підкачки: підтримка додавання / видалення томів вузла даних без перезавантаження вузла даних (бета-версія)
- Підтримка AES для більш швидкого шифрування дроти
- Підтримка тривалих послуг в пряжу
- Підтримка вузла мітки під час планування
- Підтримка заснованих на часі резервування ресурсів в ємності планувальника (бета-версія)
- Global, загальний кеш для артефактів додатків (бета-версія)
- Підтримка роботи додатків спочатку в Докер контейнери (альфа)
Що нового у версії 2.6.0:
- Підтримка для архівного зберігання
- Прозорі дані при шифруванні спокою (бета-версія)
- Операційна безпечний DataNode, не вимагаючи кореневого доступу
- Гарячий диск підкачки: підтримка додавання / видалення томів вузла даних без перезавантаження вузла даних (бета-версія)
- Підтримка AES для більш швидкого шифрування дроти
- Підтримка тривалих послуг в пряжу
- Підтримка вузла мітки під час планування
- Підтримка заснованих на часі резервування ресурсів в ємності планувальника (бета-версія)
- Global, загальний кеш для артефактів додатків (бета-версія)
- Підтримка роботи додатків спочатку в Докер контейнери (альфа)
Що нового у версії 2.5.0 :.
- Покращення перевірки автентичності при використанні HTTP-проксі-сервер
- Новий Hadoop Метрики поглиначем, який дозволяє писати безпосередньо в графіті.
- Специфікація для Hadoop Compatible зусилля Filesystem.
- Підтримка POSIX-стиль файлової системи розширені атрибути.
- OfflineImageViewer для перегляду в fsimage через API WebHDFS.
- Покращення Supportability і виправлення до шлюзу NFS.
- Модернізований веб-інтерфейси (HTML5 і Javascript) для HDFS демонами.
- Інтеграція Kerberos для тимчасової шкали магазину пряжу в.
<Літій> підтримка REST API-інтерфейси пряжу в поданні і вбивства додатків.
Що нового у версії 2.4.0:
- Підтримка списків контролю доступу в HDFS
- Вбудована підтримка плавну модернізацію в HDFS
- Використання протокольних буферів для HDFS FSImage для гладких оперативних оновлень
- Повна підтримка HTTPS в HDFS
- Підтримка автоматичного переходу на інший ресурс пряжу ResourceManager
- Розширена підтримка нових додатків на пряжу History Application Server, і Application Server, Графік
- Підтримка сильних SLAs в пряжу CapacityScheduler через витесняемость
Що нового у версії 2.3.0 :.
- Підтримка ієрархії Гетерогенний зберігання в HDFS
- У пам'яті кеша для даних HDFS з централізованим управлінням і керуванням.
- Спрощена розподіл MapReduce довічних файлів за допомогою HDFS в пряжу Distributed Cache.
Що нового у версії 2.2.0:
- пряжа - система управління ресурсами загального призначення для Hadoop щоб дозволити MapReduce і інші інші механізми обробки даних і послуг
- Висока доступність для HDFS
- HDFS Федерація
- HDFS моментальні знімки
- NFSv3 доступ до даних в HDFS
Що нового у версії 2.1.0-бета:
- HDFS моментальні знімки
- Підтримка запуску Hadoop на Microsoft Windows
- стабілізація пряжа API
Що нового у версії 2.0.3-альфа:
- QJM для HDFS HA для NameNode
- многопользовательского планування ресурсів (CPU і пам'ять) для пряжі
- пряжа ResourceManager Restart
- Значна стабільність в масштабі для пряжі (більше 30 000 вузлів і 14 мільйонів додатків до цих пір, під час випуску)
Що нового у версії 1.0.0 :.
- Підвищення рівня безпеки
- HBase (додавання / hsynch / hflush, і безпеку).
- webhdfs (з повною підтримкою безпеки).
- Продуктивність розширення доступу до локальних файлів для HBase.
- Інші засоби підвищення продуктивності, виправлення помилок, а також функції.
Що нового у версії 0.20.2:
- відправити сервер RPC буфер зберігає розмір найбільшою коли-небудь відповідь відправлено.
- C ++ бібліотеки не будують на Debian Lenny.
- Деякі сценарії C ++ НЕ chmodded раніше мурашиного виконання.
- Streaming :. Процес за умови повідомлення про стан перезаписувати кожні 10 seoncds
- IllegalArgumentException коли CombineFileInputFormat використовується в якості завдання InputFormat.
- Кілька помилок ж / Hadoop архівів.
- Дозволити кешування екземплярів файлової системи повинен бути відключений на основі кожного примірника.
- Відсутність синхронізації для defaultResources в Configuration.addResource.
- GzipCodec не повинен представляти BuiltInZlibInflater як decompressorType.
- NameNode-х HttpServer не може створити екземпляр InetSocketAddress: IllegalArgumentException викидається .
- HttpServer спить з негативними значеннями.
- NameNode біжить із зовні пам'яті через витік пам'яті в Ipc Server.
- IPC клієнт помилка може призвести до RPC виклик повісити.
- непроходження випробування запобігти інших тестових цілей від виконання.
- CONTRIB тести зазнають невдачі Clover'ed побудувати.
- Тести не працюють на 0,20 гілки.
- TestStreamingStatus зазнає невдачі на 0,20 гілки.
Коментар не знайдено