MooseFS

MooseFS є відмовостійкої, мережа розподілена файлова система, яка розширює дані протягом декількох фізичних серверах, які видно користувачеві як NBSP один ресурс і, для стандартних операцій з файлами MooseFS актів, як і інші Unix-так файлових систем .:
І NBSP; * ієрархічна структура (дерево каталогів)
І NBSP; * Магазини POSIX атрибути файлу (права, останнього доступу і модифікації рази)
І NBSP; * Підтримка спеціальних файлів (блоків і символьних пристроїв, каналів і сокетов)
І NBSP; * Символічні посилання (імена файлів, що вказують на цільові файли, не обов'язково на MooseFS) і жорсткі посилання (різні імена файлів, які відносяться до тих же даних на MooseFS)
І NBSP; * Доступ до файлової системи можуть бути обмежені на основі IP-адреси та / або пароля
Відмінні особливості MooseFS є:
І NBSP; * Висока надійність (кілька копій даних можуть бути збережені між різними комп'ютерами)
І NBSP; * ємність динамічно розширюваний шляхом приєднання нових комп'ютерів / диски
І NBSP; * Видалені файли зберігаються протягом заданого періоду часу (рівень файлової системи "Відро для сміття")
І NBSP; * Когерентні знімки файлів, навіть у той час як файл записується / доступ
MooseFS складається з чотирьох компонентів:
І NBSP; * Управління сервером (майстер-сервер) і Ndash; одна машина управління весь файлову систему, зберігання метаданих для кожного файлу (інформація про розміри, атрибути та місце (а) файл, включаючи всю інформацію про нерегулярні файлів, тобто довідники, розетки, труби і пристроїв).
І NBSP; * Сервери даних (шматків сервери) - будь-яка кількість стандартних серверів, що зберігають дані файли і синхронізації його між собою (якщо даний файл повинен існувати в більш ніж в одному примірнику).
І NBSP; * Метадані сервер (и) архівації (metalogger сервер) - будь-яка кількість серверів, кожен з яких списком змін сховища метаданих і періодично скачування основний файл метаданих; таким чином, щоб просунути ці сервери в ролі керуючого сервера при Primary Master перестає працювати.
І NBSP; * Клієнтські комп'ютери, які звертаються до (монтаж) Файли в MooseFS - на будь-яке число машин, що використовують mfsmount процес спілкування з керуючого сервера (для отримання і зміни метаданих файлу) і chunkservers (для обміну фактичні дані файла).
mfsmount заснований на механізмі FUSE (Файлова система в просторі користувача), так MooseFS доступні на кожному з операційної системи з реалізації робочої FUSE (Linux, FreeBSD, MacOS X і т.д.)
Метадані зберігаються в пам'яті керуючого сервера і одночасно збережені на диску (як періодично оновлюється бінарний файл і відразу ж оновлюються додаткових журналів). Основний бінарний файл, а також колоди синхронізовані з metaloggers (якщо вони присутні).
Дані файлу ділиться на фрагменти (чушок) з максимумом 64MiB кожного. Кожен блок є сам файл на обраних дисках на серверах даних (chunkservers).
Висока надійність досягається шляхом конфігурування так багато різних серверів даних в міру необхідності, щоб усвідомити цінність «мета» (кількість копій, щоб тримати), встановлених для даного файлу.
, як працює система
Всі операції з файлами на клієнтському комп'ютері, який був змонтований MooseFS точно так само, як вони будуть з іншими файловими системами. Ядро операційної системи передає всі файлові операції на модуль FUSE, який спілкується з процесом mfsmount. Процес mfsmount зв'язок через мережу згодом з керуючого сервера і даних серверів (шматків серверів). Весь цей процес є повністю прозорим для користувача.
mfsmount спілкується з керуючого сервера кожного разу, коли операція по метаданих файлу потрібно:
І NBSP; * створення файлів
І NBSP; * видалення файлів
І NBSP; * читання каталогів
І NBSP; * зчитування і зміна атрибутів
І NBSP; * зміна розмірів файлів
І NBSP; * на початку читання або запису даних
І NBSP; * на будь-якому доступ до спеціальних файлів MFSMETA
mfsmount використовує пряме підключення до сервера даних (порції сервері), який зберігає відповідну шматок файлу. При записі файлу, після закінчення процесу запису керуючий сервер отримує інформацію від mfsmount оновити довжину файлу і час останньої зміни.
Крім того, сервери даних (порцій сервери) взаємодіють один з одним для реплікації даних, щоб досягти необхідної кількості копій файлу на різних машинах.
І NBSP;
Fault Tolerance
І NBSP;
Адміністративні команди дозволяють системному адміністраторові вказати «мета», або кількість копій, які повинні бути підтримані, на в-довідник або для кожного файлу рівні. Установка цілі більш ніж однієї і мають більш одного сервера даних забезпечить відмовостійкість. Коли файл буде зберігатися в багатьох примірниках (більш ніж на одному сервері даних), система стійка до збоїв або тимчасових збоїв мережі одного сервера даних.
Це, звичайно, не відноситься до файлів з "цілі", встановленими на 1, і в цьому випадку файл буде існувати тільки на одному сервері даних, незалежно від того, скільки даних сервери розміщені в системі.
Виключно важливі файли можуть мати їх мета, поставлена ​​в число вище, ніж два роки, що дозволить ці файли, які будуть стійкі до руйнування більш одного сервера відразу.
В цілому установка кількості копій наявних повинно бути на одиницю більше очікуваного числа недоступних або поза замовлення серверах.
У випадку, коли один сервер даних відбудеться збій або відключення від мережі, файли, збережені в ньому, що, принаймні дві копії, буде залишатися доступними від іншого сервера даних. Дані, які зараз "під його мети" буде повторений на інший доступною сервері даних, щоб знову створити необхідну кількість копій.
Слід зазначити, що, якщо число доступних серверів нижче "мета", встановленого для даного файлу, необхідну кількість копій не може бути збережена. Аналогічно, якщо є така ж кількість серверів, як в даний час поставленою метою, і якщо сервер даних досягне 100% своєї потужності, він не зможе почати проводити копію файлу, яка зараз нижче мети порога через іншого Сервер баз даних переходить в автономний режим. У цих випадках новий сервер даних повинен бути підключений до системи як можна швидше, щоб підтримувати потрібну кількість копій файлу.
Новий сервер даних може бути підключений до системи в будь-який момент часу. Нові потужності будуть відразу стають доступні для використання для зберігання нових файлів, або зберігати Реплікованих копії файлів з інших серверів даних.
Адміністративні утиліти для запиту статусу файлів у файловій системі, щоб визначити, якщо будь-який з файлів в даний час нижче їхньої мети (набір кількість копій). Ця утиліта також може бути використаний, щоб змінити установку цілі, як потрібно.
Фрагменти даних, що зберігаються в шматки версій, так повторного з'єднання сервер даних зі старої копії даних (таких, як якщо б вона була форуму для певного періоду часу), не викличе файли, щоб стати безглуздо. Сервер баз даних буде синхронізуватися провести поточні версії шматки, де застарілі шматки будуть видалені, а вільний простір яких буде перерозподілена провести нові шматки.
Невдачі на клієнтській машині (що запускає процес mfsmount) не матиме жодного впливу на узгодженості файлової системи або на діяльність іншого клієнта. У гіршому випадку дані, які ще не були відправлені з невдалих клієнтському комп'ютері можуть бути загублені.
І NBSP;
Підйомники
І NBSP; MooseFS доступні на кожному з операційної системи з реалізації робочої FUSE:
І NBSP; * Linux (Linux 2.6.14 і вище мають підтримку FUSE включені в офіційному ядрі)
І NBSP; * FreeBSD
І NBSP; * OpenSolaris
І NBSP; * MacOS X
Головний сервер, metalogger сервера і chunkservers також може бути запущений на Solaris або Windows, з Cygwin. На жаль, не FUSE це не буде можливо для монтування файлової системи в рамках цих операційних систем

Що нового У цьому випуску :.

< LI> Найбільш важливі зміни включають в себе фіксовану обробка сигналів в багатопоточних модулів, цілі та trashtime обмежень у mfsexport.cfg і просту перевірку для завантажених файлів метаданих.

Що нового у версії 1.6.19:

• Істотні зміни були внесені в metalogger машини і metarestore інструмент для кращого цілісності метаданих.
• був доданий прогрес бар сканування в CS.
• майстер ім'я тепер вирішена, коли не вдається встановити з'єднання.
• нова сесія створюється, коли попередній втрачається.
• були зроблені багато інших виправлень і поліпшень.

Що нового у версії 1.6.17:

• У цьому випуску ми ввели автоматичне управління кеша даних .
• Досить оновити тільки головний сервер (без змін до порцій серверів 'або клієнтів код були зроблені).
• механізм кеш ядра завжди існувала, але досі кеш завжди скидається при відкритті файлу. Тепер MooseFS, чи контролює, щоб очистити його чи ні, перевіряючи, якщо файл був або не змінено іншим клієнтом. Давайте подивимося на деякі сценарії.
• Перший сценарій:
• 1. Комп'ютер читає файл X
• 2. Комп'ютер В читає файл X
• 3. Комп'ютерна хоче прочитати файл X - ми залишаємо кеш (файл не був змінений)
• Другий сценарій:
• 1. Комп'ютер читає файл X
• 2. Комп'ютер записує у файл X
• 3. Комп'ютерна хоче Tor прочитати файл X - ми залишаємо кеш (файл був змінений, але комп'ютер знає про ці зміни)
• Третій сценарій:
• 1. Комп'ютер читає файл X
• 2. Комп'ютер У записі в файл X
• 3. Комп'ютерна хоче прочитати файл X - тут ми повинні змусити очищати кеш (тому що зміни були зроблені комп'ютері B і комп'ютер з не знає про них)
• У реальних умовах перший і другий сценарії трапляються набагато частіше, ніж третій сценарій, і тому доцільно залишити вміст кеша і отримати загальну продуктивність системи.
• Є, звичайно, деякі середні сценарії (але вони також існували й раніше), як це:
• 1. Комп'ютер відкриває файл X і читає його повністю (файл залишається в кеші)
• 2. Комп'ютер Б змінює файл X
• 3. Комп'ютер знову читає файл X (але, не закриваючи або відновлення його - просто переміщення в позиції 0 і перечитуючи його)
• У цій ситуації Комп'ютер буде отримувати ті ж дані, що і в кроці 1, але ж саме відбулося в MooseFS раніше.
• nodatacache атрибут був також введений, який забороняє кешувати файл. Починаючи з версії 1.6.17 до файлів з nodatacache атрибута поводяться як файли робив у старих версіях MooseFS. Цей прапор може бути використаний з інструментами mfsseteattr, mfsdeleattr і mfsgeteattr.
• Цей прапор був доданий в превентивному порядку, ймовірно, вам не потрібно буде його використовувати. Якщо через деякий час з'ясовується, що це дійсно марно, він буде вилучений. Але якщо ви знаходите будь-який випадок / сценарій, який вимагає відключення механізму автоматичного кешування будь ласка, поділіться ним з нами.