LPBS

LPBS (Local Portable Batch System) є інструментом для емуляції PBS на локальній робочій станції.
PBS / крутний момент система планування завдань, який використовується на багатьох обчислювальних кластерів високої продуктивності. Пакет LPBS надає інструменти для виконання сценаріїв завдань PBS на локальній робочій станції. Зокрема, LPBS надає команду lqsub, який приймає ті ж параметри, що і команді PBS qsub і запускає сценарій завдання локально, в середовищі практично ідентичною тій, що б забезпечити PBS / крутного моменту. Робота буде виконуватися у фоновому режимі і бути призначений ідентифікатор завдання. На відміну від системи PBS, LPBS не проводитиметься жодних планування, а просто запустити завдання, подане йому. LPBS надає додаткові інструменти для управління запущеними робочих місць.
Установка
LPBS можна встановити з PyPi, використовуючи
пункт встановити LPBS
Крім того, пакет може бути встановлений від джерела з
Python setup.py встановити
Конфігурація
LPBS зберігає всі свої налаштування і виконання даних в папці, зазначеної у змінній оточення $ LPBS_HOME. Ця змінна оточення повинна бути визначена. Конфігурація знаходиться у файлі lpbs.cfg всередині $ LPBS_HOME. Якщо цей файл не існує, коли який-небудь із сценаріїв LPBS виконуються, файл конфігурації з наступними значеннями за замовчуванням будуть створені:
[Сервер]
# Повне ім'я машини сервера подання (hostname.domain). Буде доступний
# Запуском роботу через змінну оточення pbs_server. Ідентифікатори Вакансії закінчиться
# В ім'я хоста сервера
Ім'я хоста: локальний
домен: локальна
[Node]
# Повне ім'я машини вузла виконання (hostname.domain). Буде доступний
# Запуском роботу через змінну оточення PBS_O_HOST. З LPBS є
# Призначений для виконання завдання локально, настройки тут повинні бути в цілому
# Ідентичні тим, які в розділі [Сервер]
Ім'я хоста: локальний
домен: локальна
[LPBS]
# Установка для виконання завдання.
# Якщо "username_in_jobid" включена, ідентифікатори робота буде мати вигляд
# 'Seqnr.user.hostname.domain ", де" користувач "є ім'ям користувача,
# Подачі роботу.
# Файл наведені в "sequence_file" використовується для відстеження в "seqnr"
# З'являтися в роботі ID.
# Файл дан в лог-файл "використовується для реєстрації всіх подій LPBS. Обидва
# 'Sequence_file »і« лог »у порівнянні з $ LPBS_HOME.
username_in_jobid: 0
sequence_file: послідовність
лог: lpbs.log
[Подряпин]
# Настройки для робочого простору, що надається робочих місць. "Scratch_root 'визначає
# Місце, де робочі місця повинні написати тимчасових даних. Якщо дається як відносний шлях,
# Це відносно $ LPBS_HOME. Змінні середовища буде розширена на
# Час подання роботи.
# Якщо значення # 'create_jobid_folder "встановлено в 1, папку з ім'ям
# Повний ідентифікатор завдання створюється всередині scratch_root. Ця папка автоматично
# Віддаляються, коли робота закінчується, якщо "keep_scratch" не встановлюється в 1. Якщо робота
# Чи не вдалося, подряпини не будуть видалені, якщо "delete_failed_scratch" не встановлений
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Повідомлення]
# Настройки про те, як користувач повинен бути повідомлені про такі події, як на початку
# І кінець роботи. Якщо sent_mail встановлений в 1, повідомлення електронної пошти будуть відправлені на
# Повідомлення в залежності від вартості "-m" варіант, щоб lqsub. Якщо
# 'Send_growl "встановлено в 1, Growl (http://growl.info) використовується для повідомлення
# На MacOS X. повідомлення по Growl не брати до уваги "-m 'опції
# Під час представлення роботи.
send_mail: 0
send_growl: 0
[Mail]
# SMTP налаштування для повідомлень електронною поштою. Повідомлення по електронній пошті буде відправлено від
# Адреса задається опцією «від». SMTP-сервер наведені в SMTP-'является
# Використовується для відправки повідомлення електронної пошти, якщо "Аутентифікація" встановлено в 1, аутентифікація
# Зроблено з даного "користувача" та "пароль". Якщо "TLS" 1, шифрування TLS
# Буде використовуватися.
від: nobody@example.org
SMTP: smtp.example.com:587
Ім'я користувача: користувач
Пароль: секрет
аутентифікації: 0
TLS: 1
[Growl]
# Настройки для повідомлень Growl. Повідомлення надсилаються або
# Локальний або віддалений комп'ютер по протоколу ДНТП. Установка "ім'я хоста"
# Дає адресу і порт сервера Growl, враховуючи 'Пароль' є
# Використовується для аутентифікації (зверніть увагу, що при відправці на локальний, що не
# Необхідна аутентифікація, і пароль повинен бути порожньою). Якщо
# 'Липкі' встановлений в 1, повідомлення Growl буде липким. Це
# Можна посилати повідомлення більше одного хоста. У цьому випадку, як
# 'Імені хоста' і 'Пароль' повинен бути розділений комами список значень, з
# Кожен елемент, що відповідає одному господареві. Наприклад
# Ім'я хоста: локальний, RemoteHost
# Пароль :, секрет
Ім'я хоста: локальний: 23053
пароль:
Важливо: 0
[Вхід]
# 'Лог' дає ім'я файлу центральної журналу, по відношенню до $ LPBS_HOME.
лог: lpbs.log
Зверніть увагу, що якщо використовується конфігураційний файл за умовчанням, змінна $ SCRATCH_ROOT середовище має бути визначена і каталог він вказує на повинен існувати і бути доступний для запису для всіх користувачів, які представляють робочі місця.
Для установки всієї системи, / Var / lpbs є підходящим місцем для $ LPBS_HOME. Змінна середовища може бути встановлено в /etc/bash.bashrc для всіх користувачів. Для установки в просторі користувача, virtualenv рекомендується.
Після основного файлу конфігурації, файл $ HOME / .lpbs.cfg також буде читати. Користувач може використовувати їх для зміни налаштувань в конфігурації системи. Нарешті, команда qsub також має --config опцію, яка дозволяє вказати ще додатковий конфігураційний файл для читання.
Використання
LPBS містить сценарії lqsub, lqstat і lqdel, який емулює PBS / крутного моменту команди qsub, qstat і lqdel, відповідно. Команда lqsub використовується для відправки завдань, lqstat використовується для відображення інформації про виконання завдань і lqdel використовується, щоб перервати виконання завдань. Наприклад:
Goerz @ локальний: ~> lqsub job.pbs
3.localhost.local
Goerz @ локальний: ~> lqstat
Робота ID Ім'я користувача Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 0:00:22
Goerz @ локальний: ~> lqstat -f 3.localhost.local
Робота Id: 3.localhost.local
І NBSP; JOB_NAME = pbstest
І NBSP; Job_Owner = Goerz
І NBSP; сервер = localhost.local
І NBSP; exec_host = localhost.local
І NBSP; PID = 14649
І NBSP; Error_Path = STDERR
І NBSP; Join_Path = True
І NBSP; Mail_Points = п
І NBSP; OUTPUT_PATH = pbstest.out
І NBSP; resources_used.walltime = 0:00:43
Goerz @ локальний: ~> lqdel 3.localhost.local
Команда qsub призначений, щоб зрозуміти всі варіанти командного рядка командою qsub крутного моменту версії 2.18, крім того, що всі параметри, пов'язані з плануванням, мовчки ігноруються. Таким чином, всі сценарій завдання PBS повинна бути submittable без змін. Для отримання додаткової інформації, запуску lqsub, lqstat і lqdel з опцією --help, та / або звернутися до керівництва крутного моменту.
Приклад роботи скрипта
Нижче наведено приклад простого PBS роботи скрипта, який виведе повну середу, що робота бачить. Ви можете уявити цю роботу як з LPBS і PBS / крутного моменту, щоб переконатися, що з відповідними настройками в lpbs.cfg, LPBS забезпечує однакову середовище як LPBS.
#! / Bin / Bash
#PBS -N Pbstest
#PBS -j OE
#PBS -l Вузли = 1: ППН = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l MEM = 10 МБ
#PBS -o Pbstest.out
відлуння "################################################ #### "
відлуння "Учасник: $ PBS_O_LOGNAME"
відлуння "пакетне завдання почав на $ PBS_O_HOST"
відлуння "PBS ID Вакансії: $ PBS_JOBID"
відлуння "PBS ім'я завдання: $ PBS_JOBNAME"
Ехо "PBS робочий каталог: $ PBS_O_WORKDIR"
відлуння "Робота почалася" `HOSTNAME`` date`
відлуння "поточному каталозі:" `pwd`
відлуння "PBS середовища: $ PBS_ENVIRONMENT"
відлуння "################################################ #### "
відлуння "################################################ #### "
відлуння "повну середу:"
printenv
відлуння "################################################ #### "
відлуння "Робота ведеться виконується на наступний вузол:"
кіт $ ​​{PBS_NODEFILE}
відлуння "################################################ ########## "
відлуння "Робота Виконав:" `date`
вихід 0

Вимоги

• Python