На головну Контакти Мапа сайту Англійська Українська
 
Про нас
Реєстрація грід-сайтів
Сертифікація грід - користувачів
Реєстрація ВО
Документи УНГ
Ресурси УНГ
Міжнародне співробітництво
Навчання
Грід в запитаннях і відповідях
Новини
Досягнення грід
Контакти
Головна  / Новини  / Українські новини  /  Информационный бюллетень БКЦ-2

Информационный бюллетень БКЦ-2

12.06.2012
 

Украинский национальный грид

 

Базовый координационный центр

7 июня 2012                                                                   Выпуск 1 номер 2
 


Текущее состояние интеграции  УНГ

в инфраструктуру EGI.

 

 

 

Выполнение Меморандума, развертывание центральных сервисов, начало операционной деятельности.

 

Началом выполнения плана интеграции можно считать 24.02.2012 когда в центральной системе поддержки пользователей был открыт тикет на  выполнение подготовительных работ по технической интеграции грид- инфраструктуры УНГ в грид- инфраструктуру EGI.

 

Особенности интеграции:

 

  1. Интегрировать в структуру EGI нужно 11 грид-сайтов УНГ, работающих под управлением промежуточного программного обеспечения ARC. Инфраструктура ARC имеет принципиальные архитектурные отличия от инфраструктуры EGI и требуется установка дополнительных сервисов.
  2. Два сайта КНУ, ИТФ работающие под управлением промежуточного программного обеспечения gLite зарегистрированы в ROC Россия и их доступность не должна быть нарушена в процессе интеграции (участие в обработке задач ЦЕРН не должно прерываться).
  3. Центральные сервисы, которые имеются (VOMS, TopBDII) и которые мы хотели использовать зарегистрированы в ROC Россия и их использовать на начальном этапе не возможно из-за особенностей построения центральной базы данных GOCDB  EGI.
  4. Стратегически было принято решение максимально использовать центральные сервисы EGI и ограничиться на первом этапе минимальным развертывание центральных сервисов УНГ.
  5. И главное – специалисты, которые знают промежуточное программное обеспечение gLite и ARC и умеют  настраивать и согласовывать их работу есть только в КГУ и ИТФ.

 

Исходя из этих ограничений, для интеграции сервисов было принято  следующее решение:

 

  1. Operations Portal – Операционный портал. Использовать центральный сервис EGI. На данном  этапе интеграции не устанавливать национальную версию.
  2. GGUS – система поддержки пользователей и администраторов. Использовать центральный сервис EGI. На данном  этапе интеграции не инсталлировать простейшую систему поддержки администраторов и членов команды операционных дежурных и систему поддержки пользователей грид УНГ без интеграции в общую систему GGUS .
  3. GOCDB – центральная база данных о грид сайтах. Использовать центральный сервис EGI. На данном  этапе интеграции не устанавливать национальную версию. Регистрировать только сайты, выдавшие мандат на подписание меморандума. 
  4. Accounting Repository, Accounting Portal – Репозиторий и портал системы учета использования грид- инфраструктуры. Использовать центральный сервис EGI и принятую систему учета APEL. Для грид-сайтов под управлением ARC  использовать опыт проекта NorduGrid по подключению сайтов.
  5. Service Availability Monitoring Nagios (including support for messaging) – Система тестирования доступности грид-сайтов. Обязательное условие установка национальной версии. Система Nagios должна тестировать сайты и gLite и ARC что есть особенностью нашей NGI_UA.
  6. TopBDII, VOMS, WMS – центральные сервисы gLite установить национальные. На перовом этапе использовать те, что есть, перенеся с сайтов ИТФ и КНУ, и использовать сервисы  EGI.

 

Процедура интеграции описана в документе PROC09 . Она содержит 16 шагов, которые необходимо выполнить. Мы сейчас находимся на 13 шаге, на котором выполняется заключительная проверка установленных сервисов NGI_UA и после ее завершения начинается полноценная операционная деятельность национальной грид инициативы.

 

Не вдаваясь в  технические детали и сложности, которые пришлось преодолеть команде ROD по настройке сервисов за эти три месяца,  сразу перейдем  к результатам.

 

  • 1.Украинская грид инициатива NGI_UA зарегистрирована во всех центральных сервисах EGI и является полноправным членом команды EGI.

 

 

На текущий момент в производственном состоянии (полная работоспособность) в составе NGI_UA следующие сайты:

- NGI_UA_SERVICE – специализированный грид-сайт, в котором собраны центральные сервисы, установлен в ИТФ,

- UA-BITP – грид-сайт ИТФ под управлением gLite , переведенный из ROC Россия под управление национальной NGI_UA;

-UA-BITP-ARC - грид-сайт ИТФ под управлением  ARC-EMI,  который был сертифицирован национальной NGI_UA;

-UA-KNU - грид-сайт КНУ под управлением gLite , переведенный из ROC Россия под управление национальной NGI_UA,

-UA-ISMA - грид-сайт ИСМА под управлением  gLite,  который был сертифицирован национальной NGI_UA.

Сформирована команда управления NGI_UA  в составе:

- Операционный менеджер NGI_UA (С.Свистунов) и его заместитель (Е. Слюсарь),

- Ответственный за безопасность NGI_UA (О.Шадура),

- команда операционных дежурных ROD (Р.Зубатюк, А.Соболев (ИСМА), В. Пелых (ИТФ), А. Сальников (КНУ), Н.Ильин (КПИ)).

  • 2.Инсталлирован и сертифицирован грид-сайт  центральных сервисов NGI_UA_SERVICE

На текущий момент в производственном состоянии (полная работоспособность) в составе NGI_UA_SERVICE следующие сервисы:

- ngi.SAM (mon-ua.bitp.kiev.ua) – система тестирования доступности сайтов и сервисов NGI_UA по тестам EGI,

- TopBDII (topbdii.bitp.kiev.ua) – индексный сервис информационной системы NGI_UA,

- SGAS (vobox1.bitp.kiev.ua) – центральный сервис системы учета использования ресурсов ARC.

Сервисы WMS , VOMS зарегистрированы в грид-сайтах UA-BITP и UA-KNU и не переводятся в центральный сайт.

 

  • 3.Инсталлирован и сертифицирован центральный сервис NGI_UA для тестирования доступности
  •  грид сайтов (в составе NGI_UA_SERVICE)

Следует отметить, что подключена система тестов EGI для промежуточных программных обеспечений gLite и  ARC-EMI. Это основное отличие (и сложность) от других национальных инициатив, которые придерживаются однородности промежуточного программного обеспечения.

 

Сводная информация по системе мониторинга доступна на

 https://mon-ua.bitp.kiev.ua/myegi/

 

  • 4.Проведена полная процедура  сертификации  грид сайта UA-ISMA - грид-сайт Иститута 
  • синциляционных материалов под управлением  gLite сервисами NGI_UA

Следует отметить, что администраторы ИСМА под руководством С.Баранника провели полную инсталляцию необходимых сервисов промежуточного программного обеспечения gLite, а сертификация была проведена по правилам EGI в NGI_UA.

При этом была отработана технология сертификации сайтов gLite и подготовлены рабочие инструкции.  Добавлю, что для сертификации пришлось дополнительно установить сервисы WMS и TopBDII для не сертифицированных грид-сайтов т.к. центральные сервисы EGI не совсем корректно обрабатывали запросы. Как оказалось, это не только наша была проблема и сейчас она решается центром поддержки системы тестирования EGI.

  • 5.Проведена полная процедура  сертификации  грид сайта UA-BITP-ARC - грид-сайт Института 
  • теоретической физики под управлением  ARC-EMI сервисами NGI_UA

Следует отметить, что регистрация и сертификация сайтов под управлением промежуточного программного обеспечения ARC отличается от общепринятой схемы EGI. Это связано со спецификой ARC. И поэтому пришлось работать в сотрудничестве как со специалистами EGI, так и разработчиками NorduGrid. Было установлено новое программное обеспечение ARC-EMI, сервисы стыковки Site-BDII, скрипты конвертации данных.

При этом была отработана технология сертификации сайтов ARC-EMI и рабочая инструкция для подключения других сайтов ARC размещена на http://grid.org.ua/wiki/. 

  • 6.      Выполнена регистрация в системе поддержки пользователей GGUS, что позволяет отвечать
  •  на тикеты и начать операционную работу

Выполнена регистрация операционного персонала на «Операционном портале EGI» что позволяет начать операционную работу  NGI_UA



 

  • 7.      Инсталлирован сайт поддержки администраторов и членов команды оперативных дежурных
  •  

Этот сайт размещен в КГУ (http://grid.org.ua/wiki/). Содержит информацию о операционной работе  NGI_UA: инструкции, расписание дежурств, советы по исправлению ошибок.

  • 8.      Инсталлирован сайт SGAS системы учета использования ресурсов ARC и передачи данных в 
  • систему учета EGI

Регистрация сайтов gLite выполнена установкой соответствующих сервисов Apel и проведено подключение к центральной базе данных.

С сайтами ARC есть проблема передачи данных, но она связана с незавершенностью процесса интеграции всей структуры NorduGrid в   EGI. Мы работаем в тесном контакте с разработчиками из Финляндии и Словении и надеемся проблема будет решена.

 

  • 9.      Реакция EGI  на подписание Меморандума о сотрудничестве  BCC-UNG c  EGI и на процесс 
  • интеграции:

30 Ноября 2011 года, еще на этапе согласования MoU с EGI, EGI в документе посланном в Еврокомиссию:   «EGI Position Paper on the ERA Framework»  при описании Рекомендации 12 к Евросоюзу было сказано: «Товарищество EGI включает не только Членов Европейского Союза, но также и организации из Стран не членов  ЕВРОПЕЙСКОГО СОЮЗА, такие как Турция, Хорватия, Сербия, Россия и Армения. Кроме того, EGI развивают  долгосрочное сотрудничество через Меморандум о Взаимопонимании с организациями из Южной Африки, Латинской Америки и Украины, чтобы интегрировать  соответствующих провайдеров ресурса.»

Соглашение было подписано 22 декабря 2011 года.  В январе месяце появилась информация на сайте EGI : Expanding EGI’s collaborations across the world, в котором говорится о подписании Меморандума директором EGI Steven Newhouse и Геннадием Зиновьевым от сообщества Украинского Грид.

(http://www.egi.eu/news-and-media/newsfeed/news_0118_new_agreements.html)

Базовому координационному центру и УНГ посвящена  страница сайта :

http://www.egi.eu/community/collaborations/BCC-UNG.html

И дана ссылка на главную страницу сайта ВО «Инфраструктура» : http://infrastructure.kiev.ua/en/   ,

а также на новость на сайте  http://infrastructure.kiev.ua/en/81/ ,

где приведены организации участвующие в интеграции ресурсов с размещением их (ресурсных центров)  на карте Украины.

В годовом отчете EGI отмечается следующее:

Обязательство с новыми поставщиками инфраструктуры продолжает быть приоритетом и во время 2011–2012, два Меморандума о взаимопонимании (MoUs) были подписаны с поставщиками инфраструктуры ресурса из Южной Африки и Украины. Инструменты и услуги, которые требуются для управления инфраструктурой, непрерывно развиваются. Они включают Операционный Портал, база данных технологической инфраструктуры (GOCDB), портал учета, Служба поддержки EGI, Мониторинг доступности сервисов, База данных приложений.

https://documents.egi.eu/secure/RetrieveFile?docid=1144&version=2&filename=2012AnnualReport_v4.pdf

В операционных отчетах EGI,  Украина фигурирует в качестве страны вкладывающей значительные усилия в развитие midleware ARC.

В отчете доступности ресурсов за май месяц NGI_UA представлена с показателем  надежности и доступности 95%.

На годовой презентации EGI  можно увидеть карту:


 

где Украина и Азербайджан находятся под процедурой интеграции.

Украина вместе с Латинской Америкой, Северной Америкой и Южной Африкой стали партнерами EGI по созданию совместной исследовательской инфраструктуры.

Открыт путь для расширения интеграции, использования совместной инфраструктуры и интеграции на уровне исследовательских сообществ и организаций для пользы совместных и национальных исследований. 

 

[Permalink (pdf)]

[Permalink(doc)]
© 2011-2012, Інститут теоретичної фізики ім.М.М. Боголюбова Інформація про сайт Розроблено в MCG