РАСПРЕДЕЛЕННАЯ ГРИД-ИНФРАСТРУКТУРА
ДЛЯ ОБРАБОТКИ И АНАЛИЗА ДАННЫХ С
БОЛЬШОГО АДРОННОГО КОЛЛАЙДЕРА
Кореньков В.В.
заместитель директора Лаборатории информационных
технологий ОИЯИ, заведующий кафедрой распределенных
информационных вычислительных систем
Международного университета «Дубна»
XX Международная научно-техническая конференция
«Информационные средства и технологии»
Москва, МЭИ, 20.11.12
T.Strizh (LIT, JINR)
1
1. Cовременные научные исследования
требует совместной работы многих
организаций по обработке большого
объема данных в относительно
короткие сроки.
2. Необходимы географически
распределенные вычислительные
системы, способные передавать и
принимать данные порядка сотен
терабайт в сутки, одновременно
обрабатывать сотни тысяч задач и
долговременно хранить сотни петабайт
данных.
3. Современные Грид-инфраструктуры обеспечивают интеграцию
аппаратурных и программных ресурсов, находящихся в разных
организациях в масштабах стран, регионов, континентов в единую
вычислительную среду, позволяющую решать задачи по
обработке сверхбольших объемов данных, чего в настоящее
время невозможно достичь в локальных вычислительных
2
центрах.
T.Strizh (LIT, JINR)
Роль распределенной компьютерной
инфраструктуры для обработки данных
На семинаре 4 июля 2012 года, посвященном
наблюдению бозона Хиггса, директор ЦЕРНа
Р.Хойер дал высокую оценку грид-технологиям и их
значимости для мировой науки.
Без организации грид-инфраструктуры на LHC было
бы невозможно обрабатывать и хранить
колоссальный объем данных, поступающих с
коллайдера, а значит, - и совершать научные
открытия.
Сегодня уже ни один крупный проект не осуществим
без использования распределенной
инфраструктуры для обработки данных.
3
T.Strizh (LIT, JINR)
Концепция Грид
«Грид - это система, которая:
· координирует использование ресурсов при отсутствии
централизованного управления этими ресурсами
· использует стандартные, открытые, универсальные
протоколы и интерфейсы.
· обеспечивает высококачественное обслуживание»
(Ian Foster: "What is the grid? ", 2002 г.)
Модели грид:
Distributed Computing
High-Throughput Computing
On-Demand Computing
Data-Intensive Computing
Collaborative Computing
Междисциплинарный характер грид: развиваемые
технологии применяются в физике высоких энергий,
космофизике, микробиологии, экологии, метеорологии,
различных инженерных и бизнес приложениях.
Виртуальные организации (VO) T.Strizh (LIT, JINR)
Грид - это средство для совместного использования вычислительных
мощностей и хранилищ данных посредством интернета
Мобильный
доступ
Рабочие
станции
Визуализация
П
Р
О
М
Е
Ж
У
Т
О
Ч
Н
О
Е
О
Б
Е
С
П
Е
Ч
Е
Н
И
П Е
Р
О Г
Г Р
Р И
А Д
М
М
Н
О
Е
Суперкомпьютеры, ПК- кластеры
Массовая память, сенсоры, эксперименты
Интернет, сети
T.Strizh (LIT, JINR)
Взаимодействие компонентов вычислительной
среды
Этапы развития глобальной гридинфраструктуры
2001-2003 EU DataGrid (проект европейской DataGridинфрастуктуры),
С 2002 по наст. время WLCG: проект грид для
Большого адронного коллайдера (Worldwide LHC
Computing Grid),
2003 год – создан Российский консорциум RDIG
(Russian Data Intensive Grid) как национальная
грид-федерация в проекте EGEE
2004-2010 EGEE: развертывание грид-систем для
научных исследований (The Enabling Grids for EsciencE),
2010-2014 EGI-InSPARE (проект развития европейской
грид-инфраструктуры).
2010-2013 – EMI (инициатива по разработке
европейского ППО)
7
T.Strizh (LIT, JINR)
Acting as the gatekeeper and matchmaker
for the Grid, middleware
• monitors the Grid,
• decides where to send computing jobs,
• manages users, data and storage,
• check the identity of the user through
the use of digital certifcates.
T. Strizh
dCache
For users the Grid will enable them to
treat the distributed resources as one
integrated computer system, with one
single log on, and the middleware will
handle all the negotiations, the
submission of jobs and the collation of the
results.
T.Strizh (LIT, JINR)
Основные подсистемы gLite
Вычислительный элемент (Computing Element – CE) – это служба,
представляющая ресурсный узел грид и выполняющая на нем функции
управления заданиями (запуск, удаление и т.д.).
Подсистема управления загрузкой (Workload Management System - WMS)
состоит из ряда компонентов, ответственных за распределение заданий между
ресурсами грид, а также обеспечивающих управление заданиями.
Подсистема управления данными (Data Management Subsystem - DM)
включает три службы, поддерживающие доступ к файлам: элемент памяти
(Storage Element – SE), службы каталога (Catalog Services – CS) и диспетчер
данных (Data Scheduling –DS).
Подсистема безопасности рассматривается как средство защиты служб
Подсистема информационного обслуживания и мониторинга грид
(Relational Grid Monitoring Architecture - R-GMA) решает задачу сбора и
управления данными о состоянии грид, получая информацию от множества
распределенных источников – поставщиков.
Подсистема учета (Accounting Subsystem - DGAS) аккумулирует информацию
об использовании ресурсов грид отдельными пользователями, группами
пользователей и виртуальными организациями.
Подсистема протоколирования (Logging and Bookkeeping - LB) отслеживает
выполняющиеся в разных точных грид шаги обработки задания, фиксируя
происходящие с ним события.
T.Strizh (LIT, JINR)
Large
Large Hadron
Hadron Collider
Collider
Start-up
Start-up of
of the
the Large
Large Hadron
Hadron Collider
Collider ((LHC
LHC),
), one
largest and
and
one of
of the
the largest
truly
truly global
global scientifc
scientifc projects
projects ever,
ever, is
is the
the most
most exciting
exciting turning
turning
point
point in
in particle
particle physics.
physics.
CMS
ALICE
LHCb
LHC ring:
27 km circumference
ATLAS
T.Strizh (LIT, JINR)
Параметры детектора АТЛАС
Энергия центра масс 14 TeV
Частота столкновений
пучков 40 MHz
Светимость :
•
начальная: 1031 см-2с-1
•
низкая: 2*1033 см-2с-1
•
целевая: 1034 см-2с-1
Вес 7000 тонн,
Диаметр 25м,
Длина 46м
Количество регистрирующих
каналов 100 000 000
11
T.Strizh (LIT, JINR)
SDX1
CERN
computer
6
centre Event rate Local
Data
storage
~ 200 Hz
Storage
SubFarm
Outputs
(SFOs)
DataFlow
Manager
Trigger / DAQ architecture
dual-CPU nodes
~1800
~100 ~ 500
Event
Builder
Event
Filter
(EF)
SubFarm
Inputs
(SFIs)
RoI
Builder
stores
LVL2
output
Gigabit Ethernet
Event data requests
Delete commands
Requested event data
Regions Of Interest
Event data
pulled:
partial events
@ ≤ 100 kHz,
full events
@ ~ 3 kHz
USA15
USA15
~150
PCs
Data of events accepted
1600 by first-level trigger
ReadOut
VME Dedicated links
Links
ReadOut
Drivers
(RODs)
Read-Out
Subsystems
(ROSs)
Timing Trigger Control (TTC)
May 22, 2019
SDX1
pROS
Network
switches
Network switches
LVL2
Supervisor
Secondlevel
trigger
LVL2
farm
Firstlevel
trigger
Event data pushed
@ ≤ 100 kHz,
12
1600 fragments of ~ 1 kByte each
T.Strizh (LIT, JINR)
UX15
Потоки данных от физических установок БАК до
вычислительного центра ЦЕРН (Tier 0 at CERN)
13
T.Strizh
(LIT, JINR)
Ian.Bird@cern.ch
1.25 GB/sec
(ions)
Взаимодействие уровней
Tier 0 – Tier 1 – Tier 2
Tier-0 (CERN): 15%
• Прием данных
• Начальная
реконструкция данных
• Распределение данных
Tier-1 (11 centres): 40%
•Постоянное хранение
данных
•Реконструкция и
обработка
•Анализ
Tier-2 (200 centres): 45%
• Моделирование
• Физический анализ
T.Strizh (LIT, JINR)
T.Strizh (LIT, JINR)
15
T. Strizh
T.Strizh (LIT, JINR)
The Map of OSG Sites (in the US)
NERSC
LBL
UDAVIS
STANFORD
UCSB
CALTECH
UCLA
UCR
SDSC
HARVARD
RIT ALBANY MIT
BU
BUFFALO
T
BNL
UWM UMICH WSU CORNELL
MSU
WISC
PSU
FNAL UIC
LEHIGH
UCHICAGOGEORGETOWN
UNI
UNL UIOWA ANL NDPURDUE NSF
UMD
UIUC
IUPUI
UVA
IU
KU
CU
VANDERBILT
UNM
OU
TTU
UTA LTU
SMU
LSU
UMISS
ORNL
RENCI
CLEMSON
UFL
FIT
Ruth Pordes, FNAL
T.Strizh (LIT, JINR)
1
WLCG Grid Sites
•
Tier 0
•
Tier 1
•
Tier 2
T.Strizh (LIT, JINR)
Today >150 sites
>300k CPU cores
>250 PB disk
РДИГ инфраструктура
Российский консорциум RDIG (Russian Data Intensive Grid) был создан в
2003 году как национальная грид-федерация в проекте EGEE.
В настоящее время RDIG –инфраструктура состоит из 16 ресурсных
центров, в которых доступно около 7000 процессоров и более
4000 TB дискового пространства.
RDIG центры:
– ITEP
– JINR-LCG2
– Kharkov-KIPT
– RRC-KI
– RU-Moscow-KIAM
– RU-Phys-SPbSU
– RU-Protvino-IHEP
– RU-SPbSU
– Ru-Troitsk-INR
– ru-IMPB-LCG2
– ru-Moscow-FIAN
– ru-Moscow-GCRAS
– ru-Moscow-MEPHI
– ru-PNPI-LCG2
– ru-Moscow-SINP
- BY-NCPHEP
Вычислительный комплекс ОИЯИ
Ресурсы:
2582 вычислительных узлов
Дисковое хранилище более 2 PB (Петабайт)
В 2012 году выполнено более 6 миллионов задач пользователей,
которые использовали 135 млн. часов в единицах HEPSpec06
(46 % от всех российских грид-сайтов)
Надежность и доступность = 99%
Система мониторинга ресурсного центра ОИЯИ
(http://litmon.jinr.ru)
Country Normalized CPU tme per Country (2012)
All Country - 14,424,959,004
Job
557,622,490
Russia- 292,876,480 (2.06%)
17,266,106 ( 3.10%)
23
Russia Normalized CPU tme per SITE (2012)
Russia - 292,876,480
JINR - 135,253,848 (46.05%)
24
Рейтинг европейских грид-сайтов уровня Tier2
инфраструктуры WLCG за разные периоды
Worldwide LHC Computing Grid Project (WLCG)
Основной задачей проекта WLCG является создание
глобальной инфраструктуры региональных центров для обработки,
хранения и анализа данных физических экспериментов LHC.
Грид-технологии являются основой построения этой
инфраструктуры.
Протокол между ЦЕРН, Россией и ОИЯИ об участии в
проекте LCG был подписан в 2003 году.
MoU об участии в проекте WLCG был подписан в 2007 году.
Задачи российских центров и ОИЯИ в проекте WLCG в 2012 году:
• Создание комплекса тестов для gLite
• Внедрение сервисов WLCG для экспериментов
• Развитие систем мониторинга WLCG
• Система глобального мониторинга Tier3 центров
• Развитие пакетов моделирования для экспериментов
• Разработка архитектуры Tier1 центра в России
Система мониторинга FTS (FILE TRANSFER SERVICE)
27
WLCG – no stop for
computing
Actvity on 3rd Jan
Архитектура системы распределенного хранения данных
эксперимента ATLAS
В 2010 году возникла необходимость разработать новую архитектуру сервиса
удаления данных для обеспечения целостности распределенного хранения
информации эксперимента ATLAS.
Сервис удаления данных один из основных сервисов DQ2:
•
•
•
•
•
обслуживает запросы на удаление,
организует балансировку нагрузки,
обеспечивает масштабируемость и отказоустойчивость системы DQ2,
корректную обработку исключений, возникающих в процессе работы,
стратегию повтора операций в случае возникновения отказов.
Разработаны:
• новый интерфейс между компонентами сервиса удаления (основанного на
технологии веб-сервисов),
• создана новая схема базы данных,
• перестроено ядра сервиса,
• созданы интерфейсы с системами массового хранения,
• модернизирована система мониторинга работы сервиса.
Созданный сервис обеспечивает целостность хранения информации в
географически распределенной среде. Данные эксперимента ATLAS
распределены более, чем на 130 грид-сайтах с общим объемом дискового
пространства более 120 петабайт, в котором хранятся сотни миллионов файлов.
Недельный объем удаляемых данных составляет 2 Пб (20 000 000 файлов).29
Архитектура, компоненты и схема взаимодействия
сервиса удаления данных в системе управления
распределенным хранилищем эксперимента ATLAS
Основные компоненты этого сервиса:
oСервер, который принимает запросы на
удаление и содержит детальную
информацию о датасетах
oКлиент обеспечивает взаимодействие
между сервером и другими компонентами
сервиса.
oАгент удаления информации (Deletion
Agent) реализует процесс удаления
датасетов в распределенной системе
хранения.
oКомпонент мониторинг (Monitoring)
обеспечивает контроль процесса удаления, а
также отображение текущего статуса,
выявленных ошибок, скорости выполнения
запросов и другой важной информации ,
необходимых для эффективного
функционирования сервиса удаления
30
данных.
Функционирование сервиса
Скорость удаления данных может достигать довольно
больших величин: это миллионы файлов в день и
терабайты очищенного дискового пространства.
Удаление данных за 24-часовой период. Скорость
удаления - более 350 тысяч файлов в час.
31
Систематизация и классификация центров уровня Tier3
Диаграмма 1. Системы хранения
Диаграмма 3. Batch-системы
Диаграмма 2. Доступ к системам хранения
Co-located Tier3 - функционируют вместе
с Tier2 центрами, используют общую
инфраструктуру или часть сервисов
Tier3gs - кластер с полным набором
функциональности грид-сайта
Tier3g - кластер с частичной
грид-функциональностью
Tier3w - рабочая станция с набором
программ для доступа к грид-сайтам
в качестве потребителя
32
Архитектура тестовой среды на базе
виртуальных кластеров для Tier3 центров
33
Система мониторинга Tier3-центров для
анализа данных экспериментов БАК
:
-.
Для исследования центров уровня Tier3 в ОИЯИ была разработана архитектура
тестовой инфраструктуры, которая позволяет создавать прототипы различных
конфигураций центров уровня Tier3. С применением технологий виртуализации
такая инфраструктура была реализована на базе виртуальных кластеров, что
позволило разработать для каждого варианта конфигурации документацию,
настроить или разработать средства локального мониторинга, выработать
полные рекомендации по системе сбора информации для глобального
мониторинга центров уровня Tier3.
Реализация системы
мониторинга Tier3 –
центров (не-грид) имеет
огромное значение для
координации работ в
рамках виртуальной
организации, так как
обеспечивается
глобальный взгляд на
вклад Tier3 сайтов в
вычислительный процесс.
Data flow for the global monitoring
Data flow for the XRootD federation monitoring
Глобальная система мониторинга передачи
данных в инфраструктуре WLCG
Суть проекта состоит в создании универсальной системы
мониторинга, способной собирать подробную информацию :
- о каждой передаче данных (около 1 Петабайта в день),
- независимо от метода осуществления передачи (несколько
протоколов и сервисов передачи файлов, FTS, xROOTd),
- уровень ресурсного центра (Tier-0,Tier-1,Tier-2,Tier-3)
- принадлежности данных определенной виртуальной
организации;
- передавать с высокой степенью надежности собранную
информацию в центральное хранилище;
- обрабатывать собранные данные для предоставления различным
потребителям;
- предоставлять пользовательские и программные интерфейсы для
получения данных.
Система позволяет полностью удовлетворить потребности
в информации различных типов пользователей и
37
администраторов инфраструктуры WLCG.
Архитектура глобальной системы мониторинга
передачи данных в инфраструктуре WLCG
38
Архитектура учебно-исследовательской и
тестовой инфраструктуры стран-участниц ОИЯИ
Разработана
архитектура учебноисследовательской и
тестовой
инфраструктуры на
базе технологий
виртуализации, которая
включает конвергенцию
технологий: различные
платформы грид (gLite,
ARC, GT 5), платформу
добровольных
вычислений BOINC,
платформу облачных
вычислений на базе
программного продукта
OpenNebula.
.
Эта инфраструктура состоит из 10 ресурсных центров (Россия, Украина,
Болгария, Узбекистан, Казахстан, Монголия) и служит для обучения и
тренинга пользователей, системных администраторов и разработчиков
грид-приложений
Архитектура российской национальной
нанотехнологической грид-сети (ГридННС)
Совместно с другими научными центрами России была разработана
архитектура проекта российской национальной нанотехнологической
грид-сети (ГридННС), который выполнялся в рамках федеральной
целевой программы "Развитие инфраструктуры наноиндустрии в
Российской Федерации на 2008-2010 годы". ГридННС является
полномасштабной вычислительной грид-инфраструктурой,
базирующейся на специально разработанном, учитывающем
особенности прикладной области, промежуточном программном
обеспечении (ППО), основанном на Globus Toolkit (4/5) и современных
REST сервисах. ППО ГридННС является оригинальной разработкой
данного проекта, направленной на удовлетворение ключевых запросов
в области наноиндустрии.
В ГридННС включены суперкомпьтерные центры России, что позволяет
решать сложные вычислительные задачи в области нанотехнологий,
аэро- и гидродинамики. В рамках этого проекта разработаны и
реализованы системы мониторинга, учёта использования ресурсов,
поддержки системы регистрации грид-сервисов и сайтов, поддержки
виртуальных организаций.
Инфраструктура ГридННС
10 ресурсных центров (суперкомпьютеров) разных
регионов России включены в инфраструктуру ГридННС
41
Российская грид-сеть
Программа реализуется при поддержке
Минкомсвязи для создания инфраструктуры
распределенных вычислений в России,
объединяющая суперкомпьютерные центры,
центры хранения данных, на которых
поддерживаются современные пакеты
программ для науки и сектора высоких
технологий.
Необходимо объединить усилия, чтобы создать
единую межведомственную инфраструктуру
распределенных вычислений в России (грид,
облака, суперкомпьютеры, центры хранения
данных), на которой можно организовать много
виртуальных сред для различных задач.
Ускорительный комплекс НИКА
Для проекта НИКА поток данных имеет
следующие параметры:
-высокая скорость набора событий (до 6
КГц),
-в центральном столкновении Au-Au при
энергиях НИКА образуется до 1000
заряженных частиц,
-Прогнозируемое количество событий 19
миллиардов;
-общий объем исходных данных может
быть оценен в 30 PB ежегодно, или 8.4
PB после обработки.
Моделирование системы обработки экспериментов
на ускорительном комплексе НИКА
а) Какие вычислительные ресурсы необходимы для обработки данных;
b) Какая должна быть архитектура грид системы;
c) Какое количество ресурсных центров должно быть;
d) Какая стратегия запуска задач будет оптимальна;
e) Какие ресурсы хранения данных необходимы.
Проект создания центра уровня Tier1 в России
С 2011 года идут подготовительные работы по созданию центра
уровня Tier1 в России для обработки, хранения и анализа данных с
Большого адронного коллайдера (БАК) на базе НИЦ КИ и ОИЯИ.
В настоящее время в рамках ФЦП Министерства образования и
науки РФ финансируется проект «Создание автоматизированной
системы обработки данных экспериментов на Большом адронном
коллайдере (LHC) уровня Tier1 и обеспечения грид-сервисов для
распределенного анализа этих данных».
28 сентября на заседании Наблюдательного Совета проекта
WLCG (глобальная грид-инфраструктура для БАК) был принят план
создания Tier1 в России.
В этом плане 3 основных этапа:
Первый этап (декабрь 2012 года) - создание прототипа Tier1 в НИЦ КИ и
ОИЯИ.
Второй этап (ноябрь 2013 года) – установка оборудования для базового
Tier1 центра, его тестирование и доведение до необходимых
функциональных характеристик.
Третий этап (ноябрь 2014 года) - дооснащение этого комплекса и ввод
в
45
эксплуатацию полномасштабного Tier1 центра в России.
Joint NRC "Kurchatov Institute" – JINR
Tier1 Computing Centre
Ресурсы Tier1 в ОИЯИ
Year
2012
2013
2014
CPU (HEPSpec06)
14400
28800
43200
Disk (Terabytes)
660*
3168*
4224*
Tape (Terabytes)
72
5700
8000
LHCOPN, Gbps
4
10
40
*include tape's bufer pools
Milestones of the JINR CMS Tier-1 Deployment and Commissioning
Objective
Target date
Presentation the Execution Plan to WLCG OB
Sep 2012
Prototype
Disk & Servers installation and tests
Oct 2012
Tape system installation
Nov 2012
Organization of network infrastructure and connectivity to CERN via GEANT (2 Gb)
Nov 2012
WLCG OPN integration (2 Gb) and JINR-T1 registration in GOCDB including integration with the APEL accounting
system
Dec 2012
M1
Jan 2013
LHC OPN functional tests (2 Gb)
May 2013
Test of WLCG and CMS services (2 Gb LHCOPN)
May 2013
Test of tape system at JINR: data transfers from CERN to JINR (using 2 Gb LHC OPN)
May 2013
Test of publishing accounting data
May 2013
Definition of Tier 2 sites support
May 2013
Connectivity to CERN 10 Gb
Jul 2013
M2
Aug 2013
LHC OPN functional tests (10 Gb)
Aug 2013
Test of tape system at JINR: data transfers from CERN to JINR (using 10 Gb LHC OPN)
Aug 2013
M3
Oct 2014
85% of the job capacity running for at least 2 months
Storage availability > 98% (functional tests) for at least 2 months
Running with > 98% Availabilities & Reliabilities for at least 30 days
WLCG MoU as an associate Tier-1 center
Feb 2014
Disk & Tape & Servers upgrade
Oct 2014
M4
Dec 2014
CERN
US-BNL
Amsterdam/NIKHEF-SARA
Bologna/CNAF
CaTRIUMF
Taipei/ASGC
NDGF
Russia:
NRC KI and JINR
US-FNAL
26 June 2009
De-FZK
Barcelona/PIC
Ian Bird, CERN
Lyon/CCIN2P3
UK-RAL
49
Эволюция инфраструктуры и модели компьютинга
экспериментов на БАК:
Были проработаны требования к ресурсам и функции региональных
центров уровней Tier0, Tier1, Tier2.
Разработанная модель была реализована и успешно функционирует с
момента запуска Большого адронного коллайдера в 2009 году. Ежегодно
собираются и обрабатываются данные объемом в десятки и даже сотни петабайт.
Эта централизованная модель компьютинга хорошо зарекомендовала
себя в первые годы работы экспериментов на БАК, однако постепенно
наблюдается тенденция к децентрализации сервисов и переносу акцентов с
массовой обработки данных на обеспечение индивидуального анализа.
Происходит эволюция модели компьютинга экспериментов на БАК:
• переход от иерархической структуры к сетевой, а в идеале к полно-связной,
где возможны связи между центрами всех уровней;
• развитие средств распределенного управления данными, поддержка очень
высоких скоростей передачи огромных массивов данных;
• создание мощных и разнообразных центров уровня Tier3 для
индивидуального анализа данных;
• развитие и применение средств виртуализации и облачных вычислений
(проект «Helix Nebula – научное облако»)
Эволюция распределенной инфраструктуры и модели компьютинга
постоянно развивается в направлении конвергенции технологий.
Новые решения и перспективы в обработке
«Больших Данных»
Постоянно растущие объёмы научных данных ставят новые задачи перед
технологиями распределённых вычислений и Грид. Набирающая размах
революция Больших Данных ведёт к открытиям в самых различных областях
науки, включая нанотехнологии, астрофизику, физику высоких энергий,
биологию и медицину. Новые проекты и разработки преображают исследования,
основанные на данных, расширяя границы применения Больших Данных и
требуя массивной обработки данных новыми методами. При обработке
массивов данных объемами порядка петабайтов, современные учёные имеют
дело не с отдельными файлами, а с наборами данных. В результате, единицей
обработки петабайтного массива в системах Грид становится вычислительная
задача, состоящая из многих подзадач. Разбиение обработки на отдельные
задачи ведёт к созданию контрольных точек с высокой степенью детальности и
обеспечивается отказоустойчивость обработки данных в системах Грид:
прерванные в результате сбоев задания могут быть автоматически
перезапущены, чем достигается качество обработки. Необходимость повторного
исполнения отдельных заданий ведёт к непредсказуемому снижению
эффективности использования вычислительного ресурса. Опыт компьютерной
обработки данных на LHC позволяет изучить связь между отказоустойчивыми
решениями и эффективностью, и разработать новые масштабируемые подходы
51
к применению технологий Грид для обработки объемов данных, превышающих
сотни петабайт.
Frames for Grid cooperation of JINR
Worldwide LHC Computing Grid (WLCG);
EGI-InSPIRE
RDIG Development
CERN-RFBR project “Global data transfer monitoring system for WLCG
infrastructure”
infrastructure
NASU-RFBR project “Development and support of LIT JINR and NSC KIPT gridinfrastructures for distributed CMS data processing of the LHC operation”
BMBF grant “Development of the Grid-infrastructure and tools to provide joint
investigations performed with participation of JINR and German research
centers”
“Development of Grid segment for the LHC experiments” was supported in
frames of JINR-South Africa cooperation agreement;
Development of Grid segment at Cairo University and its integration to the JINR
GridEdu infrastructure
JINR - FZU AS Czech Republic Project “The GRID for the physics experiments”
JINR-Romania cooperation Hulubei-Meshcheryakov programme
JINR-Moldova cooperation (MD-GRID, RENAM)
JINR-Mongolia cooperation (Mongol-Grid)
JINR-Slovakia cooperation
JINR- Kazakhstan cooperation (ENU Gumelev)
Project “Russian Grid Network”
52
GRID’2012 Conference
22 countries,
256 participants,
40 Universities and
Institutes from Russia,
31 Plenary,
89 Section talks
MPAMCS 2012
Conference-School for Young
Scientists “Modern Problems of
Applied Mathematics &
Computer Science”
17 invited lectures
47 talk from young scientists
http:// nec2011.jinr.ru
WEB-PORTAL “GRID AT JINR” – “ГРИД В ОИЯИ”: htp:::grid.jinr.ru
A new informatonal resource
has been created at JINR:
web-portal “GRID AT JINR”.
The content includes the detailed
informaton on the JINR grid-site and
JINR’s partcipaton in grid projects:
•КОНЦЕПЦИЯ ГРИД
•ГРИД-технологии
•ГРИД-проекты
•Консорциум РДИГ
•ГРИД-САЙТ ОИЯИ
•Инфраструктура и сервисы
•Схема
•Статистика
•Поддержка ВО и экспериментов
•ATLAS
•CMS
•CBM и PANDA
•HONE
•Как стать пользователем
•ОИЯИ В ГРИД-ПРОЕКТАХ
•WLCG
•ГридННС
•EGEE
•Проекты РФФИ
•Проекты ИНТАС
•СКИФ-ГРИД
•ТЕСТИРОВАНИЕ ГРИД-ПО
•СТРАНЫ-УЧАСТНИЦЫ ОИЯИ
•МОНИТОРИНГ И АККАУНТИНГ
•RDIG-мониторинг
•dCache-мониторинг
•Dashboard
•FTS-мониторинг
•Н1 МС-мониторинг
•ГРИД-КОНФЕРЕНЦИИ
•GRID
•NEC
•ОБУЧЕНИЕ
•Учебная грид-инфраструктура
•Курсы и лекции
•Учебные материалы
•ДОКУМЕНТАЦИЯ
•Статьи
•Учебные материалы
•НОВОСТИ
•КОНТАКТЫ
