Университетский Центр Обработки Данных

В 2011 году университет построил Центр Обработки Данных (ЦОД) с целью:

  • существенного увеличения вычислительных мощностей
  • расширения IT-услуг, оказываемых университету
  • перевода университетских сервисов на облачные технологии
  • продажа услуг в области информационных технологий

ЦОД расположен во втором корпусе университета и имеет подключения к крупнейшими провайдерами Перми: Ростелеком, Эр-телеком, МТС, Мегафон.

Мы рекомендуем посетить виртуальную экскурсию по ЦОДу используя браузер или мобильное устройство под управлением Android.

На базе ресурсов ЦОД работают следующие университетские сервисы:

  1. Электронная библиотека Библиотех
  2. Цифровая библиотека ELiS
  3. Электронный каталог Web-ИРБИС
  4. Система DRM-защиты электронных ресурсов
  5. Биллинг
  6. Почта и сервер коллективной работы
  7. Серверная часть информационных панелей и информационных терминалов
  8. Система видеонаблюдения
  9. Серверная часть системы контроля доступа
  10. Серверная часть системы пожарно-охранной сигнализации
  11. Система транскодирования и распространения авторского видео
  12. Система вебконференций и видеоконференций
  13. Сервис хранения и распространения презентаций
  14. Репозитарии программного обеспечения
  15. Сервера разработки Единой ТелеИнформационной Системы университета
  16. Веб-сервера официальных сайтов университета
  17. Файловый обменник и сервис долговременного хранения файлов
  18. Система мониторинга
  19. Система резервного копирования
  20. Система управления IP-телефонией
  21. Облачные рабочии станции
  22. Сервер трансляций видеолекций
  23. Контроллер домена
  24. Сервер обновлений Windows
  25. Вторичный DNS-сервер

Услугами ЦОД для размещения виртуальных машин пользуется ГИС-центр, Учебно-методическое управление, Центр тестирования и другие подразделения университета.

Техническое описание ЦОД

ЦОД построен на основе блейд-серверов IBM, трех стоек системы хранения данных IBM суммарной емкостью более 1 Петабайта и сетью Ethernet 10 Гбит/c. Предоставление облачных услуг обеспечивает стек технологий на базе системы виртуализации VMware vSphere.

Вычислительные узлы облака

Большинство вычислительных ресурсов ЦОДа состоит из блейд-серверов с двумя процессорами по 6 ядер в каждом с поддержкой технологии Hyper-Threading, 72ГБ ОЗУ, четырьмя сетевыми адаптерами Ethernet 10G, двумя FibreChannel-адаптерами, работающими на скорости 4ГБит/c.

blade blade hs22v

Блейд-сервера не имеют собственного жесткого диска или блока питания. Электропитание блейд-сервера получают от шасси, в каждом из которых можно установить до 14 серверов.

Вид шасси спереди:

Вид шасси сзади:

ibm bladecenter backend

Жесткие диски к блейд-серверам подключаются по оптическому соединению FibreChannel, через специализированные коммутаторы Cisco MDS, к системам хранения данных (СХД)

fiberchannel cisco mds

На каждом блейд-сервере установлен гипервизор VMware ESXi, осуществляющий непосредственный запуск и контролирующий работу виртуальных машин VMware.

Хранение данных

Все данные виртуальных машин хранятся в отдельных стойках на специализированных системах хранения данных (СХД). СХД позволяют скрывать от виртуальных машин внутреннее устройство оборудования хранения данных, обеспечения целостности и сохранности информации дисков виртуальных машин. Это позволяет виртуальным машинам не заботиться о создании RAID или применении файловых систем с поддержкой снапшотов для резервного копирования. Также, применение СХД позволяет:

  1. Изменять размер дисков виртуальных машин как в сторону увеличения, так и уменьшения
  2. Добавлять новые диски с размерами, во много раз превышающими размеры одного физического жесткого диска
  3. Перемещать диски виртуальных машин на другое оборудование без остановки машины и обслуживаемых ею сервисов
  4. Держать полную копию диска виртуальной машины в другом здании для повышения катастрофоустойчивости сервисов
  5. Использовать кэширование дисковых операций в оперативной памяти СХД

Все СХД строятся таким образом, чтобы выход из строя любого блока питания, оптического кабеля или контроллера FibreChannel не приводили к остановке обслуживания дисковых операций.

В университете используется три СХД:

Две системы XIV второго поколения, по 180 ТБ пространства каждая. Система XIV состоит из множества совместно работающих серверов и уникальной системой, позволяющей разбивать записываемые данные сразу по всем дискам системы и превращающей всю систему, фактически, в один большой RAID-массив на 180 ТБ. Каждый сервер XIV имеет кэш в оперативной памяти для ускорения дисковых операций, 12 жестких дисков SATA по 2ТБ и контроллеры FibreChannel. Выход любого жесткого диска или даже одного сервера системы не ведет к потере данных, а высокая скорость системы обеспечивается записью данных блоками по 4МБ сразу на все диски системы.

XIV диаграмма

 

Вторая система XIV работает в режиме репликации данных и имеет полную копию дисков виртуальных машин, записанных на основной системе XIV.

XIV IBM Disks

Для хранения больших объемов данных предназначена СХД IBM DS5300 на 840 ТБ. Эта система обладает высокой плотностью хранения информации за счет компактного размещения жестких дисков и низким энергопотреблением.

IBM DS5300    ds5300 backend

Дополнительно к описанным СХД, используется шлюз доступа IBM System Storage N6070, созданный на технологиях мирового лидера сетевых систем хранения данных - компании NetApp. Эта система реализует возможность получения файловых ресурсов через обычную сеть Ethernet по протоколам NFS и CIFS. Особенностью системы является специализированная файловая система WAFL, позволяющая быстро создавать снимки файловой системы и имеющая встроенную систему дедупликации данных.

IBM System Storage N6070

Передача информации по сети

Работа сложных информационных систем, состоящих из нескольких виртуальных машин и интенсивно обменивающихся друг с другом данными, требует построения высокоскоростной сети. Для некоторых типов сервисов, скорости 1 Гбит/c может быть уже недостаточно. Поэтому, каждый блейд-сервер обладает сетевой картой, обеспечивающей скорость 10 Гбит/c. Все сетевые соединения, обеспечивающие обмен трафика виртуальных машин между блейд-серверами и различными шасси, также имеют скорость не ниже 10 Гбит/c и, благодаря использованию коммутаторов Cisco Nexus, низкие задержки при передачи данных.

Cisco Nexus, вид спереди:

Cisco Nexus fron

Вид сзади:

cisco nexis back

Коммутатор в шасси блейд-серверов:

bladecenter nexus

Аналогичную скорость 10Гбит/c имеют сетевые адаптеры в виртуальных машинах, при наличии соответствующих паравиртуальных драйверов:

network speed  vmxnet 10Gbit/s

Особое внимание уделено отказоустойчивости системы: при выходе из строя любого из сетевых адаптеров или повреждении любого из сетевых оптических кабелей, работа сети не прервется.

network

Электроснабжение

Внезапное отключение электричества на серверах ЦОДа приведет к отключению виртуальных машин и СХД, в результате чего произойдет не только простой сервисов, но и возможна потеря данных. Для исключения такого сценария, ЦОД подключен к двум независимым вводам с подстанций. В случае пропадания электричества на подстанции, ЦОД перейдет на питание от аккумуляторов и автоматически запустятся дизель-генератор, вырабатывающий достаточно энергии для питания всего ЦОДа.

Аккумуляторная и электрощит:

power    электрощит

Охлаждение

Электроэнергия, потребляемая ЦОДом, переходит в большое количество тепла, с отводом которого кондиционеры не справляются. Поэтому, применяется специальная двухконтурная система охлаждения, использующая для охлаждения в теплом помещении воду, а на улице воздух. Такая система охлаждения не подвержена выходу из строя при отрицательной температуре.

чиллерная

Защита

ЦОД оборудован газовой системой пожаротушения. Коридоры ЦОДа находятся под видеонаблюдением.

Виртуализация

Производительная и надежная аппаратная часть является значимой, но не единственной составляющей ЦОДа. Важнейшей является программная часть, дающая возможность воспользоваться преимуществами виртуализации серверов. 

Ядром системы виртуализации является продукт VMware vCenter, позволяющий централизованно управлять всеми виртуальными машинами, запущенных в ЦОДе на блейд-серверах и хранящих свои виртуальные диски на перечисленных СХД.

vmware cluster statistics

Наиболее интересными возможностями использования VMware vCenter и гипервиозра VMware ESXi являются:

  • Клонирование виртуальных машин
  • Запуск, остановка, заморозка виртуальных машин
  • Создание снимков диска (снапшотов)
  • Миграция виртуальных машин с одного блейд-сервера на другой без остановки работы
  • Изоляция сетевого трафика виртуальных машин за счет использования виртуальных сетей
  • Ограничение ресурсов, потребляемых виртуальными машинами
  • Изменение объема оперативной памяти, числа сетевых интерфейсов, числа ядер процессора, количества дисков и их размеров
  • Подключение к консоли виртуальной машины с возможностью полной установки по сети
  • Доступ к созданию и управлению виртуальными машинами через веб-интерфейс

Дополнительными программными средствами обеспечиваются:

  • Резервное копирование по расписанию с использованием снимков дисков с автоматическим удалением устаревших резервных копий и дедупликацией данных на основе Veeam Backup
  • Использование инфраструктуры виртуальных рабочих столов с автоматическим клонированием виртуальных машин по факту подключения удаленного пользователя на основе VMware View

Пример интерфейса управления виртуальной машиной через VMware vCenter:

vmware vcenter webclient example

Подключение к консоли виртуальной машины через веб-интерфейс:

vmware webconsole example