История одного дата-центра

На презентации выступили три человека – Иошпа Игорь (директор по развитию), Баканов Павел (директор центра управления сетью) и Дембовский Александр (администратор проектов).




Каждый из них рассказал что-то свое, что мне будет проще пересказать выдержками из официальных источников, нежели вспомнить – обилие нюансов я все равно не запомнил бы. Кстати, о запоминании — во время конференции ноутбук, с которого шла презентация на экран, ушел в спящий режим, а проснувшись потребовал ввод пароля.



Глядя на «Мак» и на заблокированную заставку Висты, невольно вспомнился недавний случай про Стива Балмера – «Стив, распишитесь пожалуйста на моем ноутбуке, там Windows, честное слово!» :)

Итак, давайте к делу. Дата-центр Оверсан является коммерческим проектом и расположен в большом здании недалеко от ст.м. Авиамоторная — кто учится в МЭИ и МТУСИ, наверняка знают классный магазин техники «Форум» — как раз в тех краях. Сразу после презентации мы поехали на автобусе в здание ДЦ.


Рядом с ним нет никаких стратегических объектов, которые могли бы нести потенциальную угрозу – заводов или заправок, а так же жилых домов – чтобы не мешать спать мирно настроенным гражданам.

















По словам создателей, дата-центр является одним из самых современных в России и отвечает всем мировым стандартам — в первую очередь он предназначен для реализации самых ресурсоемких и технологичных проектов.










Вычислительное сердце работает за счет двух трансформаторных подстанций, от которых суммарно подведено 4.5МВт электроэнергии.



Стабильность питания обеспечивается множеством источников бесперебойного питания и дизель-генераторными установками.





Если верить докладчикам, то в случае пропадания питания «из вне», генераторы смогут обеспечить полноценную работу всего ДЦ на протяжении десятка часов (без подвоза дополнительного горючего). И да, доступность электропитания – 99.982%.




Сеть передачи данных построена на оборудовании мирового лидера индустрии телекоммуникаций — компании Cisco Systems (США). Отказоустойчивое ядро сети составляют коммутаторы Catalyst 6509NEB и маршрутизаторы серии GSR 12406. Системы безопасности реализованы на базе высокопроизводительного межсетевого экрана Cisco ASA5580 с пропускной способностью в 20Гбит/с и системы предотвращения атак IPS 4270, выявляющей все известные виды атак )





Независимые оптические магистрали, ведущие к основным российским узлам связи ОАО «ММТС №9» и ОАО «ММТС №10», обладают общей пропускной способностью в 70 Гбит/с и имеют возможность наращивания до 400 Гбит/с, что обеспечивает надежную связность с инетом.



Ширина канала на стойку может достигать 10 Гбит/с. Управление системой передачи данных осуществляется сотрудниками с сертификатами Cisco Systems. Процент успешной доставки пакетов – 99%, задержка передачи пакетов от порта клиентского оборудования до порта оператора связи не превышает 30 мс.



Обладая собственными точками присутствия на узлах связи М9 и М10, дата-центр способен предоставлять услугу аренды каналов, не представленную в должном объеме на российском рынке. Оптические линии позволяют организовать до 96 каналов связи с Интернет-провайдерами и компаниями, заинтересованными в прямом пиринге с дата-центром (что позволяет поэтапно наращивать пропускную способность без лишних затрат на дорогостоящее DWDM-оборудование).

Все помещение ДЦ разделено на две большие гермозоны, в которых суммарно может находиться порядка 200 стоек.



Причем под 50 из них подведено жидкостное охлаждение. Холодоснабжение гермозоны с воздушным охлаждением производится с помощью системы прецизионного кондиционирования с выводом потока холодного воздуха под фальшпол (он находится на высоте 70см и выдерживает нагрузку 1200кг/м2).



Под ним же проходит основная часть проводов.



Температура воздуха в стойке поддерживается в диапазоне от 18 до 21 градуса с влажностью в диапазоне 49-53%.



Нагрузка стандартной стойки составляет примерно 7кВт и при желании клиента, есть возможность установки дополнительного оборудования, типа KVM-переключателей или управляемой системы распределения питания (PDU), позволяющей мониторить параметры питания в реальном времени.

Стойки же с водяным охлаждением (Schaefer Unoqle) способны отводить до 30кВт тепловыделения – они подключены к четырем огромным чиллерам (GeoClima), которые находятся под открытым небом.



Что касается безопасности, то в здании ведется круглосуточное видеонаблюдение, применяется шлюзовая система прохода между помещениями, а те в свою очередь, оснащены современными системами безопасностями и контроля доступа (TAC и I/NET SEVEN) с авторизацией по proximity-картам.



А если говорить про саму структуру сети – то помимо аппаратных фаерволлов, используется разделение трафика на виртуальные сети (VLAN на коммутаторах Cisco), централизованное антивирусное сканирование, авторизованные SSL-сертификаты и что-то там еще. Уже сейчас все парольные процедуры строго регламентированы, ПО обновляется с завидным постоянством, а в планах – периодические тестирования системы безопасности с имитацией различных типов воздействий.

Отдельным пунктом заслуживает внимание система газового пожаротушения.



Благодаря множеству датчиков, система может работать в автоматическом режиме – в одном из коридоров находятся специальные установки с двумя независимыми пиропатронами, которые в самые короткие сроки позволяют газом потушить даже повторное возникновение возгорания (что очень маловероятно).






Все системы газового пожаротушения зарезервированы и подключены к источникам бесперебойного питания.











Было действительно интересно побродить по зданию – согласитесь, не каждый день такое видишь. Постоянно не покидало ощущение, что находишься на какой-то военной базе или в здании иностранных суперкомпьютеров. Все аккуратненько и чистенько — класс!




Коридор здания украшен бюстами известных людей. Нашлось место и для бюстов братьев Стругацких — как никак, название дата-центра родилось в одной из их повестей (Оверсан — прыжок через солнце).








Тут и сказочке конец… а кто слушал — это зря, потому что это — текст )

Реальный автор оставил на картинках пару пасхалок, попробуйте найти все ;)
навеяно этим постом