Datacenter Expedition Pro: Дата-центр Миран

miranВторым объектом экскурсии Datacenter Expedition Pro был дата-центр Миран. Этот ЦОД на слуху у многих сисадминов Питера и является чуть ли не самым известным в своих кругах центром обработки данных. Немалый вклад в имидж вносит и факт наличия на одной площадке фактически двух дата-центров, из которых Миран 1 1 — классический ЦОД, а Миран 2 2 — модульный.

Напомню, что для меня это уже вторая экскурсия по дата-центрам Санкт-Петербурга и конкретно про Миран уже было сказано очень много в статье Дата-центр Миран. Тем не менее, небольшая статья чуть более чем на 1000 слов ну никак не может полностью описать столь технически сложный и интересный объект, как современный центр обработки данных. Именно поэтому я вновь возвращаюсь к Мирану и на этот раз хочу рассказать некоторые совершенно новые нюансы, о которых в прошлой статье не упоминал.


Если вам интересна тематика ЦОД, рекомендую обратиться к тегу Datacenters на моем блоге или к статье Экскурсия по дата-центрам СПБ: Datacenter Expedition Pro.

А вот статьи про другие дата-центры, в которых удалось побывать в рамках мероприятия:


Дата-центр Миран 2

Выехав из дата-центра Linx 3, наш гид сразу принялся рассказывать про интересную и насыщенную историю ЦОДа Миран, в которой были и взлеты, и падения. На перечислении огромного множества достоинств этого дата-центра Дмитрий (именно так звали нашего «гида») сразу оговорился, что не особо стоит верить ему на слово, ведь с профессиональной точки зрения его мнение необъективно в связи с сильной и безграничной любовью к Мирану. Честно говоря, это не особо подействовало и к концу мероприятия подавляющее большинство участников на вопрос «А какой бы ЦОД выбрали вы?» уверенно отвечали — Миран.

После утомительного петляния по узким дорожкам Пироговской набережной наш микроавтобус все же нашел «парадный» въезд в дата-центр и мы оказались на промышленной территории. Перед нами раскинулся комфортный и уютный ресепшн дата-центра:

Миран 2 - ресепшн

Разумеется я пошутил, это просто ничем не примечательный промышленный цех, в котором нас десантировали для дальнейшего покорения ЦОДа, вход в помещения которого на самом деле выглядел вот так:

Миран 2 - вход

После пары узких коридоров и небольшой задержки на «вертушке» мы попали в высокий закрытый цех, в котором и находились сами модули дата-центра:

Миран 2 - модули

Как вы можете заметить, сейчас в ряд стоят два модуля — в строй ввели модуль №2, который в момент первого посещения ЦОДа весной этого года лишь находился в процессе создания и выглядел совсем иначе (апрельские фото):

Миран 2 - модуль 2

Миран 2 - модуль 2

Теперь же он практически готов принять оборудование, осталось лишь провести пусконаладочные работы. Ну и разумеется вы можете быть уверены, что я не упустил возможности изучить и этот модуль.

К моему удивлению в нем было достаточно много отличий по сравнению со своим старшим братом. Например охлаждение было представлено всего лишь одной системой, а именно классической — фреоновой (хорошо видны наружные блоки кондиционеров):

Миран 2 - кондиционеры

К слову, в первом модуле была как классика, так и фрикулинг.

Раз уж мы залезли на крышу, то там можно было сразу рассмотреть и блоки вытяжек:

Миран 2 - вытяжки

Ну а над ними находится уже только крыша цеха, в которой тоже смонтированы элементы общего охлаждения:

Миран 2 - вентиляция цеха

Внутренности второго блока пока что выглядят не очень интересно, но в них также есть отличия от первого модуля. Например с тыловой стороны у стоек используются двустворчатые двери, вместо одинарных:

Миран 2 - горячий коридор

Сотрудники дата-центра рассказали, что собираются поэкспериментировать с ними, ведь дверцы с одной створкой в первом модуле оказались не очень удобными в скованном пространстве, что в принципе и логично.

В главном коридоре второго модуля практически все коммуникации пока что отсутствуют, не видно ни «витухи» с оптикой, ни чего-либо другого:

Миран 2 - потолок модуля

Виднеются лишь одинокие датчики в окружении лотков:

Миран 2 - датчик

Огромного количества многоуровневых проволочных лотков!

Миран 2 - датчик и лотки

А вот и сам центральный коридор:

Миран 2 - холодный коридор

Честно говоря, мне всегда казалось, что черный цвет оборудования выглядит более стильно. Белый цвет со временем желтеет и начинает смотреться как дешевый советский кухонный комбаин. Не знаю как у вас, но у меня это вызывает именно такие ассоциации. Впрочем, речь сейчас не об этом, а о том, что из второго модуля мы уже незаметно перешли внутрь первого.

В первом модуле есть мало того, до чего я не добрался во время предыдущей экскурсии (Дата-центр Миран). Тем не менее, кто не читал статью, я готов пробежаться коротко о главном.

Центральный коридор модуля холодный:

Миран 2 - холодный коридор 1 модуля

В него поступает охлажденный воздух и дальше идет через стойки в тыловые помещения — горячие коридоры:

Миран 2 - горячий коридор 1 модуля

Над которым виднеются вентиляторы наружных вытяжек:

Миран 2 - вытяжки горячего коридора

Миран 2 - вытяжка

Внимательный читатель (или внимательный просмотрщик фотографий), наверно задался вопросом где же проходят кабели электропитания, ведь на каждую стойку нужно подводить от 3 до 12кВт в среднем, а это уже специальные кабели с небытовыми вилками и такое чудо не спрячешь так просто. Все это добро, как нетрудно догадаться, располагается под фальшполом:

Миран 2 - фальшпол с электричеством

Миран 2 - вилка

Кстати, в прошлый раз нам его не показывали!

Каждый модуль оборудован системами круглосуточного видеонаблюдения, но модели камер почему-то разные. Можно предположить, что это просто разные типы камер — широкоугольные и направленные, но коридоры в модулях не такие длинные и широкого угла хватит для любых задач:

Миран 2 - камера 1

Миран 2 - камера 2

В любом случае внутреннее пространство модуля это не то место, где можно скрыться от вездесущего взгляда охранников, ну разве что вы залезете в серверные шкафы или под фальшпол.

Оба модуля не могут работать сами по себе, к ним необходимо подводить постоянное электропитание, провайдерские линии, коммуникации от второго дата-центра — Миран 1. Если говорить про каналы данных, то сначала в самих модулях они собираются в узлы связи:

Миран 2 - узел связи

Миран 2 - узел связи внутри

Миран 2 - коммуникации к узлу связи

Потом выходят из модуля в специальные коммутационные помещения (да-да, это оно):

Миран 2 - служебные помещения

Ну а потом направляются дальше.

С электропитанием все несколько интереснее. От каждого модуля электрические линии приходят сначала в единую «трансформаторную», в которой идет распределение от двух электрических вводов. Если на каком-либо из них пропадает напряжение, идет переключение на другой. А вот и сами линии электропитания под потолком:

Миран 2 - электро подводка

Внизу фото видны электрические шкафы. В одном из них располагается контроллер, который осуществляет переключение между вводами:

Миран 2 - контроллер питания

На полу шкафа можно заметить два последовательно подключенных аккумулятора, которые питают контроллер в случае пропадания напряжения на обоих вводах враз (видимо бывает и такое, а может быть просто многократная перестраховка на случай серьезного факапа). Сам контроллер, разумеется, запитан сразу от обоих вводов. Вот такая интересная схема.

Пора переходить к смежным коммуникациям и инфраструктурным объектам. В прошлой статье я упоминал, что мне не удалось попасть в диспетчерскую из-за того, что я решил потратить выделенное время на изучение комнаты (а если быть точным, то «чердака») ИБП. На этот раз я сделал наоборот и посетил в первую очередь диспетчерскую. В общем-то там все очень просто — одна комната с небольшим коммутационным шкафом:

Миран 2 - коммутации в диспетчерской

Рабочими местами диспетчеров:

Миран 2 - место диспетчера

Миран 2 - видеонаблюдение

И с наглядным напутствием от наших предков-инженеров:

Миран 2 - напутствие

На этом путешествие по двум модулям Миран 2 заканчивается. По пути к «ресепшену» я ещё ухватил фирменную футболку, ну а потом сразу направился в Миран 1.

Дата-центр Миран 1

Миран 1 — классический стационарный центр обработки данных. Все располагается в одном здании, специально приспособленном под ЦОД.

Наша группа попала в Миран 1 все через тот же вход (что-то мне подсказывает, что он и единственный), перед которым располагается огромный мобильный дизельный генератор броского синего цвета:

Миран 1 - генератор

Лично мне стало очень интересно — в нем стоит один единственный дизель и вырабатываемая мощность регулируется лишь оборотами, либо там все же несколько небольших дизель-генераторов, которые включаются по очереди, если требуется большая мощность. Второй вариант мне кажется более гибким, отказоустойчивым и надежным, ведь это по большому счету был бы отказоустойчивый дизель-генератор)))

Хватит уже о всяких фантазиях, я все-таки не специалист в вопросе электроснабжения. Давайте сразу перейдем внутрь ЦОДа и посмотрим на перфорированные серверные шкафы, украшенные внутри россыпями разноцветных патч-кордов:

Миран 1 - шкафы

Ничего не могу с собой поделать — ну нравится мне это творчество сисадминов:

Миран 1 - шкафы

Кстати, во время моего прошлого посещения в нескольких коммутационных шкафах сотрудники дата-центра наводили порядок и уже в ближайшее время обещали закончить работы. Надо отметить, что ребята слово держат. Вот что было весной (архивное фото):

Миран 1 - коммутационные шкафы

А вот что стало сейчас (фотография сделана с другой стороны):

Миран 1 - коммутационные шкафы

А вот это фото мне пристали из самого дата-центра:

Миран 1 - коммутационные шкафы

Порядок ну просто образцово показательный! Я думаю, сисадмины оценят по достоинству. Для сравнения — у меня ушло в районе 4-6 часов для наведения порядка среди патч-кордов, которые шли к десятку серверов от всего лишь трех коммутаторов (делал я это в одинокий праздничный день, помнится было 9 мая…). Я уж молчу сколько нужно потратить времени, чтобы привести в порядок несколько коммутационных шкафов.

Что-то я заговорился, идем дальше.

Весь ЦОД представляет из себя прямоугольное здание с запутанными рядами стоек внутри, разбросанными по разным помещениям. Нашей группе даже не удавалось разместиться в каком-то сгруппированном виде, все мы постоянно расползались по помещениям и пару раз чуть было не оставили одного из своих коллег запертым. Не знаю чем его привлекли блейды супермикры в одном из шкафов.

Миран 1 - серверные шкафы

Удалось облазить и дальние уголки:

Миран 1 - коммутационные шкафы сзади

Ещё больше витухи:

Миран 1 - коммутационные шкафы сзади

В одном помещении на себя обратила внимание «земля» с массивной медной планкой:

Миран 1 - земля

Миран 1 - земля

Не знаю почему, но у любого стоящего рядом возникают мысли «а сколько это будет стоить, если сдать на цветмет?». Такая уж она русская натура.

Это была одна из последних комнат и дальше наш путь лежал к выходу. К сожалению, не удалось сделать достаточное количество фотографий, поскольку каждый раз интересный объект загораживала чья-то спина или просто было очень мало времени. Тем не менее, дополнительные фото вы можете найти в предыдущей статья. Удачного просмотра!

comments powered by HyperComments