Вторым объектом экскурсии Datacenter Expedition Pro был дата-центр Миран. Этот ЦОД на слуху у многих сисадминов Питера и является чуть ли не самым известным в своих кругах центром обработки данных. Немалый вклад в имидж вносит и факт наличия на одной площадке фактически двух дата-центров, из которых Миран 1 1 – классический ЦОД, а Миран 2 2 – модульный.
Напомню, что для меня это уже вторая экскурсия по дата-центрам Санкт-Петербурга и конкретно про Миран уже было сказано очень много в статье Дата-центр Миран. Тем не менее, небольшая статья чуть более чем на 1000 слов ну никак не может полностью описать столь технически сложный и интересный объект, как современный центр обработки данных. Именно поэтому я вновь возвращаюсь к Мирану и на этот раз хочу рассказать некоторые совершенно новые нюансы, о которых в прошлой статье не упоминал.
Если вам интересна тематика ЦОД, рекомендую обратиться к тегу Datacenters на моем блоге или к статье Экскурсия по дата-центрам СПБ: Datacenter Expedition Pro.
А вот статьи про другие дата-центры, в которых удалось побывать в рамках мероприятия:
- Datacenter Expedition Pro: Дата-центр Linx
- Datacenter Expedition Pro: Дата-центр IMAQLIQ
- Datacenter Expedition Pro: Дата-центр БОНЧ АЙТИ
Дата-центр Миран 2
Выехав из дата-центра Linx 3, наш гид сразу принялся рассказывать про интересную и насыщенную историю ЦОДа Миран, в которой были и взлеты, и падения. На перечислении огромного множества достоинств этого дата-центра Дмитрий (именно так звали нашего “гида”) сразу оговорился, что не особо стоит верить ему на слово, ведь с профессиональной точки зрения его мнение необъективно в связи с сильной и безграничной любовью к Мирану. Честно говоря, это не особо подействовало и к концу мероприятия подавляющее большинство участников на вопрос “А какой бы ЦОД выбрали вы?” уверенно отвечали – Миран.
После утомительного петляния по узким дорожкам Пироговской набережной наш микроавтобус все же нашел “парадный” въезд в дата-центр и мы оказались на промышленной территории. Перед нами раскинулся комфортный и уютный ресепшн дата-центра:
Разумеется я пошутил, это просто ничем не примечательный промышленный цех, в котором нас десантировали для дальнейшего покорения ЦОДа, вход в помещения которого на самом деле выглядел вот так:
После пары узких коридоров и небольшой задержки на “вертушке” мы попали в высокий закрытый цех, в котором и находились сами модули дата-центра:
Как вы можете заметить, сейчас в ряд стоят два модуля – в строй ввели модуль №2, который в момент первого посещения ЦОДа весной этого года лишь находился в процессе создания и выглядел совсем иначе (апрельские фото):
Теперь же он практически готов принять оборудование, осталось лишь провести пусконаладочные работы. Ну и разумеется вы можете быть уверены, что я не упустил возможности изучить и этот модуль.
К моему удивлению в нем было достаточно много отличий по сравнению со своим старшим братом. Например охлаждение было представлено всего лишь одной системой, а именно классической – фреоновой (хорошо видны наружные блоки кондиционеров):
К слову, в первом модуле была как классика, так и фрикулинг.
Раз уж мы залезли на крышу, то там можно было сразу рассмотреть и блоки вытяжек:
Ну а над ними находится уже только крыша цеха, в которой тоже смонтированы элементы общего охлаждения:
Внутренности второго блока пока что выглядят не очень интересно, но в них также есть отличия от первого модуля. Например с тыловой стороны у стоек используются двустворчатые двери, вместо одинарных:
Сотрудники дата-центра рассказали, что собираются поэкспериментировать с ними, ведь дверцы с одной створкой в первом модуле оказались не очень удобными в скованном пространстве, что в принципе и логично.
В главном коридоре второго модуля практически все коммуникации пока что отсутствуют, не видно ни “витухи” с оптикой, ни чего-либо другого:
Виднеются лишь одинокие датчики в окружении лотков:
Огромного количества многоуровневых проволочных лотков!
А вот и сам центральный коридор:
Честно говоря, мне всегда казалось, что черный цвет оборудования выглядит более стильно. Белый цвет со временем желтеет и начинает смотреться как дешевый советский кухонный комбаин. Не знаю как у вас, но у меня это вызывает именно такие ассоциации. Впрочем, речь сейчас не об этом, а о том, что из второго модуля мы уже незаметно перешли внутрь первого.
В первом модуле есть мало того, до чего я не добрался во время предыдущей экскурсии (Дата-центр Миран). Тем не менее, кто не читал статью, я готов пробежаться коротко о главном.
Центральный коридор модуля холодный:
В него поступает охлажденный воздух и дальше идет через стойки в тыловые помещения – горячие коридоры:
Над которым виднеются вентиляторы наружных вытяжек:
Внимательный читатель (или внимательный просмотрщик фотографий), наверно задался вопросом где же проходят кабели электропитания, ведь на каждую стойку нужно подводить от 3 до 12кВт в среднем, а это уже специальные кабели с небытовыми вилками и такое чудо не спрячешь так просто. Все это добро, как нетрудно догадаться, располагается под фальшполом:
Кстати, в прошлый раз нам его не показывали!
Каждый модуль оборудован системами круглосуточного видеонаблюдения, но модели камер почему-то разные. Можно предположить, что это просто разные типы камер – широкоугольные и направленные, но коридоры в модулях не такие длинные и широкого угла хватит для любых задач:
В любом случае внутреннее пространство модуля это не то место, где можно скрыться от вездесущего взгляда охранников, ну разве что вы залезете в серверные шкафы или под фальшпол.
Оба модуля не могут работать сами по себе, к ним необходимо подводить постоянное электропитание, провайдерские линии, коммуникации от второго дата-центра – Миран 1. Если говорить про каналы данных, то сначала в самих модулях они собираются в узлы связи:
Потом выходят из модуля в специальные коммутационные помещения (да-да, это оно):
Ну а потом направляются дальше.
С электропитанием все несколько интереснее. От каждого модуля электрические линии приходят сначала в единую “трансформаторную”, в которой идет распределение от двух электрических вводов. Если на каком-либо из них пропадает напряжение, идет переключение на другой. А вот и сами линии электропитания под потолком:
Внизу фото видны электрические шкафы. В одном из них располагается контроллер, который осуществляет переключение между вводами:
На полу шкафа можно заметить два последовательно подключенных аккумулятора, которые питают контроллер в случае пропадания напряжения на обоих вводах враз (видимо бывает и такое, а может быть просто многократная перестраховка на случай серьезного факапа). Сам контроллер, разумеется, запитан сразу от обоих вводов. Вот такая интересная схема.
Пора переходить к смежным коммуникациям и инфраструктурным объектам. В прошлой статье я упоминал, что мне не удалось попасть в диспетчерскую из-за того, что я решил потратить выделенное время на изучение комнаты (а если быть точным, то “чердака”) ИБП. На этот раз я сделал наоборот и посетил в первую очередь диспетчерскую. В общем-то там все очень просто – одна комната с небольшим коммутационным шкафом:
Рабочими местами диспетчеров:
И с наглядным напутствием от наших предков-инженеров:
На этом путешествие по двум модулям Миран 2 заканчивается. По пути к “ресепшену” я ещё ухватил фирменную футболку, ну а потом сразу направился в Миран 1.
Дата-центр Миран 1
Миран 1 – классический стационарный центр обработки данных. Все располагается в одном здании, специально приспособленном под ЦОД.
Наша группа попала в Миран 1 все через тот же вход (что-то мне подсказывает, что он и единственный), перед которым располагается огромный мобильный дизельный генератор броского синего цвета:
Лично мне стало очень интересно – в нем стоит один единственный дизель и вырабатываемая мощность регулируется лишь оборотами, либо там все же несколько небольших дизель-генераторов, которые включаются по очереди, если требуется большая мощность. Второй вариант мне кажется более гибким, отказоустойчивым и надежным, ведь это по большому счету был бы отказоустойчивый дизель-генератор)))
Хватит уже о всяких фантазиях, я все-таки не специалист в вопросе электроснабжения. Давайте сразу перейдем внутрь ЦОДа и посмотрим на перфорированные серверные шкафы, украшенные внутри россыпями разноцветных патч-кордов:
Ничего не могу с собой поделать – ну нравится мне это творчество сисадминов:
Кстати, во время моего прошлого посещения в нескольких коммутационных шкафах сотрудники дата-центра наводили порядок и уже в ближайшее время обещали закончить работы. Надо отметить, что ребята слово держат. Вот что было весной (архивное фото):
А вот что стало сейчас (фотография сделана с другой стороны):
А вот это фото мне пристали из самого дата-центра:
Порядок ну просто образцово показательный! Я думаю, сисадмины оценят по достоинству. Для сравнения – у меня ушло в районе 4-6 часов для наведения порядка среди патч-кордов, которые шли к десятку серверов от всего лишь трех коммутаторов (делал я это в одинокий праздничный день, помнится было 9 мая…). Я уж молчу сколько нужно потратить времени, чтобы привести в порядок несколько коммутационных шкафов.
Что-то я заговорился, идем дальше.
Весь ЦОД представляет из себя прямоугольное здание с запутанными рядами стоек внутри, разбросанными по разным помещениям. Нашей группе даже не удавалось разместиться в каком-то сгруппированном виде, все мы постоянно расползались по помещениям и пару раз чуть было не оставили одного из своих коллег запертым. Не знаю чем его привлекли блейды супермикры в одном из шкафов.
Удалось облазить и дальние уголки:
Ещё больше витухи:
В одном помещении на себя обратила внимание “земля” с массивной медной планкой:
Не знаю почему, но у любого стоящего рядом возникают мысли “а сколько это будет стоить, если сдать на цветмет?”. Такая уж она русская натура.
Это была одна из последних комнат и дальше наш путь лежал к выходу. К сожалению, не удалось сделать достаточное количество фотографий, поскольку каждый раз интересный объект загораживала чья-то спина или просто было очень мало времени. Тем не менее, дополнительные фото вы можете найти в предыдущей статья. Удачного просмотра!
Notes:
