Как построить собственный цод. Оценка издержек: соотношение цены и функциональности

На сегодняшний день уже никого не удивить тем, что в той или иной компании присутствует собственный ЦОД. Что это такое, знают лишь немногие работники этой организации, но в действительности же такое оборудование требуется любому бизнесу, который хочет добиться реальной стабильности. Другими словами, если возникает реальная потребность в том, чтобы обеспечить бесперебойную, масштабируемую и управляемую работу компании, когда от ИТ-инфраструктуры непосредственно зависит стабильность работы бизнеса, используется центр обработки данных.

Что это?

Таким образом, с течением времени и развития информационных технологий практически в любой организации, которая так или иначе связана с информацией, присутствует собственный ЦОД. Что это такое? Центр обработки данных, который в профессиональной специализированной литературе часто принято называть дата-центр. Из названия можно понять, что в таком оборудовании осуществляются разнообразные операции, которые непосредственно относятся к обработке любой информации, то есть созданию или генерированию данных, последующему архивированию и хранению файлов, а также последующему предоставлению их по запросу пользователя. При этом отдельное внимание следует уделить тому, что помимо вышеперечисленных функций есть также безопасное уничтожение данных, за которое отвечает ЦОД. Что это такое? Устранение тех или иных файлов без вреда остальным данным и, возможно, без возможности восстановления, если удаляется действительно важная информация, которая не должна попасть в третьи руки.

Где они могут применяться?

На сегодняшний день существует достаточно большое количество фондов, включая земельные кадастры, Пенсионный фонд и разнообразные библиотеки, которые непосредственно занимаются сбором и хранением различной информации. При этом стоит отметить, что есть и такая информация, которая сама по себе генерирует бизнес, к примеру, та, которая применяется разнообразными справочными службами. Также есть информация, которая не принимает никакого участия в бизнес-процессах, но при этом является необходимой для их реализации. К таким данным относятся файлы кадровых служб, а также базы данных учетных записей пользователей в различных информационных системах.

Промышленными холдингами создаются специализированные электронные архивы для выполнения расчетных задач, хранения документов, а также автоматизации бизнес-процессов. Таким образом, разные организации используют разные виды информации, а также задачи, которые касаются ее обработки. Именно для решения таких задач и создается ЦОД. Что это такое, знает только системный администратор, на плечи которого ложится оборудования.

Когда используется ЦОД?

Задачи, связанные с в разное время решались при помощи различных технических средств. В ХХ веке электронно-вычислительные устройства стали основой современного бизнеса, так как взяли на себя преимущественное большинство вычислительных задач, а появление устройств, которые хранят в себе информацию, предоставило возможность полностью избавиться от бумажных архивов, заменив их более компактными, и при этом доступными электронными и ленточными носителями. Уже для того, чтобы разместить первые электронно-вычислительные машины, нужно было выделять специализированные машинные залы, в которых сохранялись требуемые климатические условия, чтобы оборудование не перегрелось в процессе работы и при этом работало стабильно.

Серверные комнаты и их особенности

С началом эпохи развития персональных компьютеров и небольших серверов вычислительное оборудование практически любой компании стало заключаться в специальных серверных комнатах. В преимущественном большинстве случаев под такой комнатой предусматривается определенное помещение, в котором установлен бытовой кондиционер, а также источник бесперебойного питания для того, чтобы обеспечить непрерывную работу техники в нормальном состоянии. Однако в наши дни такой вариант годится только для тех предприятий, в которых бизнес-процессы очень сильно зависят от используемой информации и доступных вычислительных ресурсов.

Чем отличается ЦОД от серверной?

По большому счету, современный центр обработки данных представляет собой расширенную копию традиционной серверной комнаты, ведь на самом деле они имеют много общего - это использование инженерных систем, поддерживающих непрерывную работу оборудования, необходимость в обеспечении требуемого микроклимата, а также соответствующего уровня безопасности. Но в то же время есть и целый ряд отличий, которые являются решающими.

Центр обработки данных оснащается полным комплектом различных инженерных систем, а также специализированными составляющими, обеспечивающими нормальную и стабильную работу информационной инфраструктуры компании в том режиме, который требуется для работы бизнеса.

Где используется такое оборудование?

В России обработка данных при помощи таких центров стала востребованной с 2000 года, когда такое оборудование начали заказывать различные банковские структуры, государственные органы, а также предприятия в сфере нефтяной промышленности. Стоит отметить, что впервые ЦОД появился еще в 1999 году, когда его начали использовать для обработки деклараций и справок о доходах всех жителей Москвы и области.

Также одним из первых крупных ЦОДов стало оборудование, которое использовалось в центре Сбербанка. В 2003 году, при поддержке компании «Ростелеком», в Чувашии организовали первый республиканский центр обработки данных, применяющийся для того, чтобы систематизировать архивные данные. Такие устройства обеспечивали различные органы местной власти, а в 2006 году также открылся центр, в котором осуществлялась обработка данных центра «Курчатовский институт». В следующем году компании ВТБ-24 и Yandex также начали использовать собственный центр обработки данных. Москва, таким образом, достаточно быстро пришла к использованию такого оборудования, равно как и другие крупные города России.

Где стоит установить ЦОД?

В наши дни собственный ЦОД используется практически каждой крупной территориально-распределенной компанией, особенно в том случае, если бизнес очень сильно зависит от организации ИТ. В качестве примеров можно привести операторов связи, компании-ритейлеры, туристические и транспортные компании, медицинские учреждения, промышленные холдинги и многое другое.

ЦОД может предназначаться для работы конкретного предприятия или же использоваться в качестве многопользовательского оборудования. Многопользовательский центр обработки данных предоставляет широчайший спектр услуг, включая непрерывность бизнеса, а также хостинг, аренду и размещение сервера и еще множество других элементов. Услуги ЦОД являются наиболее актуальным для компаний малого и среднего бизнеса, так как с его помощью можно исключить необходимость в для модернизации ИТ-инфраструктуры, и в конечном итоге получить гарантию надежности и сервис самого высокого качества.

Залог успешности ЦОД - это грамотное проектирование

Грамотное проектирование центра обработки данных позволяет исключить возникновение серьезных проблем в процессе работы оборудования, а также сократить расходы в процессе эксплуатации. В целом структура такого центра распределяется на четыре основных элемента - это инженерная инфраструктура, здание, программное обеспечение и специализированное оборудование. При этом строительство зданий и помещений под установку такого оборудования исполняется во множестве стандартов, главным назначением которых является обеспечение безопасности и надежности. В западных странах часто устанавливаются крайне серьезные и порой весьма своеобразные требования к ЦОД - в частности, стоит выделить то, что здание должно находиться не менее чем на расстоянии 90 метров от предельно высокой точки, до которой доходила вода при наводнении за последние 100 лет, чего добиться бывает далеко не так просто, как может показаться на первый взгляд.

Cегодня мы решили обратить внимание на тему «жизненного цикла» центров обработки данных, рассказать о том, что это такое и как правильное управление им позволяет компаниям сократить не только текущие, но и капитальные затраты. Учитывая современные тенденции к внедрению все новых решений (включая гиперконвергентные системы) и сервисов, значительные трудности в этом процессе могут быть связаны с изменением и адаптацией физической инфраструктуры дата-центров.

Жизненный цикл ЦОДа включает в себя поэтапный процесс развития инженерной инфраструктуры в соответствии с задачами бизнеса и ИТ-процессами и может быть разделен на несколько этапов:

1. Подготовительный : понимание целей создания, формирование концепции решения, выбор площадки;
2. Проектирование в соответствии с выбранной концепцией и характеристиками площадки;
3. Строительство ;
4. Эксплуатация ;
5. Оценка соответствия и анализ эффективности.

Требования бизнеса к ИТ-сервисам постоянно меняются, и завершающая данный цикл оценка соответствия как раз и помогает понять, насколько эффективно ЦОД позволяет решать текущие задачи, и способен ли он справиться с новыми, готов ли он к росту. Далее следует планирование доработки или модернизации площадки под новые задачи и все последующие этапы – круг замыкается.

Проектирование и строительство

На российском рынке накоплена солидная компетенция в области проектирования и строительства ЦОДов, есть специалисты соответствующей квалификации, однако не всегда удается выполнить проект в соответствие с заданными клиентом KPI. Уже в ходе реализации проекта требования бизнеса могут измениться и далее некорректно сформулированы и отражены в техзадании. Как следствие, строительство площадки производится качественно, однако основная сложность на этапе проектирования – понять, какие задачи стоят перед объектом и как именно ЦОД должен быть сконструирован и оснащен, чтобы отвечать всем требованиям бизнеса, что удается сделать не всегда.

Сегодня требуется четко формировать техническое задание, описывая в нём корректные и оптимальные решения, отвечающие задачам бизнеса в перспективе как минимум 5-8 лет. Помочь в подготовке грамотных специалистов может Центр обучения вендора, обладающего соответствующей компетенцией. Так задачей Центра обучения Schneider Electri c является ознакомление партнеров и клиентов с технически сложной продукцией компании, особенностями ее применения, установки и эксплуатации в реальных условиях.
ЦОД, как правило, физически не привязан к потребителям его услуг, однако, важно учитывать, что размещение его в неподходящем здании радикально увеличивает стоимость инфраструктуры площадки. Стоит помнить и о том, что окружение ЦОДа может влиять на его надежность.

Типичные ошибки, совершаемые на подготовительном этапе:

1. Проектирование ЦОДа как офиса, в то время как это промышленный объект;
2. Ошибки в резервировании систем, компонентов, коммуникаций;
3. Ошибки в расчете размера выделяемой площади под инженерные системы и вспомогательные помещения, с оценкой веса оборудования и его габаритов, с обеспечением автономности объекта.

Важным является понимание ключевых метрик ЦОДа, перспектив его развития, так как инженерные системы должны «пережить» 2-3 поколения ИТ-оборудования. Службу эксплуатации редко вовлекают в проект на этапе строительства. Между тем специалисты по электроснабжению и системам охлаждения должны привлекаться еще на этапе проектных работ и присутствовать в рабочих группах.

Эксплуатация

Как бы хорошо не был продуман и грамотно реализован проект, на этапе эксплуатации возникает немало проблем. Одна из их носит организационный характер и касается взаимодействия между административно-хозяйственным и ИТ-департаментом. Когда такой связки нет, решение в целом может работать неэффективно или вовсе не функционировать.
На практике административно-хозяйственные подразделения порой оказываются крайне далеки от понимания, что такое дата-центр и каковы предъявляемые к нему требования, а иногда попросту становятся непреодолимым бюрократическим барьером, поэтому желательно показать этой службе концепцию построения дата-центра на их объекте, объяснить принципы работы инженерных систем и приблизительные параметры оборудования.

В ИТ-отделе могут быть и свои, внутренние проблемы. Когда разные ИТ-подразделения отвечают за разные компоненты (серверы, СХД, сетевое оборудование, системы охлаждения и пр.) и при этом не имеют четких регламентов и разделения зон ответственности, на площадке возникает хаос.

В этом случае проще «переехать» на новую площадку, чем проводить глубокую модернизацию старой, и уже потом переделывать имеющийся ЦОД, не нарушая работы функционирующих на новом месте ИТ-сервисов. Еще один вариант – на время «капремонта» арендовать площади в коммерческом ЦОДе. Оптимальное решение выбирается в каждом конкретном случае.
В современных ЦОДах за непрерывную и эффективную работу инфраструктуре, как правило, отвечает отдельная команда специалистов. Для автоматизации мониторинга, управления, ведения отчётности, управления перемещениями и контроля эффективности используют инструменты, которые принято обозначать аббревиатурой DCIM (Data Center Infrastructure Management).

Задачи мониторинга событий, состояния оборудования и среды зачастую решаются в первую очередь – для этого применяются такие средства, как контроллеры NetBotz и система мониторинга Data Center Expert. Но сейчас наиболее актуальными становятся задачи эффективного использования ресурсов - от электроэнергии до пространства в машинных залах. Своевременное внедрение эффективных регламентов и контроль использования электроэнергии позволяет не только снизить весьма значительные эксплуатационные затраты и вернуть инвестиции раньше, но и планировать новые приобретения или строительство с учётом оценки реальной, а не «бумажной» эффективности оборудования. В качестве платформы для организации такого подхода можно использовать Data Center Operation – модульное решение с набором всех необходимых функций.

Данное решение Schneider Electric позволяет операторам ЦОДов контролировать и эффективнее управлять центрами обработки данных и выполнять текущие задачи, а интеграция сторонних ИТ-сервисов позволяет обмениваться соответствующей информацией между системами разных вендоров, получая в результате более полное представление о производительности и доступности ЦОДа для повышения его надежности и эффективности эксплуатации.

Оценка и оптимизация

Оптимизация – улучшение параметров подсистем ЦОДа – требует предварительного проведения этапа оценки – аудита, анализа эффективности их работы, создания математической модели площадки и устранения проблемных точек на основе данных мониторинга.
Качественная система мониторинга, созданная специально для решения задач эксплуатации дата центра, система моделирования работы оборудования, позволяющая получить понятную модель функционирования ЦОДа, - важные инструменты, благодаря которым специалисты по эксплуатации могут отследить состояние ЦОДа в режиме реального времени.

Различные улучшения, такие как построение систем изоляции воздушных коридоров, реорганизация плит фальшпола, устранение в стойках мест с неправильной циркуляцией воздушных потоков с последующей перенастройкой систем кондиционирования, позволяет сократить энергопотребление ЦОДа в реальных проектах на 10-20%. Окупается такая оптимизация (если брать в расчет только энергопотребление) за 3-3,5 года.

Еще один эффект оптимизации – улучшение работы систем охлаждения, когда эффективнее используется установленное ранее оборудование , к примеру, становится возможной установка в стойку большего числа серверов. «Коэффициент полезного использования ЦОДа» можно довести с 70-75% до 90-95%. Такая оптимизация окупается примерно за полгода.

Аналитика данных помогает найти конкретное решение для снижения стоимости эксплуатации устройств на площадке заказчика, выбрать наиболее энергоэффективный режим или оптимизировать использование ресурсов. Или понять, что пришла пора модернизации.

Модернизация ЦОДа не всегда означает установку нового оборудования и в первую очередь представляет собой повышение КПД систем и эффективности их использования.

Оценка ситуации помогает понять, что нужно сделать, чтобы ЦОД вновь работал эффективно. У одного из заказчиков такая проблема была решена с помощью создания закрытых холодных коридоров и блокирования воздушных потоков там, где они снижали эффективность отвода тепла. Причем работа выполнялась без остановки систем дата-центра.

Во многих проектах работа ведется на стыке этапов эксплуатации и оценки. Сегодня у многих заказчиков появляются новые ИТ-задачи, идет информатизация, цифровизация бизнеса, приходится решать различные эксплуатационные проблемы. Справиться с ними помогает помощь экспертов на этапе оценки и проведение аудита ЦОДа. Созданный Schneider Electric в России Региональный центр разработки приложений (Regional Application Center) занимается комплексными решениями для дата-центров. Его основная задача – создание и поддержка устойчивого и эффективного функционирования ЦОДа на всех этапах его жизненного цикла.

Специалисты Schneider Electric принимают участие в проектировании, строительстве, комплексных испытаниях и вводе объектов в эксплуатацию, в последующей поддержке и модернизации дата-центра. На каждом этапе заказчику обеспечивается отказоустойчивость и эффективность работы ЦОДа. При росте масштабов и скорости цифровых технологий предлагаемые нами решения помогут компаниям, провайдерам облачных, телекоммуникационных сервисов и коммерческих площадок смотреть в будущее с уверенностью.

В современном понимании дата-центр (data center), или центр обработки данных (ЦОД), - это комплексное организационно-техническое решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. В более узком смысле ЦОД - это помещение, предназначенное для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к быстрым каналам связи. Для того чтобы полнее раскрыть суть понятия ЦОД, начнем с истории его возникновения.

В принципе, вычислительные центры, знакомые многим по ЕС-машинам, которые получили распространение в нашей стране еще 30 лет назад, - это в определенном смысле прародители современных ЦОД. Общей для нынешних ЦОД и старых ВЦ является идея консолидации ресурсов. При этом ВЦ имели достаточно сложные подсистемы обеспечения необходимой для вычислительной техники среды, которая состояла из подсистем охлаждения, электропитания, безопасности и т.п., многие из которых используются и в современных ЦОД.

С распространением ПК в середине 1980-х годов наметилась тенденция к рассредоточению вычислительных средств - настольные компьютеры не требовали особых условий, а следовательно, вопросам обеспечения специальной среды для вычислительной техники уделялось все меньше внимания. Однако с развитием клиент-серверной архитектуры в конце 90-х годов возникла необходимость установки серверов в специальных помещениях - серверных комнатах. Нередко случалось так, что серверы размещали на площади старых ВЦ. Примерно в это время появился термин «дата-центр» (data center), применяемый к специально спроектированным компьютерным помещениям.

Расцвет дата-центров пришелся на период бума дот-комов. Компании, которым требовались быстрый интернет-доступ и непрерывность ведения бизнеса, стали проектировать специальные помещения, обеспечивающие повышенную безопасность обработки и передачи данных, - Интернет-дата-центры (Internet Data Centers). Поскольку все современные дата-центры обеспечивают доступ к Интернету, первое слово в названии было упразднено. Со временем появилось отдельное научное направление, которое занимается вопросами оптимизации строительства и эксплуатации дата-центров.

В начале XXI века многие крупные компании как за рубежом, так и у нас в стране пришли к необходимости внедрения ЦОД - для одних первостепенным стало обеспечение непрерывности бизнеса, для других ЦОД-решения оказались очень эффективными вследствие экономии эксплуатационных затрат. Многие крупные компании пришли к выводу, что централизованная модель вычислений обеспечивает лучший показатель TCO.

За последнее десятилетие многие крупные ИТ-компании обзавелись целой сетью ЦОД. Например, старейший глобальный оператор Cable & Wireless в 2002 году купил американскую компанию Digital Island - владельца 40 ЦОД по всему миру, а европейский оператор Interoute в 2005 году приобрел оператора и хостинг-провайдера PSINet, подключив к своей панъевропейской сети 24 ЦОД.

Практика применения риск-ориентированных подходов к ведению бизнеса стимулирует использование ЦОД. Компании начали понимать, что вложения в организацию бесперебойной работы критичных ИТ-систем обходятся для многих видов бизнеса гораздо дешевле, чем возможный ущерб от потери данных в результате сбоя. Внедрению ЦОД способствует также принятие законов, требующих обязательного резервирования ИТ-систем, появление рекомендаций по применению модели аутсорсинга ИТ-инфраструктуры, необходимость защиты бизнеса от природных и техногенных катастроф.

Отдельные ЦОД стали занимать все бо льшие территории. Например, недавно появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова площадью 22,3 га, потратив на него 600 млн долл., который заработает уже весной 2009 года.

В России строительство ЦОД (в современном понимании этого термина) началось в конце прошлого - начале нового века. Одним из первых крупных российских ЦОД был Центр Сбербанка. Сегодня собственные ЦОД имеют многие коммерческие структуры (прежде всего финансовые организации и крупные операторы связи).

При этом солидные российские Интернет-компании имеют уже по нескольку дата-центров. Например, в сентябре текущего года появилось сообщение о том, что Яндекс открыл новый (уже четвертый по счету) дата-центр на 3 тыс. серверов (занимаемая площадь - 2 тыс. кв.м, подведенная мощность - 2 МВт). Новый комплекс оснащен прецизионными системами охлаждения, позволяющими снимать до 10 кВт со стойки, источниками бесперебойного питания и дизельными генераторами. Дата-центр подключен к московскому оптическому кольцу Яндекса, которое соединяет другие дата-центры и офисы Яндекса, а также к М9 и М10 - традиционным точкам обмена трафиком с провайдерами.

Одновременно с этим российский оператор «Синтерра» объявил о начале одного из самых крупных проектов (не только по российским, но и по европейским меркам) - строительстве национальной сети собственных ЦОД. Проект получил название «40x40». Создав крупные дата-центры в узлах широкополосной сети в большинстве регионов России, оператор намерен превратить их в точки локализации клиентов и продаж всего спектра услуг.

До середины 2009 года в 44 центрах субъектов Федерации будут открываться вновь создаваемые ЦОД. Первыми станут Москва, Санкт-Петербург, Казань, Самара и Челябинск. Оператор планирует, что до конца 2008 года будут введены в эксплуатацию первые 20 площадок, остальные - к середине 2009-го. Интеграторами проекта являются «Крок», «Техносерв А/С» и Integrated Service Group (ISG).

Площадь каждого ЦОД, в зависимости от потребностей региона, будет варьироваться от 500 до 1000 кв.м по фальшполу и вмещать 200-300 технологических стоек. К ЦОД должны быть подключены по два кольца сети общей пропускной способностью каналов 4x10 Гбит/с, что обеспечит клиентам высокий уровень резервирования и доступности сервисов.

Проект «40x40» ориентирован на широкий круг клиентов, имеющих потребность в аутсорсинге ИТ-инфраструктуры в масштабах всей страны, - операторов связи, «сетевых» корпоративных клиентов, разработчиков контента и приложений, операторов IP-TV и телевизионных компаний, а также на госструктуры, отвечающие за реализацию национальных ИКТ-программ.

Собственные ЦОД у нас в стране имеют не только коммерческие, но и государственные структуры, такие как МВД, МЧС и ФНС.

По данным IDC, количество дата-центров в США достигнет к 2009 году 7 тыс. - по мере перевода компаниями распределенных вычислительных систем на централизованные.

Наряду со строительством новых дата-центров на повестке дня стоит проблема модернизации старых. По данным Gartner, к 2009 году 70% оборудования ЦОД перестанет отвечать эксплуатационным требованиям и требованиям к производительности, если не будет проведена соответствующая модернизация. Средний срок обновления компьютерного оборудования в ЦОД - примерно три года. Инфраструктура ЦОД проектируется с учетом срока эксплуатации порядка 15 лет.

Назначениеи структура ЦОД

В зависимости от назначения современные ЦОД можно разделить на корпоративные, которые работают в рамках конкретной компании, и ЦОД, предоставляющие сервисы сторонним пользователям.

Например, банк может иметь дата-центр, где хранится информация по транзакциям его пользователей, - обычно он не оказывает услуг сторонним пользователям. Даже если ЦОД не предоставляет подобных услуг, он может быть выделен в отдельную организационную структуру компании и оказывать ей услуги по доступу к информационным сервисам на базе SLA. Многие крупные компании имеют ЦОД того или иного вида, а международные компании могут иметь десятки ЦОД.

ЦОД может также использоваться для предоставления услуг профессионального ИТ-аутсорсинга ИТ-решений на коммерческих условиях.

Все системы ЦОД состоят из собственно ИТ-инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС (рис. 1).

Рис. 1. ИТ-инфраструктура современного ЦОД

Рассмотрим организацию серверного комплекса и системы хранения данных.

Серверный комплекс ЦОД

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов (см. рис. 1):

• ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
• серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы; например, серверы, выполняющие модули SAP R/3;
• серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
• служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Системы хранения данных

Наиболее перспективным решением организации системы хранения данных (СХД) является технология SAN (Storage Area Network), обеспечивающая отказоустойчивый доступ серверов к ресурсам хранения и позволяющая сократить совокупную стоимость владения ИТ-инфраструктурой за счет возможности оптимального онлайнового управления доступа серверов к ресурсам хранения.

СХД состоит из устройств хранения информации, серверов, системы управления и коммуникационной инфраструктуры, обеспечивающей физическую связь между элементами сети хранения данных (рис. 2).

Рис. 2. Система хранения данных на базе технологии SAN

Подобная архитектура позволяет обеспечить бесперебойное и безопасное хранение данных и обмен данными между элементами сети хранения данных.

В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel (FC). Техническую основу сети хранения данных составляют волоконно-оптические соединения, FC-HBA и FC-коммутаторы, в настоящее время обеспечивающие скорость передачи 200 Мбайт/с.

Применение SAN в качестве транспортной основы системы хранения данных дает возможность динамической реконфигурации (добавление новых устройств, изменение конфигураций имеющихся и их обслуживание) без остановки системы, а также обеспечивает быструю перегруппировку устройств в соответствии с изменившимися требованиями и рациональное использование производственных площадей.

Высокая скорость передачи данных по SAN (200 Мбайт/с) позволяет в реальном времени реплицировать изменяющиеся данные в резервный центр или в удаленное хранилище. Удобные средства администрирования SAN дают возможность сократить численность обслуживающего персонала, что снижает стоимость содержания подсистемы хранения данных.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDC, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Проектирование, строительство и эксплуатация ЦОД - весьма сложный и трудоемкий процесс. Существует множество компаний, предлагающих необходимое оборудование - как компьютерное, так и вспомогательное, но для построения индивидуального решения без помощи интеграторов здесь не обойтись. Созданием дата-центров в России занимается целый ряд крупных отечественных системных интеграторов, таких как IBS Croc OpenTechnologies, а также специализированные компании: DataDome, IntelinePro и др.

ЦОД и ИТ-аутсорсинг

По данным IDC, мировой рынок только хостинговых услуг в ЦОД растет очень быстро и к 2009 году составит 22-23 млрд долл.

Наиболее комплексная услуга ИТ-аутсорсинга - это аутсорсинг информационных систем. Он предоставляется по долговременному соглашению, по которому поставщик услуг получает в полное управление всю ИТ-инфраструктуру клиента или ее значительную часть, в том числе оборудование и установленное на нем программное обеспечение. Это проекты с широким вовлечением исполнителя, которые предполагают ответственность за системы, сеть и отдельные приложения, входящие в ИТ-инфраструктуру. Обычно аутсорсинг ИТ-инфраструктуры оформляется долгосрочными контрактами, которые длятся более года.

Для создания собственной ИТ-инфраструктуры с нуля компаниям необходимы большие средства и высокооплачиваемые специалисты. Аренда инфраструктуры дата-центра позволяет снизить TCO за счет разделения ресурсов между клиентами, обеспечивает доступ к новейшим технологиям, дает возможность быстрого развертывания офисов с возможностями наращивания ресурсов. Для многих компаний надежность бесперебойного функционирования оборудования и сетевой инфраструктуры становится сегодня критичным фактором для функционирования бизнеса. Аутсорсинг ИТ-инфраструктуры позволяет обеспечить высокий уровень надежности данных при ограниченной стоимости, предоставляя клиентам возможность аренды серверных стоек и мест в стойке для размещения оборудования заказчика (co-location), аренды выделенного сервера (dedicated server), лицензионного ПО, каналов передачи данных, а также получения технической поддержки.

Заказчик освобождается от множества процедур: технической поддержки и администрирования оборудования, организации круглосуточной охраны помещений, мониторинга сетевых соединений, резервного копирования данных, антивирусного сканирования ПО и т.д.

ЦОД также может оказывать услугу аутсорсингового управления приложениями. Это позволяет заказчикам использовать сертифицированных специалистов, что гарантирует высокий уровень обслуживания программных продуктов и обеспечивает легкий переход с одного ПО на другое при минимальных финансовых затратах.

В режиме аутсорсинга приложений клиенты ЦОД могут получить аутсорсинг почтовых систем, интернет-ресурсов, систем хранения данных или баз данных.

Передавая свои корпоративные системы на аутсорсинг для резервирования, заказчики снижают риск потери критичной информации за счет использования профессиональных систем возобновления работоспособности ИТ-систем, а в случае аварии получают возможность страхования информационных рисков.

Обычно клиентам ЦОД предлагается несколько уровней обеспечения непрерывности бизнеса. В простейшем случае это размещение резервных систем в дата-центре с обеспечением должной защиты. Кроме того, может быть вариант, при котором клиенту также предоставляется аренда программно-аппаратных комплексов для резервирования. Наиболее полный вариант услуги предполагает разработку полномасштабного плана восстановления систем в случае аварии (Disaster Recovery Plan, DRP), который подразумевает аудит информационных систем заказчика, анализ рисков, разработку плана восстановления после аварии, создание и обслуживание резервной копии системы, а также предоставление оборудованного офисного помещения для продолжения работы в случае аварии в основном офисе.

Примеры коммерческих дата-центров

Дата-центры Stack Data Network

Сеть Stack Data Network объединяет три дата-центра, построенных с учетом зарубежного опыта.

Два из них (дата-центр Stack и дата-центр M1) общей емкостью 700 стоек расположены в Москве, а третий (дата-центр PSN) емкостью 100 стоек - в 100 км от столицы.

Существуют партнерские договоренности с рядом европейских дата-центров о возможности использования их ресурсов через Stack Data Network.

Дата-центры Stack Data Network предоставляют услугу обеспечения непрерывности бизнеса - disaster recovery, а также качественный хостинг: услугу collocation - размещение серверов (рис. 3) и услугу dedicated server - выделенный сервер (рис. 4).

Рис. 3. ЦОД Stack: размещение серверов
(server collocation)

Рис. 4. ЦОД Stack: аренда выделенного сервера

Дата-центры обладают системами автономного электропитания с источниками бесперебойного питания и мощными дизель-генераторными установками (рис. 5), системами климат-контроля и кондиционирования (рис. 6), системами круглосуточного мониторинга состояния инфраструктурных элементов и системами газового пожаротушения. Для обеспечения надежности систем жизнеобеспечения все системы зарезервированы по схеме N+1. Особый режим безопасности достигается за счет нескольких периметров доступа с использованием индивидуальных пластиковых магнитных карт, биометрической системы контроля доступа, системы видеонаблюдения и датчиков движения.

Рис. 5. ЦОД Stack: дизель-генератор

Рис. 6. ЦОД Stack: кондиционер Liebert

В сети дата-центров Stack Data Network организована круглосуточная служба эксплуатации (дежурные операторы и специалисты), в том числе по системам жизнеобеспечения. Функционируют системы круглосуточного мониторинга систем жизнеобеспечения, телекоммуникационного и серверного оборудования, сети и состояния каналов связи. Дата-центры соединены с основными телекоммуникационными узлами Москвы и объединены между собой собственными резервированными волоконно-оптическими линиями связи.

Sun Microsystems предлагает новую концепцию «ЦОД в коробке» Процесс создания традиционных ЦОД весьма затратный и длительный. Для его ускорения компания Sun Microsystems предложила решение, получившее название Blackbox («Черный ящик»). Система Blackbox монтируется в грузовой контейнер стандартной длины, в который можно упаковать до 120 серверов SunFire T2000 или до 250 серверов SunFire T1000 (в сумме - 2 тыс. ядер) либо до 250 серверов SunFire x64 (тысяча ядер), а также системы хранения, емкость которых может доходить до 1,5 Пбайт на жестких дисках и до 2 Пбайт на лентах. К контейнеру можно подключить до 30 тыс. терминалов Sun Ray. Система работает под управлением Solaris 10. Оборудование размещено в контейнере очень плотно, для циркуляции воздуха просто нет места. В связи с этим воздушное охлаждение крайне неэффективно, поэтому применяется водяное охлаждение. По данным SUN, размещение оборудования внутри грузового контейнера позволяет снизить удельную стоимость вычислительной мощности на единицу площади в пять раз по сравнению с обычным центром обработки данных. Решение Blackbox, как минимум, на порядок дешевле по сравнению с традиционной организацией ЦОД, при этом оно обеспечивает многократное ускорение процесса инсталляции. Следует отметить, что такой центр может быть реализован далеко не везде, поскольку не в каждое здание можно внести подобный контейнер. Продажа решения бала начата в этом году.

Дата-центр IBS DataFort

В 2001 году IBS и Cable & Wireless объявили о начале предоставления российским и зарубежным компаниям комплексных услуг по схеме ASP в рамках совместного проекта DATA FORT на базе дата-центра. Чуть позже DATA FORT зажил самостоятельно, а в 2003-м IBS объявила о запуске собственного ДЦ, который принадлежит дочерней компании IBS - IBS DataFort. ЦОД IBS DataFort ориентирован на обслуживание клиентов с критичными требованиями к конфиденциальности и защите данных, обеспечивает высокую степень доступности данных, современные аппаратно-программные средства, надежное энергоснабжение, скоростные каналы передачи данных и высокий уровень технической поддержки. Периметр имеет усиленную охрану (рис. 7).

Рис. 7. Охраняемая территория ЦОД IBS DataFort

Внутри здания находятся технический модуль площадью более 130 кв.м, двухэтажный резервный офис площадью около 150 кв.м, а также операторский пост. Для предотвращения рисков заливов и пожаров технический модуль дата-центра построен из стальных сандвич-панелей и поднят на полметра над уровнем пола (рис. 8).

Рис. 8. Технический модуль дата-центра IBS DataFort

Технический модуль представляет собой пожаробезопасную, сейсмоустойчивую конструкцию, оборудованную высокопрочным фальшполом, системами гидроизоляции и заземления. Модуль рассчитан на 1500 Rack-серверов, размещаемых в 19-дюймовых промышленных стойках АРС.

В дата-центре установлен автоматический комплекс газового пожаротушения, состоящий из оборудования Fire Eater, «Шрак» и ГОС «Инерген», световой и звуковой сигнализации (предупреждающей о пуске газа и требующей покинуть помещения дата-центра), а также эффективной системы дымоудаления (рис. 9).

Рис. 9. Системы пожаротушения дата-центра
IBS DataFort

Система климатического контроля (рис. 10) состоит из промышленных кондиционеров с автоматическим поддержанием заданной температуры в районе 22±0,5 °C и влажности на уровне 50±5 %, включенных по схеме N+1 (при выходе из строя одного из кондиционеров расчетные параметры всей системы не нарушаются). Приток свежего воздуха с улицы осуществляется с помощью специальной установки, препятствующей проникновению пыли внутрь дата-центра.

Рис. 10. Система климатического контроля
дата-центра IBS DataFort

IBS DataFort специализируется на услугах комплексного аутсорсинга ИТ, принимая на себя все функции ИТ-подразделений заказчика, и предлагает следующие виды услуг:

• аутсорсинг ИТ-инфраструктуры - размещение оборудования заказчика или предоставление в аренду инфраструктуры дата-центра, обеспечение работоспособности корпоративных информационных систем;
• управление приложениями - квалифицированное администрирование и управление различными приложениями;
• аутсорсинг ИТ-персонала - предоставление квалифицированных специалистов для решения различных ИТ-задач;
• обеспечение непрерывности бизнеса - организация отказоустойчивых решений для восстановления информационных систем после аварий и сбоев;
• ИТ-консалтинг и аудит - услуги аудита и инвентаризации в области ИТ, а также построение промышленных технологий эксплуатации ИТ-систем;
• функциональный аутсорсинг - управление отдельными ИТ-функциями по оговоренным стандартам и утвержденному уровню сервиса.

Для начала определимся с тем, что идея строить ЦОД не только посетила клиента, но и закрепилась, а ИТ-директор, которому требуется обеспечить надежное функционирование бизнес-приложений, понимает, что время «Ч» пришло. Бизнес понимает, что риски потери прибыли очень большие, требуется надежное функционирование ИТ и нужно инвестировать средства в нормальный ЦОД. Поэтому далее поговорим о самом процессе создания ЦОД не с тех-нической точки зрения, а организационной.

Итак, с чего начать? С идеи. А по--чему бы и нет? Интегратор здесь дол-жен выполнить роль психолога: приехать к клиенту и поговорить о том, что он в итоге хочет получить от ЦОДа. Здесь важны две вещи: не формализовать процесс и не зарыться в детали. Формализация процесса обычно сводится к отправке клиенту кучки опросников и таблиц. Безусловно, это нужно делать, но только не на первой или второй встрече. Поэтому лучше разбивать большой опросник на несколько небольших и передавать их профильным специалистам компании-клиента. Емкие опросные листы с множеством технических подробностей обычно просто не заполняются, и тут виной всему человеческий фактор. Увы, факты — вещь упрямая, и по собственному опыту скажу, что универсальный опросник, включающий в себя все-все-все, заполняют не более 1-3 % клиентов. Обычно это выглядит так: высылаете, неделя-две потерянного времени, приезжаете и начинаете беседовать. Живое общение позволяет значительно сэкономить время, которого обычно и так нет: почему-то решение строить ЦОД принимается «на вчера», и клиент обычно год думает, как построить ЦОД за два месяца:).

Предварительная работа с клиентом

Установочная встреча состоялась, и дальше — работа пресейл-специа-листов и ключевых специалистов клиента. Важно, чтобы пресейл умел говорить на двух языках — языке финансистов и языке технического персонала. Пресейл — это своеобразный переводчик, способный понять потребности клиента и оценить, на какую сумму потянет проект и будет ли это выгодно клиенту. Более того, такой специалист решает дилемму, помогая рабочей группе клиента защитить бюджет просчитанного решения перед финансовым директором. Расчет таких показателей, как окупаемость инвестиций (ROI), общая стоимость владения (TCO), внутренняя норма доходности (IRR), период окупаемости (PP), позволит обосновать топ-менеджерам, почемунужен именно 1 миллион и недостаточно 200 тысяч, «чтобы айтишники успокоились и наигрались», а также учесть особенности финансирования и этапность инвестирования. В идеале здесь клиенту нужно представить хотя бы укрупненный инвестиционный план для понимания конечности затрат ЦОД и выбора модели его использования: будет ли это свой ЦОД, арендуемый коммерческий или «облачный» сервис. Обычно для корпоративного клиента это будет некий гибрид, в котором будут все три типа. В этом случае топ-менеджер понимает смысл всей затеи, финансовый директор — конечность затрат, а ИТ-директор — насколько ЦОД будет соответствовать потребностям бизнеса.

Еще одна важная деталь на данном этапе — не следует слишком увлекаться резервированием и фактором надежности. Часто бывает так: строительный департамент выбирает дублирование источников электроснабжения и кондициониро-ва-ния. ИТ-департамент дублирует ли-нии свя-зи и ИТ-оборудование, специалис-ты по бизнес-приложениям делают синхронную репликацию и «горячее дублирование» работающих узлов… В итоге цена зашкаливает, хотя каждый департамент в отдельности поступил правильно и максимально проработал свою зону ответственности. Поэтому при сравнении вариантов бюджетирования и описании концепции нужно опираться именно на сравнение вариантов под ключ. К тому же не стоит забывать, что при прочих равных стоимостях две площадки Tier III всег-да бу--дут более надежными, чем Tier IV, ведь в этом случае уменьшает-ся стои-мость внешних рисков.

Выбор площадки

Клиенту хорошо бы понять простую истину: на этом этапе помощь интегратора нужна, пожалуй, больше, чем при проектировании. Ведь часто именно архитектура здания и площадки требует от проектировщиков технических решений, которые не всегда экономически обоснованы и ведут к превышению бюджета.

Особое внимание стоит уделить следующим вопросам:

1. Подвод коммуникаций.

Здесь стоит особо обратить внимание не просто на возможности подвода коммуникаций, а стоимос-ти проекта под ключ. Очень часто тех-ническая возможность есть, а вот стоимостная… То слаботочные ка-нализации надо копать или арендовать, то трансформаторную подстанцию (ТП) надо свою ставить и завязываться с 10 кВ. Поэтому не стоит соблазняться на разговоры и обещания, пока нет валидных технических условий на подключение. Они хотя бы позволят гарантировать, что в рамках временного промежутка (обычно одного года) затраты не вырастут. Отдельно желательно проинспектировать независимость энерговводов. Как показывает практика, велика вероятность во время этой процедуры получить неприятный сюрприз: узнать, например, что два ввода тянутся от одной подстанции. По каналам связи: учитывайте, что их должно быть несколько и тянуть их желательно разными трассами. Темное волокно идеально, но чрезвычайно дорого. Коммутируемые линии связи, которые проходят между разными провайдерами, — дешево, но сердито: в случае аварии время даунтайма может быть непрогнозируемо. Поэтому золотая середина — канал связи от одного провайдера, который владеет всей сетью из точки А в точку Б (особенно это касается связи между основным и резервным ЦОДами).

2. Расположение ЦОД.

Есть несколько важных моментов:

а) План заноса крупногабаритного оборудования. Важно понимать, что оборудование надо не просто занес-ти, и оно, естественно, должно пройти в дверные проемы, но и развернуть его, погрузить и снять с тележки.

б) Наличие достаточной нагрузки на перекрытие и конструкции стен. Стоит ли говорить, что оборудование на-до не просто занести и пос-та--вить — его еще нужно и довезти. Поэтому обращаем внимание на то, какая наг-рузочная способность перекрытий по путям транспортировки (прова-лен-ный фальшпол, раздробленная плит-ка и т. д. совсем не добавят удобства при эксплуатации, когда ЦОД уже будет построен). Наконец, тре-буется архитектурная экспертиза зда-ния «на сегодня». Часто она есть, но 15-летней давности. Конечно, мож-но экстраполировать и гадать на ко-фейной гуще, но стои-мость рисков зна-чительно выше, чем стоимость такой экспертизы. Что касается стен — здесь важно, сколько на них можно наг-рузить, ведь кабельные эстака-ды, на-весные щиты при проектировании для экономии площади проще повесить на стену.

в) Высота помещения. Не стоит забывать, что в ЦОД надо не просто поставить шкафы, а сделать еще и многоэтажные кабельные трассы элект-рики и слаботочки, поэтому высота лишней не бывает. Особенно если планируются шкафные кондиционеры с выдувом под фальшпол — решение простое, недорогое и при правильном расчете позволяющее отвести до 15 кВт со шкафа (в теории можно и больше, но жалко объема помещения). Так на какую же величину стоит ориентироваться? Эмпирика показала: 4,5 метра. Но уж точно не меньше трех метров.

г) Наличие вблизи поста охраны. Это позволит как минимум сократить затраты на организацию круглосуточной охраны и упростить задачу оперативного реагирования на нештатные ситуации (парадоксально, но никакая автоматизация по эффективности не справится если не описаны триггеры событий и процедуры для систем автоматизации). В противном случае придется оборудовать не просто помещение для людей, но и подумать о системах жизнеобеспечения для них (вентиляция, канализация, отопление, освещение и т. д.).

д) Организация подъезда к ЦОДу. Есть ли возможность прямого подъезда автопоезда к воротам ЦОД? Возможно ли организовать выгрузку напрямую из прицепа в здание?

е) Если уже имеется трансформаторная подстанция и планируется повышение мощности, следует уделить особое внимание состоянию и сечению подведенного высоковольтного кабеля и наличию транзитных подключений для других мощных соседей. В противном случае клиент рискует столкнуться с тем, что на его территории могут проводиться неплановые работы по ремонту высоковольтной трассы с раскапыванием территории. Это справедливо и для других транзитных коммуникаций, поэтому обязательно наличие актуального генплана, иначе с неприятными ситуациями можно столкнуться уже на этапе внедрения — когда экскаватор, по классике жанра, переби-вает кабель связи (а еще хуже - 10 кВ).

ж) Грунты и их состав. Владение данной информацией позволит понимать, как организовывать зазем-ление (глубоко ли бить штыри и сколько их понадобится) и защищать от коррозии баки хранилища горюче-смазочных материалов (ГСМ). Особо на этот пункт надо обращать внимание, если объект находится в промзоне, где грунт может оказаться химически активным.

Взаимодействие команд интегратора и клиента

Не будем дублировать PMBook — остановимся на основных моментах. Назначение людей, выделенных со стороны интегратора и клиента, должно быть закреплено приказами с соответствующей четкой документацией, в которой будут прописаны их зоны влияния и ответственности. Руководителю проекта со стороны интегратора крайне полезно создать устав проекта и на первой же встрече зафиксировать матрицу ответственности (часто ведь как бывает: принимают решения одни люди, а отвечают за эти решения другие). В этой матрице должны быть перечислены и контактные данные каждого участника, чтобы с ними было просто связаться. С одной стороны, аргумент, что «нам надо спешить, некогда тратить время на ерунду». Но устав проекта — достаточно полезная штука. В нем фиксируется формат документов, которыми будут обмениваться участники, периодичность встреч, порядок со-г-ласования принятых решений. Хороший устав проекта — это документ, который можно дать новому члену команды, и после его прочтения он сможет полноценно включиться в работу, зная свою роль в данном процессе.

Основные моменты, на которых стоит заострить внимание:

1. Найти нужных людей, определить реальные роли в проекте. Как найти нужного человека? Ответ прост. Попробуйте его мысленно убрать — что-то изменится? Если нет — этот человек не нужен. Проект ЦОД не требует большой постоянной команды, поэтому лучше не включать в основной состав более 5-7 человек с каждой стороны.

2. Человек противится переменам, пока не почувствует себя в безопасности. Поэтому не стоит удивляться, что, как правило, команда людей со стороны клиента более консервативно настроена. Это нормально, ибо их задача — не просто построить ЦОД, но еще и жить с ним, потому любые революционные решения встречаются настороженно: продукт сырой, статистики отказов нет, каков он в эксплуатации — непонятно... Это не значит, что новые продукты не стоит внедрять — просто их внедрение потребует более детальной проработки, в том числе с клиентом.

3. Доступные каналы для доставки плохих известий. Спорный момент, но он необходим, и особенно в команде интегратора. Часто менеджер проекта узнает об этих новостях, когда ничего изменить нельзя, а случившееся можно принять как факт, хотя многие и знали об этом, но скрывали, надеясь на «авось решится».

4. Формальные программы, направленные на улучшение существую-щего процесса (все возможные серти-фи-кации специалистов, оценка пер-со-нала), будут дорого стоить команде и во временном, и в денежном отношении. И даже если улучшение и прои-зойдет, оно вряд ли покроет затраты. Проект ЦОД — достаточно сложный в организационном плане из-за большого количества вех и ключевых точек стыковки этих самых вех. Поэтому обу-чение, разработка конфигураторов, шаблонов и т. д. — это та работа, которая может загрузить ключевых специалистов команды в самый неподходящий момент и затянуть работы, стоящие на критичном пути.

5. Чем сложнее проект, тем больше времени уходит на проектирование и меньше — на пусконаладку. К сожалению, проектирование на постсоветском пространстве является контрастным: либо это старая советская школа, когда проектирование выполняется фундаментально, неспешно и без привязки к финансовым затратам, либо это полный антипод советской школы — коммерческий подход, где во главу угла ставится составление спецификации, быстрая закупка с последующим монтажом на объекте («как-то сами ребята разберутся потом»). С учетом отечественных реалий — клиент всегда спешит, и ЦОД ему нужен «еще вчера»: на стадии проектирования всегда хотят ужать сроки. Можно долго говорить о неправильности такого подхода, но разумный максимум, как ускорить этот процесс, — это разработка концепции и эскизного проекта при двухстадийном проектировании (или утверждаемой части при одностадийном), согласование с заказчиком и закупка крупноузлового оборудования, имеющего длительный срок поставки. Материалы и более мелкие узлы можно детализировать в рабочих чертежах, которые и пойдут в монтаж. При этом срок проектирования тот же, но поставка материа-лов будет осуществлена раньше, соответственно, срок реализации ЦОД значительно уменьшится.

6. Люди не станут быстрее соображать, если руководство начнет на них давить. Чем больше сверхурочной работы, тем ниже производительность труда (только краткосрочная внеурочная работа). Не нужно этого делать постоянно. Наиболее сложные этапы — начальный и конечный. На начальном важно быстро сделать декомпозицию задач, загрузить всех специалистов исходными данными и начать работу, в конце — успеть все синхронизировать до окончания процессов и завершить проект точно в срок. Постоянные переработки говорят либо о несбалансированности команды, либо о плохом проектном менеджменте, либо о нереальных сроках.

7. Спецификацию, в которой нет спис-ка входящей и исходящей информации, даже не следует принимать во внимание. Поэтому работать по чьей-то спецификации или спе-цификации, посчитанной «одной известной компанией», не стоит, если нет понимания, какое техническое задание ставилось. Общий совет для руководителя проекта со стороны клиента: прежде чем заказывать проект у сторонней компании и после этого проводить тендер на внедрение, задайте вопрос, кто выступит аудитором качества такого проекта? Не будут ли это зря потраченные время и деньги? Общий совет для руководителя проекта со стороны интегратора: не утешайте себя тем, что вы просто поставите цены в специ-фикации чьего-то проекта, и весь риск ляжет на плечи клиента. Это не так, ведь, скорее всего, в договоре клиент захочет получить не расчет монтажа материалов, а работающую сис-тему, которая обладала бы рядом параметров. А значит, отвечать все равно будет интегратор, выполняющий внедрение.

8. Если в проекте участвует большая команда, это снижает эффективность самой ответственной части работы — определения концепции ЦОД (ведь всем надо побыстрее дать работу), что приводит к потере независимос-ти внутри команды, увеличению числа собраний и совещаний. Поэтому придерживайтесь следующего принципа: сначала маленькая команда, после концепции — подключение новых игроков. Очень часто доводилось наблюдать, когда на первое же совещание приезжает 30-40 человек, которые пытаются обсудить все и сразу, разбиваются на группы, что-то обсуждают и… уезжают. После этого во время формирования общего протокола возникает конфронтация — и все опять собираются. И так до бесконечности. Определите ключевых сотрудников (со стороны клиента это обычно ИТ-ди-ректор, со стороны интегратора — Руководитель проекта), а остальных подключайте по мере необходимости. Эмпирически оптимальная группа, с которой еще можно решать вопросы, — это группа до 10 человек.

9. У проекта должно быть два сро-ка — запланированный и желае-мый. И они не должны совпадать. Это должен понимать и руководитель проек-та ЦОД у клиента, и представитель интегратора. Как правило, они рапор-туют наверх о сроке окончания проекта, а так как ЦОД — это все-та--ки основа для разворачивания бизнес-сервисов, может произойти такое, что совершенно независимые проекты будут связаны, при этом ни одна из команд проектов не будет об этом знать. К примеру, будет заказано оборудование и сформирована заяв-ка на командировку иностран-ных специалистов для его пусконаладки. В то же время ЦОД еще не запущен, оборудование не включено в рабо-ту, а специалисты уже прибыли для пусконаладки — компания несетубытки, и в результате — срыв сроков…

Проектирование

Прежде чем начать проектирование, нужно определиться с техническим заданием (ТЗ) и согласовать его с клиентом. Хоть это и должен делать клиент, выскажу свое скромное мнение: это все-таки должен делать интегратор совместно с клиентом. Почему? Да потому что именно интегратор более компетентен: у него больший опыт и подчас больше понимания, что нужно клиенту. В ТЗ обязательно фиксировать не общие фразы (наподобие «система кондиционирования долж-на поддерживать температуру в сервер-ной в пределах рекомендованной произ-водителем ИТ-оборудования»), а конкретику, нап-ример: обеспечить температуру воздуха на воздухозаборниках ИТ-оборудования в шкафу в пределах +20...24 °С круглосуточ-но в любое время года.

Важна фиксация в ТЗ двух ключе-вых величин: количество этапов и мощность ИТ-оборудования на пер-вом этапе. Неоднократно доводи-лось наблюдать, как при расчетном PUE в 1,4-1,7 на первом этапе оно равнялось двум-трем именно по той причине, что первая стадия ИТ-оборудования составляла 1/10 от той, что была указана в ТЗ. Если есть спецификация ИТ-оборудования и понимание этапности его закупки, которое планирует-ся устанавливать, не поленитесь и расставьте его в стойки. Тогда будет понимание и того, какая мощность на стойку требуется реально, сколько портов структурированной кабельной системы (СКС) и каких именно понадобится, какие разъемы питания потребуются на блоках распределения питания в шкафах.

Далее прорабатывается общая кон-цепция: компоновка помещений, размещение крупноузлового оборудования, проходы, зоны обслуживания оборудования. Часто встает та-кая за-дача: есть мощность 1000 кВт от транс-форматорной подстанции (ТП) — как ее разделить? Делим просто: обычно PUE составляет 1,6-1,8. Соответственно, задаем PUE 1,6 на начальном этапе для ИТ-оборудования, оставляем мощность 625 кВт, для остального оборудования (а это в основ-ном кондиционирование) — 375 кВт. Далее рассчитываем зоны ИТ-шкафов. Не за-бываем, что крайне желательно физически разделить помещение ввода, зоны серверов, стоечных Hi-End (так как часто им нужна специфическая организация охлаждения, которая может отличаться от типового в серверной) и коммутационной зоны (мощность которой обычно значительно ниже, чем серверной зоны).

После того, как у нас появилось по-нимание концепции системы кондиционирования, подключаем электриков, выдав им основную ведомость токоприемников для ИТ, систем вентиляции и кондиционирования. Теперь можно прорисовывать однолинейную схему и проводить расчет дизель-генераторной электростанции.

Если в проекте кондиционирования предусматривается фальшпол, то его высота рассчитывается, а не выбирается произвольно. Плитки фальшпола играют роль координатной сетки, поэтому привязка всех шкафов к сетке обязательна — это необходимо, чтобы обеспечить свободный подъем плиток в проходах между оборудованием и доступ в подфальшпольное пространство. Тут же стоит учесть нормальную ширину прохода не только между шкафами, щитами, кондиционерами и другим оборудованием, но и соблюсти требования, прописанные в нормативных документах, между открытыми дверями и стеной или другим шкафом, обеспечив тем самым технику безопасности и удобный монтаж/демонтаж оборудования.

Системы контроля доступа, сигнализации и пожаротушения рассчитываются, когда есть понимание требуемого количества помещений. Для системы автоматического пожаротушения важны также наличие фальшпола, изоляции коридоров и фальшпотолков. Когда появляется расстановка рядов шкафов и проходов между ними, можно начинать проектирование системы видеонаблюдения. После этого, с учетом класса зрительных работ и требований предыдущей системы, проектируется освещение.

Системы мониторинга и автоматизации проектируются на завершающем этапе, так как исходные данные для этих систем рассчитываются на основе проектных решений всех предыдущих систем.

Внедрение

Процесс внедрения может сильно отличаться в зависимости от архитектуры, но в целом последовательность процесса примерно следующая:

1. Работа под реконструкции помещений, перенос/возведение стен, выполнение проемов для прохода коммуникаций, расширение дверных проемов, выполнение наружных работ по прокладке кабельных каналов, заливка фундамента для дизель-генераторов и баков топливохранилищ, прокладка топливопроводов, прокладка наружных коммуникаций к зданию ЦОД, выполнения заземления и молниезащиты. При необходимости — выполнение электромагнитного экранирования сер-верного помещения.

2. Установка креплений наружных блоков, вентиляционных коробов, разгрузочных рам чиллеров, прокладка внутренних кабельных каналов, закладка трасс теплоносителей, кабелей, разметка и установка пьедесталов фальшпола, обшивка наружного фасада.

3. Установка плит фальшпола, установка внутренних блоков кондиционирования, установка шкафов, установка щитов и ИБП в щитовой, установка ДГУ.

4. Монтаж СКС, монтаж АГП, СКД, видеонаблюдения, освещения, оборудования мониторинга и автоматики.

5. Проведение измерений, испытаний, стартап оборудования инженерных сис-тем, пусконаладка.

Сдача в эксплуатацию и сервисное обслуживание

При сдаче в эксплуатацию интег-ра-тор должен передать клиенту всю документацию, руководства по эксплуа-тации и инструкции для пер-сонала. Важно также сделать инструктаж персонала, дабы сотрудники компании-клиента смогли самостоятельно эксплуатировать смон-тированные сис-темы. Со стороны клиента важно наз-начить ответственных — в против-ном случае ин-ст-руктаж придется проводить мно-жество раз, а полезность этого бу-дет стремиться к нулю.

Что касается сервисного обслуживания, то здесь могут быть варианты. Это может быть самостоятельное обслуживание ЦОД персоналом клиен-та. Минусы очевидны: необходимость держать в штате специалистов требуемой квалификации. Второй ва-риант — обслуживание каждой системы узкопрофильной компанией. В этом случае клиенту достаточно будет следить только за регламентом об-с-луживания, но придется самостоя-тельно решать стыковые вопросы по сер-вису, если таковые возникают. К примеру, если возникла проблема с задействованием нескольких систем, потребуется выступить посредником в решении вопроса между несколькими организациями, что тоже потребует наличия некоего опыта у человека, который будет курировать сервисное обслуживание, или же привлечения внешнего аудитора. Третий вариант самый простой для клиента, но он может оказаться дороже: аутсорсинг сервисной поддержки интегратором, имеющим экспертизу. В этом случае все риски по стыковым вопросам ложатся на плечи одной организации.

Вопрос о необходимости SLA не так однозначен: если ЦОД спроектирован правильно и системы имеют резерв, то SLA — это затраты, которые далеко не всегда оправдаются. Единственный вариант, который может их оправдать, — полный аутсорсинг обслуживания ЦОД, когда клиент вообще не задействует своих специалистов для отслеживания жизнеспособности ЦОД.

В заключение можно сказать следующее: ЦОД — это отличный пример комплексного проекта, который требуется реализовать в кратчайшие сроки без права на ошибки и переделки. Потратьте больше времени на проектирование и изучение рисков, и оно сторицей окупится во время сдачи и пусконаладки, а также сэкономит немало нервов и денег во время реализации. Помните, что ЦОД — это не просто затраты. Это способ сэкономить деньги на потерях бизнеса, это увеличение капитализации компании. Разумный подход к формированию бюджета при проектировании ЦОД и его защите позволит вернуть эти деньги через определенный промежуток вре-мени. При правильном подходе и по-нимании «дорожной карты» проек-та построения ЦОД сделать это просто.

Константин Коваленко

Центр обработки данных (ЦОД) – единая многокомпонентная система, которая призвана обеспечивать бесперебойную автоматизированную работу бизнес-процессов . Центры обработки данных создаются в первую очередь для увеличения производительности компаний, активно использующих в своей деятельности информационные технологии, а также для повышения качества предоставляемых услуг.

Для хранения и обработки большого количества информации используются специализированные технические решения, мощные серверы, дисковые хранилища. Создавать и обслуживать такие технические системы самостоятельно достаточно сложно и дорого: содержание серверов требует специальных технических условий, отдельных помещений и квалифицированного персонала. Одним из основных назначений дата центров как раз и является создание подходящих условий для размещения таких технических решений.

Преимущества для бизнеса

Создание многокомпонентных систем, решающих большинство проблем в бизнесе, намного сокращает расходы предприятий. В частности, для компаний с территориально-распределенной инфраструктурой это незаменимое решение, поскольку 1–2 сотрудника, обслуживающих ЦОД , с успехом заменяют множество лиц, работающих в офисах в регионах. Впоследствии многие предприниматели задумались над приобретением центров обработки данных в связи с тем, что потребовалось интегрировать воедино большое количество информации. Риск потерять определенные сведения безвозвратно стал очень велик и обусловил определенные затраты по восстановлению информации. Кроме того, возникли риски по лишению части доходов в связи с простоями по разным причинам. То есть, благодаря своим уникальным особенностям ЦОД обеспечивает эффективную бесперебойную работу любой организации.

Преимущество дата-центра в том, что человек или компания, может, из любой точки планеты, используя любое устройство доступа в сеть, работать с необходимой и достаточной вычислительной мощностью, требуемым объемам памяти, всем необходимым программным обеспечением, которое будет работать и храниться на серверах в дата-центре.

Традиционные услуги в дата-центрах: аренда стойки, размещение серверов, подключение к Интернету, аренда каналов связи, установка, настройка ПО, администрирование. В настоящее время к ним добавились предоставление в аренду вычислительных мощностей, виртуальных серверов, дискового пространства для резервного копирования данных, аренды приложений.

• Надежность хранения информации. Причем эта надежность подтверждается как заложенной на этапе проектирования архитектурой, так и последующей эксплуатацией. Интересный факт, что при детальном сравнении стоимости владения информационной системой, расположенной на территории заказчика (как правило, это бизнес-центр) и в дата центре, получаются вполне сравнимые цифры, чего нельзя сказать о сравнении надежности этих способов.

• Уменьшение временных затрат на реализацию новых проектов в сфере IT. При работе в дата-центре компании самостоятельно выбирают услуги, которые они хотят получать. Самыми востребованными остаются аренда стойки, юнита, готового сервера, виртуального сервера и резервное копирование данных. Но помимо этого существует ряд других услуг, которыми компании-арендаторы могут при необходимости воспользоваться, что значительно сэкономит время на запуск нового IT-проекта. Например, это аренда приложений, позволяющая избежать масштабных инвестиций на начальном этапе работы. В качестве примера можно привести аренду 1С бухгалтерии – для развертывания готовой системы, пригодной к работе, достаточно заказать и оплатить такую услугу в дата центре. При этом, зачастую, в офисе заказчика не нужно ничего покупать, устанавливать или настраивать, кроме как доступа в Интернет.

• Сокращение затрат на аренду помещения. Сюда можно отнести затраты на электричество, офисные площади, используемые под «серверные», и обслуживание собственных систем охлаждения и устройств бесперебойного питания. Кстати, купленная в офис техника становится основными средствами предприятия, на них начисляется налог на имущество.

• Организация непрерывной работы головного офиса с филиалами компании по всей стране. доступ к рабочей информации независимо от места нахождения сотрудника. Например, руководитель компании может, находясь в отпуске, проверять рабочую почту, связываться со своими сотрудниками через IP-телефонию.

• Возможность создания резервного офиса организации, если по каким-то причинам работа в основном офисе невозможна, а необходимо получить важную информацию, доделать проект

сокращение затрат на покупку приложений. Для усиления конкурентных позиций собственники дата-центров разрабатывают новый спектр услуг, который можно предлагать арендаторам.

Первыми, кто стал использовать в своей работе центры обработки данных, были крупные зарубежные компании. За ними последовали и российские предприниматели. В РФ в 2000-2001 годах появились первые обладатели ЦОД . Пионером выступил Сбербанк России . Именно он является наиболее территориально-распределенной организацией. То есть потребность в создании интеграции многочисленных данных была высока. В дальнейшем собственными ЦОД обзавелись и крупные нефтяные компании.

Типы центров обработки данных

В зависимости от назначения различают три разных типа дата-центров, каждый из которых рассчитан на определенную модель предприятия и имеет собственные оперативные задачи и проблемы:

• корпоративные дата-центры;
• хостинговые дата-центры, предоставляющие компьютерную инфраструктуру как услугу (IaaS);
• дата-центры, использующие технологию Web 2.0.

Ниже приведены параметры, которые могут значительно отличаться в разных типах дата-центров:

• тип трафика (внутренний, внешний или смешанный);
• использование Layer 2 (L2) и/или Layer 3 (L3) для управлення трафиком в центре или на периферии (Top of Rack);
• технология хранения данных;
• уровень серверной виртуализации;
• общий размер центра обработки данных (по количеству серверов).

Создание и модернизация ЦОД

Компоненты ЦОД

Традиционный ЦОД

Обязательные компоненты, входящие в состав ЦОД , можно разделить на три основные группы:

1. Технические компоненты . Они создают условия для эффективной работы центра. К таковым относятся:

• серверный комплекс, включает серверы информационных ресурсов, приложений, представления информации, а также служебные серверы
• система хранения данных и резервного копирования – ядро ЦОД. Она состоит из консолидирующих дисковых массивов, сети хранения данных, системы резервного копирования и аварийного восстановления данных
• сетевая инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и организует каналы связи. Она включает магистрали для связи с операторами общего доступа, телекоммуникации, обеспечивающие связь пользователей с ЦОД
• инженерная система эксплуатации ЦОД поддерживает условия для нормального функционирования центра. В ее состав входят подсистемы энергообеспечения, климатконтроля, пожарной сигнализации и пожаротушения, передачи данных, а также автоматизированные системы диспетчеризации, управления информационными ресурсами
• система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она состоит из средств защиты, системы оповещения и системы контроля доступа

2. Программное обеспечение . Это фактически сервисы инфраструктуры ЦОД и ПО для корректной работы бизнес-процессов , необходимых для конкретной организации. К компонентам инфраструктуры относятся:

• операционные системы серверов;
• программное обеспечение баз данных;
• операционные системы рабочих станций;
• средства кластеризации ;
• средства резервного копирования;
• программы устройств хранения данных;
• средства администрирования серверов и рабочих станций;
• средства инвентаризации;
• офисное программное обеспечение;
• электронная почта;
• Интернет -браузеры.

К программам, отвечающим за функционирование бизнес процессов, относятся:

• деловые приложения;
• базовые корпоративные информационные сервисы;
• приложения для коллективной работы;
• отраслевые компоненты;
• программное обеспечение для решения задач конструкторско-технологического плана системы электронного архива и управления проектами;
• программы, обеспечивающие сервисы файлов, печати, службы каталогов и других прикладных задач.

3. Организационная среда решает вопросы, связанные с предоставлением IT-услуг. Она должна соответствовать требованиям по оказанию IT-услуг, таким как ISO/IEC 20000. Здесь представлены:

• процессы оказания услуг, то есть качество и доступность услуг;
• процессы взаимоотношений между поставщиком и клиентом, а также с подрядными организациями;
• процессы решения проблем, возникающих при функционировании любого из компонентов системы;
• процессы управления конфигурациями, мониторинг и контроль статуса IT-инфраструктуры, инвентаризация, верификация и регистрация конфигурационных единиц, сбор и управление документацией, предоставление информации об IT-инфраструктуре для всех других процессов;
• процессы управления изменениями, то есть определение необходимых изменений и способов их проведения с наименьшим риском для IT-услуг, а также проведение консультаций и координации действий с организацией в целом;
• процессы релиза, то есть совместного тестирования и введения в активную деятельность организации ряда конфигурационных единиц.

Программный ЦОД

В программном ЦОДе мы все окружение реализуем в виде программных модулей в виртуальных машинах – virtual appliance. Идея состоит в том, что физически используются только серверы и коммутаторы . Все остальное реализуется в виде виртуальных машин – virtual appliance.

В мире сервис-провайдеров эта технология известна и даже стандартизована под названием NFV – Network Function Virtualization – виртуализация сетевых функций. Только там это используется для предоставления сервисов и соответственно очень много внимания уделяется средствам оркестрации и управления, интеграции с OSS системами, что позволяет автоматизировать процесс создания услуг для каждого из абонентов. В корпоративном ЦОД так часто состав услуг менять не надо, уровень автоматизации может быть существенно ниже, но перенос всех сетевых функций в виртуальные машины все равно дает существенные преимущества.