Yahoo.com занимает первое место в мире по количеству посетителей в день, судя по измерениям Alexa.com. Т.е. это значит Yahoo! впереди Гугла, Амазона, Фэйсбука и прочих Яндексов и Одноклассников. Впереди, так сказать, планеты всей. Есть, говорят, такие страны даже, где слова Yahoo и Интернет - синонимы. Как думаете, интересно было бы заглянуть в "серверную" такой компании? Мне очень! Читаем далее...

Sorry, no English version of the article yet

Итак, вашему покорному слуге, выдалась уникальнейшая возможность побывать внутри, как они сами называют место, где расположены сервера, дэйта-центра (data center) самого большого в мире на сегодня интернет гиганта. Как выяснилось в ходе экскурсии, это ещё не самый большой дэйта-центр компании, но зато тот который расположен в самом сердце Кремниевой (Силиконовой) Долины, и пожалуй самый старый из всех, которые есть в наличии у компании. Оказывается, размеры дэйтацентров измеряются не столько площадью помещения, как я думал раньше, и как обычно пишут в прессе, а сколько в потребляемой мощности. Этот данный дэйта-центр, например, на пять мегаватт. Как я уже заметил, это ещё не очень большой. Есть, говорят, один где-то в Сингапуре, так тот на 70 мегаватт. Но сегодня речь не о нём.

Значит, основной ресурс, который требуется для работы дэйта-центра, это электроэнергия. Логично. Сервера и телекомуникации, всё должно быть воткнуто в розетку. А что является основным потребителем электроэнергии в дэйта-центре? Оказывается, далеко не сервера (компютеры) и не сетевое оборудование. И даже не хард-драйвы, или так называемые файлеры (filers), как может показаться на первый взгляд. Основную часть счёта на электричество, оказывается, составляют расходы на охлаждение помещения, т.е. на питание кондиционеров. И шум в помещении, а в дэйта-центре очень даже не тихо, создаётся работающими кондиционерами. И затраты на электричество, вобщем-то, даже значительно превышают стоимость оборудования находящегося внутри. Так что, господа экономисты, если кто-то столкнётся с бизнес расчётами создания дэйта-центра, имейте это в виду ;)

Отдельно про охлаждение. Охлаждение оборудования - это один из самых важных моментов в работе таких устройств, как сервера и сетевые дивайсы. Сервера должны работать круглые сутки, семь дней в неделю, 365.25 дней в году. И работать безотказно. Основная причина отказов комптютерной техники, если вы ещё не знаете, это перегрев. Поэтому за температурным режимом в дэйта-центре следаят очень и очень тщательно. Охлаждение воздушное. Холодный воздух от кондиционеров подводится под полом и через железные решётки направляется непосредственно на переднюю часть каждой стойки, т.к. обычно сервера устроены так, что вентиляторы гонят воздух внутри корпуса каждого сервера в направлении от лицевой панели к задней стенке. Поэтому, если подойти к серверной стойке спереди, скажем, чтобы поближе посмотреть на лампочки или почитать надписи, то попадаешь в восходящий поток ледяного воздуха. Довольно приятное ощущение в жаркую погоду. А если обойти ряд стоек сзади, то от них уже дует тёплым воздухом. Можно там погреться, если замёрз. Тёплый воздух поднимается под потолок и там собирается коллекторами тех же кондиционеров. Кстати, система кондиционирования воздуха устроена так, что кроме собственно охлаждения и фильтрации пыли из воздуха, она ещё и поддерживает избыточное давление в помещении, так чтобы пыль с улицы и коридоров не попадала в "машинный зал" через возможные щели в окнах и дверях. Поэтому вентиляционные решётки в корпусах серверов, даже доисторических Пентиумов-III, выглядят совсем как новенькие по сравнению, например с моим домашним компьютером под столом, который я и регулярно пылесошу.

Локальная сеть в дэйта-центре. Полторы тысячи серверных стоек, более сорока тысяч хостов в одном помещении. Это вам не СКС в каком-то там офисе. Кабельная система должна быть не просто структурированная, а очень структурированная. Такой аккуратности в разводке кабелей, маркировке и укладке я не видел ещё нигде. Теперь я смело могу сказать, что я своими глазами видел, как должна выглядеть правильно выполненная структурированная кабельная система и почему она так называется. Во первых, сеть не одна, а как бы, две идентичные, практически нигде не пересекающиеся кабельные системы. Одна дублирект другую. Каждый хост подключен в каждую из этих сетей, для чего они всегда снабжены двумя сетевыми картами. Чтобы не запутаться где какая сеть, везде используются провода двух разных цветов. По стойкам к хостам спускаются жгуты пятой категории жёлтого цвета слева, а лилового - справа. Или наоборот. Наверху каждого шкафа (стойки) обязательно два свича, каждый из которых уже оптическим кабелем соединён с цетральным раутером. На самом деле, это не один раутер, типа коробка с дырочками. А отдельный, как бы это сказать, зал с двумя рядами опять же стоек, напичканых сетевым оборудованием. Там и происходит вся логистика маршрутизации пакетов по нескольким, так называемым, ап-стрим провайдерам. Какие-то из них провайдают соединение с другими дэйта-центрами компании, расположенными в других городах и даже странах. А какие-то, или те же, но по другим проводам, выход во внешний интернет (или вход внешнего интернета в сеть дэйта-центра?)

Кстати, возвращаясь опять к электропитанию, электроэнергия ко всему оборудованию тоже подводится двумя непересекающимися электросетями, от двух независимых компаний-поставщиков электричества. Опять же, для этой цели во всех серверах предусмотрены по два независимых блока питания. Электросети бэкапнуты специальными УПСами (этакие железные шкафы там и сям по залу). Также на улице стоит дизельный генератор с запасом топлива не менее чем на сутки непрерывной работы. И заключён контракт с топливной компанией (а может и не с одной) о доставке необходимого количества солярки по первому требованию.

Пожарная безопасность тоже особенная, не как в обычном офисе или жилом помещении. Детекторы-то да, конечно такие же, а вот спринклеров нет. Т.е. они есть в потолке, но, как нам объяснили, отключены и не используются. На случай пожара предусмотрена другая система огнетушения - всё помещение моментально наполняется толи азотом, толи углекислым газом, а кислород вытесняется наружу. У персонала, если кто-то находился в этот момент в зале, есть ровно столько времени (уже не помню точную цифру) сколько надо, чтобы покинуть помещение. Об этом предупреждают сирены перекрывающие даже шум в зале, а также яркие стробоскопические вспышки на случай, если кто-то надел шумоподавляющие наушники и слушает громкую музыку. Ребята в дэйтацентре, кстати, как раз очень даже пользуются такими. Не знаю что они там слушают, но сколько я их ни видел (человека два-три), все ходят в наушниках.

Весь дэйтацентр обслуживают семь человек. Дежурят круглосуточно сменами по 8 часов. В их повседневные обязанности входит: в первую очередь, быть руками системных администраторов всех тех серверов, собранных в этом дэйтацентре, т.е. если надо ввести в строй новую партию хардвера, или наоборот списать какое-то устаревшее оборудование, перенести/переключить сервера из одного сегмента сети в другой и т.д. ну или даже просто элементарно пойти и нажать кнопку рисет на серевере. Кроме того, хотя это в основном делают автоматы, они всё равно должны следить за состоянием всех систем - энергообеспечения, сетей, климата. Автоматы, конечно, тоже мониторят все эти системы и сообщают обо всех неполадках соответствующим бригадам, но человек всё-таки есть человек.