Archiwa: przykład data center - Strona 2 z 2

Przykład centrum danych o znaczeniu krytycznym i mocy 180 kW

sicd.pl2 września 20132 lutego 2014

Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.

Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).

Główne parametry omawianego centrum danych:

Powierzchnia całego centrum danych: około 200 m²
Powierzchnia serwerowni: 110m²
Moc elektryczna przeznaczona na sprzęt IT: 180 kW
Podział gęstości mocy: 2 strefy
Zabudowy chłodnych korytarzy
Klimatyzacja rzędowa

Aranżacja pomieszczenia serwerowni i UPS-owni

Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.

Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).

Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.

Instalacje elektryczne

Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.

Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.

W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.

Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.

System zasilania gwarantowanego oraz rezerwowanego

W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.

Systemy bezpieczeństwa.

KD – Kontrola dostępu

System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.

SSWiN – System sygnalizacji włamania i napadu

System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.

CCTV – System telewizji przemysłowej

System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.

System przeciwpożarowy

Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.

Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.

Szafy sererowe

Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.

Trasy kablowe

Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.

Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)

Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.

Podsumowanie

Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.

Adaptacja pomieszczenia biurowego na serwerownię

sicd.pl26 sierpnia 20132 lutego 2014

Wpis przedstawia proces adaptacji pomieszczenia biurowego na serwerownię (centrum danych) w budynku biurowym, w którym na etapie projektowania nie przewidziano takiego pomieszczenia. Materiał, który tutaj przedstawiam, oparty jest o autentyczną realizację, przy której uczestniczyłem. Jego celem jest ogólne przedstawienie procesu takiej realizacji, co może ułatwić Inwestorowi podjęcie decyzji dotyczących takiego przedsięwzięcia. Przedstawione prace były konieczne dla tego konkretnego przypadku. W każdym innym będą one nieco różne.

Budowana serwerownia ma 50m², moc 40kVA. Realizację przeprowadzono w 2009 roku.

Stan istniejący przed realizacją. Dotychczasowe pomieszczenie serwerowe (przedstawione na fotografii obok) znajdowało się na 3 piętrze budynku. Nie było ono odpowiednio przygotowane do pełnienia swojej roli. Ilość hostowanego sprzętu przerosła możliwości wykonanych wewnątrz, nieprofesjonalnych instalacji.

1. Potrzeba. W związku z powyżej opisanym mankamentem i wynikającym z niego realnym zagrożeniem dla stabilności pracy sprzętu serwerowego oraz planowaną rozbudową systemu IT zaistniała konieczność wybudowania prawdziwej serwerowni spełniającej konkretne wymagania.

2. Wybór odpowiedniego pomieszczenia. W związku faktem, iż w dotychczasowa serwerownia była również głównym punktem dystrybucyjnym sieci komputerowej skupiono się na pomieszczeniach bezpośrednio sąsiadujących z obecnym. Wybrano pomieszczenie o powierzchni 50m2 (fotografia poniżej).

3. Przygotowanie koncepcji. Zaproszone do rozmów firmy miały przedstawić swoją koncepcje rozwiązania problemu oraz przedstawienia szacunku kosztowego dla proponowanego rozwiązania (sprzęt, instalacja itp.).

4. Projektowanie. Po wyborze jednej koncepcji zlecono wykonanie dokumentacji wykonawczej. Projektanci z odpowiednimi uprawnieniami wykonali projekty branżowe zgodnie z wytycznymi Prawa Budowlanego. Po zaakceptowaniu projektów przez Inwestora można było przejść do kolejnego etapu.

5. Uzyskanie pozwolenia na budowę. Na etapie projektowania okazało się, że inwestycje będzie wymagała uzyskania pozwolenia na budowę, ponieważ: a) wybrane pomieszczenie było wcześniej pomieszczeniem biurowym natomiast nowe będzie pomieszczeniem technicznym dlatego też zaistniała potrzeba zmiany sposobu użytkowania tego pomieszczenia b) system gaszenie gazem oznaczał zmianę zabezpieczeń ppoż. części budynku i wymagał uzgodnienia z rzeczoznawcą do spraw ppoż. c) w trakcie ekspertyzy konstrukcyjnej okazało się, że strop pod część urządzeń (klimatyzatory) wymaga konstrukcji wsporczej. Zgłoszony projekt budowlany po paru tygodniach odleżenia w Urzędzie Miasta dostał pozytywną opinię i można było rozpocząć realizację.

6. Prace budowlane. Prace rozpoczęto od całkowitego opróżnienia pomieszczenia. Zdemontowano wykładziny i ścianę, którą projektant zalecił wymienić na nową z odpowiednią odpornością ogniową. Wyniesiono poza pomieszczenie instalację CO tak aby nie dopuścić do niespodziewanego wycieku wody. Wymieniono drzwi na odpowiednio bezpieczne. Po wykonaniu konstrukcji wsporczej pod klimatyzację całe pomieszczenie doprowadzono do czystego i estetycznego efektu, gdzie na koniec tego etapu wykonano podłogę techniczną odpowiednio podniesioną zgodnie z zaleceniami projektanta instalacji klimatyzacji. Po pewnym czasie oczekiwania wymieniono okna na odpowiednio bezpieczne oraz oklejono je specjalną folią ograniczającą przenikanie promieni słonecznych oraz odpowiednimi roletami.

7. Instalacja klimatyzacji. Standardowo system klimatyzacji wymagał wyprowadzenia instalacji poza pomieszczenie serwerowni - przez korytarz i świetlik aż na dach budynku. Szafy klimatyzacji dobrano z nawiewem pod podłogę techniczną, dlatego ustawiono je na specjalnie przygotowanych ramach. Wykonano również wymaganą instalację odprowadzenia skroplin oraz doprowadzenia wody bieżącej do nawilżacza wbudowanego w klimatyzator.

8. Instalacje elektryczne. Instalacje elektryczne nie były za bardzo skomplikowane dla tego obiektu. Doprowadzono wewnętrzną linię zasilania do serwerowni z głównej rozdzielni budynkowej znajdującej się w piwnicy. Do pokonania były 3 kondygnacje, wykorzystano istniejący szacht instalacyjny na klatce schodowej. W pomieszczeniu wykonano rozdzielnię serwerowni oraz rozdzielnię UPS. Z trudem wniesiono i zainstalowano zasilacz awaryjny o mocy 40 kVA. Wykonano zasilanie szaf serwerowych.

9. System przeciwpożarowy. System przeciwpożarowy zbudowany został z trzech podsystemów. Pierwszy z nich to standardowa sygnalizacja pożaru kontrolowana przez centralkę alarmową, do której podłączono kilka
konwencjonalnych czujek dymu. Drugi to system gaszenia gazem sterowany przez wspomnianą centralkę, zbudowany z butli z gazem oraz systemu rur rozprowadzających środek gaśniczy w odpowiednie miejsca. Trzeci - dla zwiększenia bezpieczeństwa - to bardzo szybki system wykrywania dymu i jego charakterystyczne, czerwone rurki oplatające pomieszczenie.

10. Instalacje systemów bezpieczeństwa. Dla zapewnienia większego poziomu bezpieczeństwa zaprojektowano i wykonano systemy kontroli dostępu (zwora elektromagnetyczna kontrolowana przez czytnik lini papilarnych), sygnalizacji włamania i napadu (czujki otwarcia drzwi, rozbicia szkła, ruchu itp.) oraz monitoring wizyjny (dwie kamery wewnątrz pomieszczenia i jedna na zewnątrz). Dla zapewnienia zdalnej kontroli warunków środowiskowych oraz kontroli parametrów pracy zainstalowanych urządzeń i systemów wykonano system BMS z interfejsem WWW oraz powiadomieniami SMS.

11. Migracja sprzętu serwerowego. Kiedy już wszystko uruchomiono i sprawdzono można było rozpocząć proces migracji sprzętu serwerowego ze starego pomieszczenia. Tradycyjnie już tego typu prace musiały być wykonane w weekend, kiedy to system jest mniej używany. Większość sprzętu była na gwarancji producenta, dlatego sprawa wymagała odpowiedniego zgłoszenia i wykupienia nadzoru gwarancyjnego. Wymontowano sprzęt ze starych szaf, wstawiono nowe do nowej serwerowni i zainstalowano w nich sprzęt. Sporo podłączania kabli i wszystko ruszyło. Kilka testów, wyłączenia zasilania, praca klimatyzatorów itp. Efekt końcowy był na tyle ciekawy, że nikt nie chciał iść do domu mimo późnej godziny sobotniej.

12. Zakończenie realizacji. Dla formalnego zakończenia inwestycji po paru dniach dostarczono dokumentację powykonawczą dokładnie odwzorowującą całość wykonanego zadania. Kilka drobnych zmian ustalonych z projktantami zostało odpowiednio naniesionych. Podpisano protokół zakończenia prac i wystawiono fakturę.

Kolokacyjna serwerownia z zabudową chłodnego korytarza i klimatyzacją rzędową

sicd.pl19 sierpnia 20132 lutego 2014

Casablanca INT, właściciel omawianej serwerowni, jest jednym z największych providerów kolokacyjnych w Czechach i posiada kilka centrów danych z przeznaczeniem na wynajem dostępnej w serwerowniach przestrzeni fizycznych (kolokacja). Omawia, HC8, została oddana do użytku pod koniec 2010 roku, a koszt jej budowy wyniósł ponad jeden milion Euro. Niniejszy dokument w skrócie przedstawia wdrożone rozwiązania, skupiając się przede wszystkim na opisaniu rzędowej organizacji szaf serwerowych oraz klimatyzacji i zabudowie powstałego w ten sposób zimnego korytarza.

Wewnątrz zabudowanego, chłodnego korytarza.

Nowa hala centrum danych o powierzchni ponad 200 m², wyposażona została w 64 szafy produkcji firmy Conteg o wysokości 42U, szerokości 600 mm oraz głębokości 1000 mm. W celu dopasowania się do wymagań jak największej grupy klientów, zainstalowano 40 pełnowymiarowych szaf rackowych, 12 szaf dzielonych na pół oraz kolejne 12 z czterema wydzielonymi sekcjami, dzięki czemu uzyskano 112 indywidualnych miejsc kolokacyjnych dla różnych grup klientów.

Każda z sekcji posiada osobne drzwi przednie oraz tylne, które mogą być otwarte jedynie przez konkretnego klienta. Również przyłącza teleinformatyczne oraz elektryczne są doprowadzone indywidualnie do każdej z „półek” szafy, co znacznie podwyższa bezpieczeństwo i niezawodność danego rozwiązania. Wszystkie drzwi posiadają perforację zajmującą aż 83% ich powierzchni, dzięki czemu urządzenia umieszczone w szafach mogą zaciągać i wypuszczać swobodnie duże ilości powietrza. Każda z sekcji wyposażona jest dodatkowo w panele maskujące oraz ramę separującą, które zapobiegają mieszaniu się chłodnego i ciepłego powietrza w szafie.

Widok zewnętrzny zabudowanego, chłodnego korytarza.

W celu zapewnienia możliwie najlepszych warunków środowiskowych dla utrzymywanego w szafach sprzętu IT, zastosowano zabudowę zimnego korytarza, zapobiegającą mieszaniu się chłodnego i gorącego powietrza. Rozwiązanie to pozwoliło na znacznie efektywniejsze wykorzystanie urządzeń klimatyzacyjnych i generowanego przez nie chłodu (schłodzone powietrze zamiast rozchodzić się po całym pomieszczeniu pozostaje w przestrzeni ograniczonej szafami, podłogą techniczną oraz sufitem zabudowy korytarza do wysokości 2,3 m, obniżenie kosztów oraz umożliwienie osiągnięcia niższej wartości współczynnika PUE (ang. Power Usage Effectiveness). Optymalne wykorzystanie klimatyzacji ma tutaj bardzo duże znaczenie, ponieważ zakładana moc elektryczna serwerowni została zaprojektowana na 300 kW, z czego obciążenie każdej z szaf oszacowane zostało na 4 kW.

Biorąc pod uwagę ilość szaf, ich podział na sekcje oraz możliwość montażu urządzeń IT o wysokiej gęstości mocy, zastosowano klimatyzatory rzędowe (ang. Side Mount (In-Row) Cooling Units) firmy Conteg z wymiennikiem ciepła w postaci wody lodowej (podłączenie do istniejącej instalacji).

Ilość klimatyzatorów oraz ich moc dobrano zgodnie z warunkiem N+1 dla każdego z bloków korytarza. W pierwszym bloku zawierającym 40 standardowych szaf 42U zostało zainstalowanych 10 klimatyzatorów (w tym jeden redundantny), każdy o mocy 19,3 kW. Z kolei w drugim, składającym się z 24 szaf dzielonych - 8 klimatyzatorów (również z jednym redundantnym) o takiej samej mocy. Urządzenia posiadają
5 wentylatorów, których prędkość regulowana jest automatycznie w zależności od warunków środowiskowych od 0 do 100%. Obudowa klimatyzatorów jest dopasowana do zamontowanych szaf zarówno pod kątem stylistycznym jak i gabarytowym. Urządzenia zajmują jedynie 300 mm przestrzeni pomiędzy szafami (w porównaniu do 600 mm w standardowych rozwiązaniach innych producentów), dzięki czemu zaoszczędzone miejsce można było przeznaczyć na montaż większej ilości szaf.

Ilość zajmowanego miejsca została również zredukowana dzięki zastosowaniu specjalnych ram montażowych o szerokości 300 mm, zamiast standardowych szaf krosowniczych. Ramy te montowane są na końcach korytarza i pozwalają na organizację dużej ilość kabli teleinformatycznych oraz montaż urządzeń sieciowych w pozycji pionowej.

Zabudowa strefy chłodu pomiędzy szafami z zasilaczami UPS Trzeci blok zimnego korytarza przeznaczony został na cztery szafy zapełnione modularnymi UPS-ami, zasilanymi z dwóch niezależnych źródeł energii. Każdy z UPS-ów jest w stanie dostarczyć do 120 kW mocy przy jednoczesnym wydzielaniu ciepła na poziomie 7 kW. Dostarczenie schłodzonego powietrza i odbiór 28 kW (max) gorącego powietrza zapewniony jest przez 2 klimatyzatory rzędowe (600 mm) połączone ze sobą w topologii N+1, z których każdy może pracować z wydajnością do 30 kW.

Przestrzeń zabudowy korytarza monitorowana jest przez ponad 100 czujników temperatury, wilgotności oraz zalania. Całe pomieszczenie serwerowni posiada wdrożony system monitoringu warunków środowiskowych, telewizji przemysłowej CCTV oraz kontroli dostępu.

Butle systemu gaszenia mgłą wodną. W pomieszczeniu serwerowni zamontowany został system bardzo wczesnej detekcji dymu VESDA, który pozwala na wzbudzenie sygnalizacji alarmowej nawet przy bardzo niskim zadymieniu, dzięki czemu istnieje możliwość poinformowania pracowników o wystąpieniu zarzewia pożaru jeszcze przed momentem jego wykrycia przez system SAP. Centrala ppoż, połączona jest z systemem automatycznego gaszenia (stałym urządzeniem gaśniczym). W przypadku wykrycia pożaru, przestrzeń zimnych korytarzy zostanie wypełniona środkiem gaśniczym w postaci nieprzewodzącej mgły wodnej wyzwalanej pod bardzo wysokim ciśnieniem poprzez dysze zainstalowane w suficie zabudowy.

Projekt budowy nowej serwerowni został opracowany na początku 2010 roku, jej realizacja rozpoczęła się latem i trwała 90 dni, obejmując wykonanie prac z branż: budowlanej, elektrycznej, sanitarnej, ppoż, teletechnicznej oraz teleinformatycznej.

Centrum danych Google’a od środka – wideo

sicd.pl15 lipca 20132 lutego 2014

Udało mi się natrafić na bardzo fajny filmik przedstawiający nagranie wnętrza centrum danych Google'a zlokalizowanego w Północnej Karolinie. Prezenter CBS twierdzi, że to pierwszy przypadek wpuszczenia do wnętrza kamer.

Materiał bardzo fajnie (chociaż pobieżnie i krótko) pokazuje poszczególne części data center. Na przykład pokaźne pomieszczenie sieciowe ("networking room") - część w której odbywa się cały proces przełączania pomiędzy serwerami oraz siecią internet.

Wielka serwerownia ("zapierająca dech w piersiach" prezenterki) hostująca 55 200 serwerów wykonanych według myśli inżynierów Google'a, czyli na bazie elementów, z których produkuje się komputery PC. (Warto tuja wyjaśnić, że podejście jest zbieżne z tym zaproponowanym przez Facebooka i opisane w dokumentacji "Open Compute Project". Pamiętajmy jednak, że Google jako pierwszy na taką skalę zaczął stosować serwery zbudowane z komponentów klasy PC. Nie był jednak tak dobroduszny i nie udostępnił ich specyfikacji.). Widać na nagraniu jak łatwa jest wymiana elementów lub całego serwera, bez żadnego wpływu na działanie systemów.

Film poświęca sporo uwagi kwestii energooszczędności obiektu i sposobom w jaki została zwiększona. Na przykład mowa jest o podniesieniu temperatury wewnątrz serwerowni z 68 do 80 stopni F (z 20 na około 27 stopni C). Dodatkowo zamiast tradycyjnego systemu klimatyzacji zastosowano ewaporacyjny system chłodzenia. Dzięki tym i innym innowacjom wskaźnik PUE dla tego centrum danych wynosi (jak widać na nagraniu) 1,100.

Dodatkowo prezenterka zapowiada, że w planach Google'a jest udostępnienie zdjęć i nagrań z wszystkich 12 centrów danych jakie obecnie posiada gigant z Doliny Krzemowej.

Najnowsze centrum danych Facebooka zbudowane zgodnie z założeniami Open Compute Project 1

sicd.pl8 lipca 201313 czerwca 20141 komentarz

12 lipca 2013 roku Facebook uruchomił oficjalnie swoje najnowsze data center o powierzchni 27 tysięcy m2. Jest to już drugie centrum danych po tym zlokalizowanym w Prineville w stanie Oregon (USA) zrealizowane zgodnie z ideą otwartego standardu budowy ośrodków obliczeniowych tzw. "Open Compute Project" (OPC) zainicjowanego i rozwijanego właśnie przez Facebooka. Tym razem jednak jest to pierwsze data center właściciela największego portalu społecznościowego na świecie poza Stanami Zjednoczonymi i znajduje się w szwedzkiej miejscowości Lulea położonej na wysokości geograficznej gdzie w przeważającym czasie panuje chłodna atmosfera.

Obiekt ten jest przykładem całkowicie nowoczesnego, łamiącego wiele standardów i ograniczających zaleceń podejścia do projektowania, budowy i wyposażenia centrów danych. Cechuje się niezwykle wysoką wydajnością energetyczną (PUE) między innymi dzięki wykorzystaniu zewnętrznego powietrza do chłodzenia oraz energii elektrycznej pochodzącej w 100% z lokalnych źródeł odnawialnych. Moim zdaniem jest to dzieło sztuki inżynierii data center i jestem pełen podziwu dla innowacyjności inżynierów Facebooka.

Poniższy obrazek przedstawia widok z góry na obiekt.

Widok z góry na centrum danych zlokalizowanego w Lulei

Lokalizacja taka została wybrana celowo tak aby jak najwięcej dni w roku serwery hostowane w serwerowni zlokalizowanej w tym centrum danych były chłodzone zewnętrznym powietrzem bez konieczności zużywania dużej ilości prądu - jak w klasycznym sposobie chłodzenia za pomocą jednostek klimatyzacji precyzyjnej. Zgodnie z założeniami Open Compute Project zewnętrzne powietrze jest bezpośrednio zasysane przez ogromne wentylatory do wnętrza budynku gdzie przechodząc przez ścianę filtrów jest oczyszczane z wszelkich nieczystości oraz odpowiednio nawilżane za pomocą systemu zraszającego. Nadmiar wilgoci również jest odbierany przez filtry a następnie tłoczony do serwerowni, gdzie zasysane jest przez serwery. Ogrzane powietrze po przejściu przez te urządzania jest częściowo wykorzystywane do ogrzewania biur znajdujących się w budynku oraz (w większości) wydmuchiwane na zewnątrz. W przypadku, kiedy temperatura na zewnątrz jest niższa niż zadana temperatura minimalna pracy serwerowni, część ciepłego powietrza jest przekierowana do przestrzeni, gdzie opisany proces się zaczyna.

Najlepiej ilustruje to poniższy schemat zaczerpnięty z dokumentu "Data Center Mechanical Specifications" należącego do zbioru Open Compute Project.

Schemat przepływu powietrza zgodnie z Open Compute Project — Schemat przepływu powietrza

I zdjęcia przedstawiające jak opisany system przepływu powietrza został wykonane w najnowszym centrum danych Facebooka.

W kolejnej części przedstawię i omówię kwestię szaf serwerowych i samych serwerów, które również są wyjątkowe jak codzienne realia standardowych centrów danych.

Źródło:
https://www.facebook.com/luleaDataCenter
http://www.opencompute.org/projects/data-center-design/