Kilka dni temu, w jednym z ważnych polskich centrów danych (kolokacji) doszło eksplozji systemu gaszenia gazem. Z tego, co podaje portal niebezpiecznik.pl oraz z cytowanej na nim wypowiedzi pracownika kolokacji, doszło do nieplanowanego wyzwolenia środka gaśniczego. Z jakiegoś  powodu, w konsekwencji wprowadzenia zbyt dużego ciśnienia gazu do rur, których zadaniem było rozprowadzenie czynnika gaśniczego po wskazanych pomieszczeniach, nastąpiło ich rozerwanie. Nie doszło natomiast do żadnego wybuchu butli.

Czynnik gaśniczy w butlach, omawianego systemu gaszenia gazem, przechowywany jest pod bardzo wysokim ciśnieniem, znacznie przewyższającym wytrzymałość instalacji rurowej. Zadaniem reduktora ciśnienia jest odpowiednie dozowanie ilości uwalnianego środka, aby nie doprowadzić do ich rozerwania. Być może właśnie wada tego elementu doprowadziła kilka pomieszczeń do stanu widocznego na zamieszczonych zdjęciach.

Co najważniejsze z punktu widzenia data center uszkodzeniu uległ częściowo sprzęt IT oraz hostowane na nim usługi. Nikomu nic się nie stało, dzięki temu, że w pomieszczeniach nikogo nie było.

Jak się okazuje, systemy bezpieczeństwa to również dodatkowy czynnik niebezpieczeństwa...

 

awaria systemu gaszenia gazem

 

wybuch systemu gaszenia gazem

 

data center gaszenie gazem awaria

 

eksplozja systemu gaszenia gazem serwerowni

 

serwerownia awaria systemu gaśniczego

Źródło zdjęć: https://niebezpiecznik.pl/post/wybuch-gazu-w-serwerowni-netii/

Nastąpiła również ewakuacja pracowników budynku. Na szczęście staż pożarna nie użyła wody...

straż pożarna data center

Źródło zdjęcia: http://tvnwarszawa.tvn24.pl/informacje,news,ewakuacja-na-ursynowie-awaria-systemu-przeciwpozarowego,206317.html#!prettyPhoto

Każdy, kto zarządza serwerownią lub całym centrum danych wie, że największym kosztem utrzymania jest koszt prądu. Najwięcej prądu - na co nie mamy zbyt dużego wpływu - zużywa sprzęt IT. Drugim w kolejności jest system chłodzenia serwerowni i data center - tutaj mamy już wpływ. Jak to zrobić? Np. zwiększając temperaturę jaka ma być utrzymana wewnątrz pomieszczenia, lub zmieniając konfigurację współpracy całego układu chłodzenia.

Ponieważ w sieci jest dostępny bardzo fajny przykład testów serwerowni udostępniony przez zespół Onet Data Center, to po prostu podaję link i zapraszam do poczytania.

Dodam tylko, że przekładając na pieniądze wyliczone oszczędności prądu (podane artykule w MWh, uśredniając koszt MWh do około 400-500 pln) dają ogromne sumy. I tak dla drugiej fazy testów oszczędność wynosiłaby nawet 40 000 - 50 000 pln rocznie, natomiast dla trzeciej 60 000 - 75 000 pln rocznie.

Myślę, że warto wykonać takie ćwiczenie w swoim centrum danych. Oczywiście musimy mieć na uwadze cały czas (jak zauważa słusznie autor badania) bezpieczeństwo i niezawodność data center.

Kontynuując cykl dotyczący modularnych centrów danych i modularnych serwerowni przedstawiam propozycję firmy Rittal o nazwie RiMatrix S. Tak się szczęśliwie złożyło, że firma ta zorganizowała w ostatnim czasie roadshow po Polsce z przykładową wersją kontenera i miałem okazję zobaczyć produkt od środka. Wydarzenia miało miejsce w czerwcu 2014 roku. Poniżej przedstawiam krótkie streszczenie omawianego rozwiązania.

RiMatrix S to zestaw szaf serwerowych, sieciowych, systemu zasilania, chłodzenia itp. zdefiniowany przez producenta i określony katalogowymi parametrami tworzący jako całość modularne data center, które na życzenie klienta może zostać zainstalowana w jednej z trzech opcji.

  1. Wersja kontenerowa - posadowienie na zewnątrz budynku.
  2. Wersja wewnętrzna podstawowa - instalacja systemu w jednym z pomieszczeń budynku.
  3. Wersja wewnętrzna w bezpiecznym pomieszczeniu IT Security Room wewnątrz budynku.

System oraz opcje instalacji przedstawiam na poniżej zamieszczonych obrazkach zaczerpniętych ze strony producenta oraz z materiałów udostępnionych mi przez firmę Rittal.

Dwa pierwsze obrazki przedstawiają podstawowy moduł systemu, który może być skalowany poprzez dostawianie kolejnych modułów w miarę potrzeb.

System RiMatrix S bez obudowy
System RiMatrix S bez obudowy (opcja single 6).

 

System RiMatrix S - widok szkieletu (opcja single 6)
System RiMatrix S - widok szkieletu (opcja single 6).

 

RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)
RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)

 

RiMatrix S wersja instalowana w budynku
RiMatrix S - wersja instalowana w budynku

 

RiMatrix S it security room
RiMatrix S - wersja instalowana w bezpiecznym pomieszczeniu IT security room.

I poniżej zdjęcia przedstawiające wersję kontenerową, które zostały zrobione podczas wspomnianego roadshow we Wrocławiu.

RiMatrix S w kontenerze
RiMatrix S w kontenerze

 

RiMatrix S w kontenerze - widok od boku.
RiMatrix S w kontenerze - widok od boku.

 

RiMatrix S w kontenerze - widok z autorem wpisu
RiMatrix S w kontenerze - widok z autorem wpisu

System zapewnia obsługę maksymalnej moc 1o kW na jedną szafę serwerową. Jako główne zalety producent wymienia:

  • Niższe koszty inwestycji.
  • Gwarantowany wskaźnik PUE = 1.1.
  • Znacznie uproszczona i skrócona faza projektowania.
  • Niższe koszty serwisowania.
  • Krótki termin dostawy z produkcji seryjnej.
  • Pełna dokumentacja, testy systemu, certyfikowane moduły TÜV Rheinland wg PN-EN 50600-1; VDE 0801-600-1:2012-01.

Należy pamiętać, że konieczne jest - niezależnie od wersji - zapewnienia miejsca dla jednostek zewnętrznych systemu klimatyzacji oraz ewentualnego systemu zasilania rezerwowanego.

Co do kosztów i czasu realizacji,  jak zawsze zależy do czego porównać...

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji").  Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41
Widok na wejście główne.
RemtechModuSec5
Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.
RemtechModuSec2
W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.
RemtechModuSec3
Kilka godzin później.
RemtechModuSec4
Widok od góry. Można po tym skakać...
RemtechModuSec6
Przejścia kablowe, szczelne i bezpieczne jak wszystko.
RemtechModuSec7
Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

 

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1
Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.
RemtechModuSecOut2
Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

  • ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
  • wodę gaśniczą,
  • długotrwałe zalanie,
  • gazy korozyjne,
  • eksplozje,
  • wandalizm (można to zobaczyć na tym filmie)
  • nieuprawniony dostęp,
  • włamanie,
  • interferencję elektromagnetyczną,
  • kurz,
  • spadające elementy,
  • dźwięk (tłumienie),
  • mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

 

 

 

 

 

Tym razem prezentuję krótki, aczkolwiek treściwy materiał. Mianowicie Europejska Organizacja Badań Jądrowych (CERN) za pomocą systemu Google Street View udostępniła możliwość wirtualnego zwiedzania swojej serwerowni, w taki sam sposób jak ulice, które można podglądać na mapach Google.

CERN_Computer_room_2
Przykładowy fragment widoku serwerowni CERN.

W omawianej serwerowni CERN utrzymuje komputery o dużej mocy obliczeniowej, która jest przeznaczona dla potrzeb naukowych. Sama budowa pomieszczenia nie cechuje się jakimiś nadzwyczajnymi rozwiązaniami i jest raczej standardowa, jednak możliwość zdalnego "wejścia" do niej jest interesująca.

Pracownicy Organizacji dodatkowo (być może dla zachęty tych, którym widok samej serwerowni nie sprawia większej satysfakcji) rozmieścili wewnątrz serwerowni 20 ludzików LEGO. Można spróbować je znaleźć. Mi się nie udało, ale zapewne dlatego, że nie poświęciłem na to odpowiednio dużo czasu. Wolałem oglądać infrastrukturę :)

Tak więc poniżej zamieszczam link bezpośrednio kierujący do systemu Google Street View i serwerowni Europejskiej Organizacji Badań Jądrowych w Szwajcarii oraz, dla zainteresowanych, na stronę Organizacji.
Wejście do serwerowni CERN.
Strona Europejskiej Organizacji Badań Jądrowych

Budowa centrum przetwarzania danych, czyli z jakich części składa się data center? Wyjaśniam na kolejnym przykładzie. Kolejnym, ponieważ zagadnienie podziału data center poruszyłem przy okazji pisania mojej definicji centrum danych oraz analizy różnicy pomiędzy serwerownią a centrum danych.

Mimo, iż jestem zwolennikiem używania pojęcia "centrum danych" zamiast "centrum przetwarzania danych" (moje uzasadnienie), wygląda na to, że to drugie staje się bardziej popularne od pierwszego. Jestem przez to zmuszony do używania również nazwy "centrum przetwarzania danych", ponieważ w świecie Google'a mój blog może być pominięty dla osób szukających wiedzy pod taką frazą. Wspomnę tylko szybko, że w obu przypadkach piszę o tym samych, czyli o data center.

Tak więc tym razem przedstawiam podział funkcjonalny - budowę centrum przetwarzania danych na przykładzie modelu obiektu firmy SAP [1], bez powtarzania informacji, które można znaleźć w powyżej podlinkowanych treściach.

Jak zawsze, do omawiania budowy centrum przetwarzania danych najlepiej posługiwać się modelem komputerowym, ponieważ nie sposób wykonać zdjęcia przekroju istniejącego centrum danych. Poniżej przedstawiam obraz takiego modelu. Dodatkowo zostały na nim opisane poszczególne systemy i części funkcjonalne, które są umiejscowione w osobnych pomieszczeniach, co jest podstawową cechą profesjonalnego (modelowego) data center.

mainSAPDC

Głównym i najważniejszym pomieszczeniem centrum przetwarzania danych jest serwerownia (server room). To tutaj cały proces przetwarzania (i nie tylko) ma miejsce. Tutaj w odpowiednich warunkach klimatycznych i fizycznych pracują urządzenia IT. Poniżej zdjęcie wykonane w jednym z rzędów pomiędzy szafami IT (szafami "rack").

SAPDC01

Aby sprzęt IT w serwerowni mógł niezawodnie, ciągle i bezpiecznie pracować niezbędny jest odpowiednio zaprojektowany system zasilania. Oprócz zasilania z sieci elektroenergetycznej (na niezawodność której, nie mamy wpływu) niezbędne jest wyposażenie centrum przetwarzania danych w zasilacze bezprzerwowe UPS (zabezpieczające min. przed chwilowymi skokami i zanikami napięcia) oraz  generatory prądotwórcze, które w przypadku braku zasilania z sieci zapewnią źródło prądu (tutaj już jak najbardziej mamy wpływ na niezawodność i ciągłość zasilania). Poszczególne elementy systemu zasilania profesjonalnego centrum przetwarzania danych powinny być zlokalizowane w osobnych pomieszczeniach. Więcej o zasilaniu pisałem na stronie Zasilanie serwerowni w dziale Praktyka.

Poniżej zdjęcie zespołu generatorów prądotwórczych...

02

... oraz baterii zasilaczy UPS.

SAPDC03

Do schłodzenia dużej ilości ciepła generowanej przez urządzenia IT potrzebny jest wysoko wydajny system chłodzenia - standardowo oparty o klimatyzację precyzyjną. Z reguły jednostki wewnętrzne znajdują się w pomieszczeniu serwerowni (szczególnie w coraz częściej stosowanych klimatyzatorach rzędowych) lub w pomieszczeniu bezpośrednio przylegającym do serwerowni.

Poniżej zdjęcie wymienników ciepła zlokalizowanych na dachu omawianego centrum przetwarzania danych firmy SAP. Zgodnie z zamieszczonym na stronie źródłowej opisem, w przypadku wysokich temperatur zewnętrznych, wymienniki widoczne na zdjęciu są spryskiwane wodą w celu zwiększenia wydajności chłodzenia.

SAPDC05

Dalsza część systemu chłodzenia - zbiorniki buforowe (6 sztuk po 50 tysięcy litrów, razem 300 tysięcy litrów wody lodowej o temperaturze 4°C), które w przypadku awarii jednostek zewnętrznych (pokazanych na zdjęciu powyżej) zapewnią przez pewien czas źródło chłodu systemu. Zbiorniki takie również znajdują się w specjalnie do tego przeznaczonym pomieszczeniu.

SAPDC06

Nawet system gaszenia gazem w profesjonalnym centrum przetwarzania danych powinien mieć swoją, wydzieloną przestrzeń. W przypadku większego obiektu ilość środka gaśniczego, a co za tym idzie butli, będzie znacząca. Poniżej zdjęcie obrazujące tą kwestię.

SAPDC07

Pomieszczenie telekomunikacyjne jest miejscem gdzie świat zewnętrzny (Internet) łączy się za pomocą zaawansowanych routerów itp. ze światem wewnętrznym - urządzeniami i systemami informatycznymi obsługiwanymi przez centrum przetwarzania danych. Poniżej zdjęcie takiego pomieszczenia, w tym przypadku odpowiednio podzielonego zgodnie z potrzebami firmy SAP.

SAPDC08

Teren wokół centrum danych powinien być monitorowany, tak aby ochrona stale miała "oko" na to co się dzieje poza jego murami.

SAPDC10

Nad prawidłową pracą wszystkich elementów centrum przetwarzania danych stale musi pracować obsługa, która musi mieć do tego odpowiednie warunki. Stąd konieczność zapewnienia pomieszczenia, które tutaj nazwane zostało "stacją kontroli". W przeciwieństwie do serwerowni, klimat tutaj musi być przyjazny dla człowieka.

SAPDC09

Przedstawiona tutaj budowa (podział funkcjonalny) centrum przetwarzania danych jest jedną z możliwości jakie można zastosować. Jest on  bliski modelowi przedstawionemu w normie ANSI/TIA-942. Zasadność poszczególnych pomieszczeń i systemów oraz podziałów funkcjonalnych musi być każdorazowo analizowana na etapie projektowania data center pod kątem jego przeznaczenia (cloud computing, kolokacja itp.), wymaganego poziomu dostępności i niezawodności lub konkretnej klasy TIER.

Materiał zdjęciowy:

[1]. The SAP Data Center
      http://www.sapdatacenter.com/
      http://www.sapdatacenter.com/article/data_center_functionality/#!