Budowa centrum przetwarzania danych, czyli z jakich części składa się data center? Wyjaśniam na kolejnym przykładzie. Kolejnym, ponieważ zagadnienie podziału data center poruszyłem przy okazji pisania mojej definicji centrum danych oraz analizy różnicy pomiędzy serwerownią a centrum danych.

Mimo, iż jestem zwolennikiem używania pojęcia "centrum danych" zamiast "centrum przetwarzania danych" (moje uzasadnienie), wygląda na to, że to drugie staje się bardziej popularne od pierwszego. Jestem przez to zmuszony do używania również nazwy "centrum przetwarzania danych", ponieważ w świecie Google'a mój blog może być pominięty dla osób szukających wiedzy pod taką frazą. Wspomnę tylko szybko, że w obu przypadkach piszę o tym samych, czyli o data center.

Tak więc tym razem przedstawiam podział funkcjonalny - budowę centrum przetwarzania danych na przykładzie modelu obiektu firmy SAP [1], bez powtarzania informacji, które można znaleźć w powyżej podlinkowanych treściach.

Jak zawsze, do omawiania budowy centrum przetwarzania danych najlepiej posługiwać się modelem komputerowym, ponieważ nie sposób wykonać zdjęcia przekroju istniejącego centrum danych. Poniżej przedstawiam obraz takiego modelu. Dodatkowo zostały na nim opisane poszczególne systemy i części funkcjonalne, które są umiejscowione w osobnych pomieszczeniach, co jest podstawową cechą profesjonalnego (modelowego) data center.

mainSAPDC

Głównym i najważniejszym pomieszczeniem centrum przetwarzania danych jest serwerownia (server room). To tutaj cały proces przetwarzania (i nie tylko) ma miejsce. Tutaj w odpowiednich warunkach klimatycznych i fizycznych pracują urządzenia IT. Poniżej zdjęcie wykonane w jednym z rzędów pomiędzy szafami IT (szafami "rack").

SAPDC01

Aby sprzęt IT w serwerowni mógł niezawodnie, ciągle i bezpiecznie pracować niezbędny jest odpowiednio zaprojektowany system zasilania. Oprócz zasilania z sieci elektroenergetycznej (na niezawodność której, nie mamy wpływu) niezbędne jest wyposażenie centrum przetwarzania danych w zasilacze bezprzerwowe UPS (zabezpieczające min. przed chwilowymi skokami i zanikami napięcia) oraz  generatory prądotwórcze, które w przypadku braku zasilania z sieci zapewnią źródło prądu (tutaj już jak najbardziej mamy wpływ na niezawodność i ciągłość zasilania). Poszczególne elementy systemu zasilania profesjonalnego centrum przetwarzania danych powinny być zlokalizowane w osobnych pomieszczeniach. Więcej o zasilaniu pisałem na stronie Zasilanie serwerowni w dziale Praktyka.

Poniżej zdjęcie zespołu generatorów prądotwórczych...

02

... oraz baterii zasilaczy UPS.

SAPDC03

Do schłodzenia dużej ilości ciepła generowanej przez urządzenia IT potrzebny jest wysoko wydajny system chłodzenia - standardowo oparty o klimatyzację precyzyjną. Z reguły jednostki wewnętrzne znajdują się w pomieszczeniu serwerowni (szczególnie w coraz częściej stosowanych klimatyzatorach rzędowych) lub w pomieszczeniu bezpośrednio przylegającym do serwerowni.

Poniżej zdjęcie wymienników ciepła zlokalizowanych na dachu omawianego centrum przetwarzania danych firmy SAP. Zgodnie z zamieszczonym na stronie źródłowej opisem, w przypadku wysokich temperatur zewnętrznych, wymienniki widoczne na zdjęciu są spryskiwane wodą w celu zwiększenia wydajności chłodzenia.

SAPDC05

Dalsza część systemu chłodzenia - zbiorniki buforowe (6 sztuk po 50 tysięcy litrów, razem 300 tysięcy litrów wody lodowej o temperaturze 4°C), które w przypadku awarii jednostek zewnętrznych (pokazanych na zdjęciu powyżej) zapewnią przez pewien czas źródło chłodu systemu. Zbiorniki takie również znajdują się w specjalnie do tego przeznaczonym pomieszczeniu.

SAPDC06

Nawet system gaszenia gazem w profesjonalnym centrum przetwarzania danych powinien mieć swoją, wydzieloną przestrzeń. W przypadku większego obiektu ilość środka gaśniczego, a co za tym idzie butli, będzie znacząca. Poniżej zdjęcie obrazujące tą kwestię.

SAPDC07

Pomieszczenie telekomunikacyjne jest miejscem gdzie świat zewnętrzny (Internet) łączy się za pomocą zaawansowanych routerów itp. ze światem wewnętrznym - urządzeniami i systemami informatycznymi obsługiwanymi przez centrum przetwarzania danych. Poniżej zdjęcie takiego pomieszczenia, w tym przypadku odpowiednio podzielonego zgodnie z potrzebami firmy SAP.

SAPDC08

Teren wokół centrum danych powinien być monitorowany, tak aby ochrona stale miała "oko" na to co się dzieje poza jego murami.

SAPDC10

Nad prawidłową pracą wszystkich elementów centrum przetwarzania danych stale musi pracować obsługa, która musi mieć do tego odpowiednie warunki. Stąd konieczność zapewnienia pomieszczenia, które tutaj nazwane zostało "stacją kontroli". W przeciwieństwie do serwerowni, klimat tutaj musi być przyjazny dla człowieka.

SAPDC09

Przedstawiona tutaj budowa (podział funkcjonalny) centrum przetwarzania danych jest jedną z możliwości jakie można zastosować. Jest on  bliski modelowi przedstawionemu w normie ANSI/TIA-942. Zasadność poszczególnych pomieszczeń i systemów oraz podziałów funkcjonalnych musi być każdorazowo analizowana na etapie projektowania data center pod kątem jego przeznaczenia (cloud computing, kolokacja itp.), wymaganego poziomu dostępności i niezawodności lub konkretnej klasy TIER.

Materiał zdjęciowy:

[1]. The SAP Data Center
      http://www.sapdatacenter.com/
      http://www.sapdatacenter.com/article/data_center_functionality/#!

Kontynuując tematykę zabezpieczeń przeciwpożarowych serwerowni zamieszczam odnośnik do krótkiego filmiku prezentującego montaż Stałego Urządzenia Gaśniczego. Co prawda przedstawiony montaż odbywa się w pomieszczeniu archiwum, niemniej jednak sposób wykonywania instalacji jest adekwatny do przypadku serwerowni. Oczywiście szczegóły projektowe i elementy instalacji (szczególnie prowadzenie rur i lokalizacja czujek) będą się różniły, choćby ze względu na obecność technicznej podłogi podniesionej, sufitu podwieszanego czy zabudowy przestrzeni pomiędzy szafami (strefy chronione).

Materiał jest własnością firmy Pliszka i dobrze, że został przez nią umieszczony w Internecie, ponieważ brakuje takich przykładów realizacji w Polsce, wykonywanych przez polskie firmy.

 

Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.

Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.

Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.

tsps
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.

Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.

W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.

test_szczelnosci_pomieszczenia_serwerowniNa skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.

Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".

Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.

Przykład instalacji wczesnej detekcji dymu w serwerowni
Przykład instalacji wczesnej detekcji dymu w serwerowni

W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.

W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.

Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).

W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.

Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).

Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.

Ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym (system gaszenia gazem serwerowni), przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. W tym wpisie omawiam systemy gaszenia gazem (SUG). Wspomniałem o nim wcześniej w dziale praktyka.

Butla instalacji SUG ze środkiem gaśniczym w serwerowni
Butla instalacji SUG ze środkiem gaśniczym w serwerowni

Stałe urządzenia gaśnicze oparte o środki gaśnicze HFC227ea (FM®200[1]) lub FK-5-12 (C6F12O, NovecTM1230[2]) składają się z jednej lub wielu butli zawierających środek gaśniczy, zaworów z wyzwalaczami, orurowania oraz dysz. Ilość środka gaśniczego dobierana jest do kubatury pomieszczenia, przy założeniu odpowiedniego bezpiecznego stężenia, określonego przez polskie i europejskie normy. Elementem detekcyjnym oraz sterującym stałe urządzenie gaśnicze jest centrala automatycznego gaszenia, pełniąca również rolę systemu alarmu pożaru (SAP) np. IGNIS 1520M produkcji Polon-Alfa. Centrala posiada dwie linie detekcyjne, do których podłączone są czujki pożarowe, umieszczone we wszystkich strefach serwerowni – pod podłogą technologiczną, nad sufitem podwieszanym oraz przestrzeni głównej pomieszczenia. Linie działają w trybie koincydencji, co oznacza, że wysterowanie uruchomienia procedury gaszenia następuje dopiero w momencie wykrycia dymu poprzez czujki z dwóch różnych linii dozorowych. Zapobiega to wyzwoleniu środka gaśniczego w przypadku fałszywego alarmu.

Wykrycie dymu przez jedną z czujek spowoduje wywołanie alarmu I stopnia i uruchomienie sygnalizacji wizualno-optycznej. W tym momencie użytkownik może podejść do serwerowni i sprawdzić co spowodowało uruchomienie systemu pożarowego. Jeśli dym zostanie wykryty przez przynajmniej dwie czujki, ale pochodzące z różnych linii dozorowych, nastąpi wywołanie alarmu II stopnia i rozpocznie się procedura gaszenia, która poprzedzona będzie sygnalizacją optyczną plafonów znajdujących się nad wejściem i wyjściem z serwerowni, informujących o nakazie opuszczenia pomieszczenia oraz zakazie wchodzenia do jego wnętrza. Po upływie określonego czasu nastąpi wyzwolenie środka gaśniczego i ugaszenie zarzewia pożaru.

Aby zarzewie pożaru zostało skutecznie ugaszone, środek gaśniczy powinien utrzymywać się w pomieszczeniu przez przynajmniej 10 min. (tzw. czas retencji), dlatego też, bardzo ważne jest zapewnienie na etapie wykonywania serwerowni odpowiedniej szczelności pomieszczenia oraz skoordynowanie pozostałych systemów (np. wentylacji, klimatyzacji, zasilania) w celu ich odpowiedniego zadziałania w czasie procedury gaszenia. Szczelność pomieszczenia badana jest przed oddaniem systemu do użytkowania poprzez wykonanie pomiarów (tzw. Door Fan Test), których zadaniem jest potwierdzenie, czy spełniony jest warunek utrzymywania się odpowiedniego ciśnienia przez określony czas w chronionym pomieszczeniu.

Ze względu na znaczny wzrost ciśnienia w czasie wyzwolenia środka gaśniczego, pomieszczenie serwerowni wyposażane jest w klapę odciążającą (dekompresującą), która pozwoli na rozładowanie ciśnienia w pomieszczeniu w momencie wyzwolenia środka gaśniczego. Klapa montowana jest w ścianie zewnętrznej serwerowni i zabezpieczana środkami biernej ochrony przeciwpożarowej.

W serwerowni oraz przed jej wejściem montuje się przyciski, umożliwiające ręczne uruchomienie (START GASZENIA) lub wstrzymanie (STOP GASZENIA) akcji gaśniczej.

W celu określenia wymaganej ilości środka gaśniczego, oraz odpowiedniej ilości i umiejscowienia dysz, orurowania, czujek pożarowych oraz procedur działania podczas wystąpienia pożaru, konieczne jest wykonanie projektu wykonawczego instalacji automatycznego gaszenia (SUG/SAP), zatwierdzonego przez rzeczoznawcę ds. ppoż.

Podsumowując, systemy automatycznego gaszenia, oparte o gazowe środki gaśnicze (systemy gaszenia gazem serwerowni), zapewniają wysoką skuteczność gaszenia, bezpieczeństwo przebywających w pomieszczeniu osób oraz brak jakichkolwiek zanieczyszczeń czy zniszczeń sprzętu IT i samego pomieszczenia, powstających w wyniku działania konwencjonalnych systemów gaśniczych (gaszenie wodą, gaśnicami proszkowymi, itp.).

-------------------------------

[1] FM®200 jest nazwą handlową środka C3HF7 (HFC227ea wg ISO) spółki DuPontTM
[2] NovecTM1230 jest nazwą handlową środka C6F12O  (FK-5-12 wg ASHRAE) spółki 3M