Ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym (system gaszenia gazem serwerowni), przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. W tym wpisie omawiam systemy gaszenia gazem (SUG). Wspomniałem o nim wcześniej w dziale praktyka.

Butla instalacji SUG ze środkiem gaśniczym w serwerowni
Butla instalacji SUG ze środkiem gaśniczym w serwerowni

Stałe urządzenia gaśnicze oparte o środki gaśnicze HFC227ea (FM®200[1]) lub FK-5-12 (C6F12O, NovecTM1230[2]) składają się z jednej lub wielu butli zawierających środek gaśniczy, zaworów z wyzwalaczami, orurowania oraz dysz. Ilość środka gaśniczego dobierana jest do kubatury pomieszczenia, przy założeniu odpowiedniego bezpiecznego stężenia, określonego przez polskie i europejskie normy. Elementem detekcyjnym oraz sterującym stałe urządzenie gaśnicze jest centrala automatycznego gaszenia, pełniąca również rolę systemu alarmu pożaru (SAP) np. IGNIS 1520M produkcji Polon-Alfa. Centrala posiada dwie linie detekcyjne, do których podłączone są czujki pożarowe, umieszczone we wszystkich strefach serwerowni – pod podłogą technologiczną, nad sufitem podwieszanym oraz przestrzeni głównej pomieszczenia. Linie działają w trybie koincydencji, co oznacza, że wysterowanie uruchomienia procedury gaszenia następuje dopiero w momencie wykrycia dymu poprzez czujki z dwóch różnych linii dozorowych. Zapobiega to wyzwoleniu środka gaśniczego w przypadku fałszywego alarmu.

Wykrycie dymu przez jedną z czujek spowoduje wywołanie alarmu I stopnia i uruchomienie sygnalizacji wizualno-optycznej. W tym momencie użytkownik może podejść do serwerowni i sprawdzić co spowodowało uruchomienie systemu pożarowego. Jeśli dym zostanie wykryty przez przynajmniej dwie czujki, ale pochodzące z różnych linii dozorowych, nastąpi wywołanie alarmu II stopnia i rozpocznie się procedura gaszenia, która poprzedzona będzie sygnalizacją optyczną plafonów znajdujących się nad wejściem i wyjściem z serwerowni, informujących o nakazie opuszczenia pomieszczenia oraz zakazie wchodzenia do jego wnętrza. Po upływie określonego czasu nastąpi wyzwolenie środka gaśniczego i ugaszenie zarzewia pożaru.

Aby zarzewie pożaru zostało skutecznie ugaszone, środek gaśniczy powinien utrzymywać się w pomieszczeniu przez przynajmniej 10 min. (tzw. czas retencji), dlatego też, bardzo ważne jest zapewnienie na etapie wykonywania serwerowni odpowiedniej szczelności pomieszczenia oraz skoordynowanie pozostałych systemów (np. wentylacji, klimatyzacji, zasilania) w celu ich odpowiedniego zadziałania w czasie procedury gaszenia. Szczelność pomieszczenia badana jest przed oddaniem systemu do użytkowania poprzez wykonanie pomiarów (tzw. Door Fan Test), których zadaniem jest potwierdzenie, czy spełniony jest warunek utrzymywania się odpowiedniego ciśnienia przez określony czas w chronionym pomieszczeniu.

Ze względu na znaczny wzrost ciśnienia w czasie wyzwolenia środka gaśniczego, pomieszczenie serwerowni wyposażane jest w klapę odciążającą (dekompresującą), która pozwoli na rozładowanie ciśnienia w pomieszczeniu w momencie wyzwolenia środka gaśniczego. Klapa montowana jest w ścianie zewnętrznej serwerowni i zabezpieczana środkami biernej ochrony przeciwpożarowej.

W serwerowni oraz przed jej wejściem montuje się przyciski, umożliwiające ręczne uruchomienie (START GASZENIA) lub wstrzymanie (STOP GASZENIA) akcji gaśniczej.

W celu określenia wymaganej ilości środka gaśniczego, oraz odpowiedniej ilości i umiejscowienia dysz, orurowania, czujek pożarowych oraz procedur działania podczas wystąpienia pożaru, konieczne jest wykonanie projektu wykonawczego instalacji automatycznego gaszenia (SUG/SAP), zatwierdzonego przez rzeczoznawcę ds. ppoż.

Podsumowując, systemy automatycznego gaszenia, oparte o gazowe środki gaśnicze (systemy gaszenia gazem serwerowni), zapewniają wysoką skuteczność gaszenia, bezpieczeństwo przebywających w pomieszczeniu osób oraz brak jakichkolwiek zanieczyszczeń czy zniszczeń sprzętu IT i samego pomieszczenia, powstających w wyniku działania konwencjonalnych systemów gaśniczych (gaszenie wodą, gaśnicami proszkowymi, itp.).

-------------------------------

[1] FM®200 jest nazwą handlową środka C3HF7 (HFC227ea wg ISO) spółki DuPontTM
[2] NovecTM1230 jest nazwą handlową środka C6F12O  (FK-5-12 wg ASHRAE) spółki 3M

Chłodzenie w centrach danych jest podstawą ich sprawnego funkcjonowania. Wysoka temperatura zwiększa bowiem ryzyko awarii, co wiąże się z ewentualną utratą danych. Obecnie rozwój branży IT jest nierozerwalnie związany z coraz większym wykorzystaniem energii elektrycznej, a wpływ jaki ma na środowisko naturalne, jest jednym z najbardziej komentowanych zagadnień ostatnich lat. Proekologiczne rozwiązania stosowane w serwerowniach i centrach danych, to już nie tylko trend, ale sposób na duże oszczędności i stworzenie obiektu przyjaznego środowisku. Rosnące zużycie energii oraz wzrost jej cen powoduje, że utrzymanie centrów danych drożeje. Zapewnienie optymalnej temperatury w serwerowni ma kluczowe znaczenie dla kosztów utrzymania obiektu. Poniżej przedstawiam kilka podstawowych kroków do zmniejszenia związanych z tym kosztów.

Krok pierwszy - pomiar i analiza zużycia energii elektrycznej

Pierwszym krokiem do zminimalizowania kosztów jest pomiar i ocena zużycia energii, potrzebnej do funkcjonowania całego obiektu. Do oceny efektywności energetycznej centrum danych można posłużyć się wskaźnikiem PUE (z j. ang. Power Usage Effectiveness). Jest to iloraz mocy pobieranej przez wyposażenie zainstalowane w centrum danych, oraz moc potrzebną do funkcjonowania sprzętu IT (serwery, przełączniki, pamięci masowe i inne urządzenia). Współczynnik będzie tym bardziej korzystny, im bliższy będzie wartości 1. Metoda ta pozwala określić ile energii przypada na działanie wyposażenia, a ile na urządzenia IT. By uzyskać rzeczywiste wyniki, warto przeprowadzać to badanie przez cały rok.

Krok drugi - optymalizacja przepływu powietrza

Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni
Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni

Właściwy przepływ powietrza jest konieczny, by utrzymać odpowiednią temperaturę w serwerowni. Wzrastająca wydajność obliczeniowa sprzętu generuje większe ilości gorącego powietrza, które należy w sposób odpowiedni odprowadzać. Jednym z problemów jest powstawanie tzw. gorących punktów (z j. ang. host spot), czyli miejsc, w których kumuluje się duża ilość ciepła. Inną przyczyną, która istotnie wpływa na pracę centrum danych i większy pobór energii elektrycznej, jest mieszanie się gorącego powietrza z chłodnym. Często zdarza się to, kiedy w szafie rack są puste miejsca, przez które ucieka powietrze. Rozwiązaniem może być wówczas zamontowanie w szafach paneli maskujących i oddzielenie fizyczne stref chłodu i ciepła. W charakteryzacji przepływu powietrza w serwerowni (szczególnie na etapie projektowania) pomoże zastosowanie modelowania obiegu  powietrza, do którego wykorzystuje się programy komputerowe typu CFD (z j. ang. Computational Fluid Dynamics).

Krok trzeci - zwiększenie temperatury wewnątrz serwerowni

Sposobem na obniżenie kosztów związanych z eksploatacją serwerowni jest również podwyższenie temperatury w strefach zimnych pomiędzy szafami IT w serwerowni. Serwery mogą bezpiecznie pracować w temperaturze nawet 27 stopni Celcjusza, co potwierdzone jest przez specjalistyczne instytucje i producentów sprzętu.

Krok czwarty -  wykorzystanie energooszczędnego sposobu chłodzenia

Sprzyjające warunki atmosferyczne wykorzystuje się również do schłodzenia serwerowni za pomocą systemów oszczędnego chłodzenia (tzw. free cooling). Dzięki tej metodzie możemy odprowadzić ciepło bez użycia sprężarek chłodniczych, wykorzystując jedynie niską temperaturę na zewnątrz. W naszych warunkach klimatycznych sprawdza się z powodzeniem, bo free cooling może pracować nawet przez kilka miesięcy w ciągu roku. Dzięki temu znacznie wpływa na zmniejszenie poboru prądu.

Wymienione tutaj sposoby optymalizacji chłodzenia serwerowni i idącej za tym redukcji kosztów utrzymania centrum danych nie wyczerpują zagadnienia. Część z nich jest bardzo łatwa i niedroga do wykonania w już istniejącej serwerowni (zwiększenie temperatury w serwerowni, separacja stref chłodu i ciepła, zastosowanie paneli maskujących w szafach serwerowych), natomiast zastosowanie free coolingu wymaga już sporych nakładów finansowych i wykonania prac instalacyjnych.

Udało mi się natrafić na bardzo fajny filmik przedstawiający nagranie wnętrza centrum danych Google'a zlokalizowanego w Północnej Karolinie. Prezenter CBS twierdzi, że to pierwszy przypadek wpuszczenia do wnętrza kamer.

Materiał bardzo fajnie (chociaż pobieżnie i krótko) pokazuje poszczególne części data center. Na przykład pokaźne pomieszczenie sieciowe ("networking room") - część w której odbywa się cały proces przełączania pomiędzy serwerami oraz siecią internet.

Wielka serwerownia ("zapierająca dech w piersiach" prezenterki) hostująca 55 200 serwerów wykonanych według myśli inżynierów Google'a, czyli na bazie elementów, z których produkuje się komputery PC. (Warto tuja wyjaśnić, że podejście jest zbieżne z tym zaproponowanym przez Facebooka i opisane w dokumentacji "Open Compute Project". Pamiętajmy jednak, że Google jako pierwszy na taką skalę zaczął stosować serwery zbudowane z komponentów klasy PC. Nie był jednak tak dobroduszny i nie udostępnił ich specyfikacji.). Widać na nagraniu jak łatwa jest wymiana elementów lub całego serwera, bez żadnego wpływu na działanie systemów.

Film poświęca sporo uwagi kwestii energooszczędności obiektu i sposobom w jaki została zwiększona. Na przykład mowa jest o podniesieniu temperatury wewnątrz serwerowni z 68 do 80 stopni F (z 20 na około 27 stopni C). Dodatkowo zamiast tradycyjnego systemu klimatyzacji zastosowano ewaporacyjny system chłodzenia. Dzięki tym i innym innowacjom wskaźnik PUE dla tego centrum danych wynosi (jak widać na nagraniu) 1,100.

Dodatkowo prezenterka zapowiada, że w planach Google'a jest udostępnienie zdjęć i nagrań z wszystkich 12 centrów danych jakie obecnie posiada gigant z Doliny Krzemowej.

1

12 lipca 2013 roku Facebook uruchomił oficjalnie swoje najnowsze data center o powierzchni 27 tysięcy m2. Jest to już drugie centrum danych po tym zlokalizowanym w Prineville w stanie Oregon (USA) zrealizowane zgodnie z ideą otwartego standardu budowy ośrodków obliczeniowych tzw. "Open Compute Project" (OPC) zainicjowanego i rozwijanego właśnie przez Facebooka. Tym razem jednak jest to pierwsze data center właściciela największego portalu społecznościowego na świecie poza Stanami Zjednoczonymi i znajduje się w szwedzkiej miejscowości Lulea położonej na wysokości geograficznej gdzie w przeważającym czasie panuje chłodna  atmosfera.

Obiekt ten jest przykładem całkowicie nowoczesnego, łamiącego wiele standardów i ograniczających zaleceń podejścia do projektowania, budowy i wyposażenia centrów danych. Cechuje się niezwykle wysoką wydajnością energetyczną (PUE) między innymi dzięki wykorzystaniu zewnętrznego powietrza do chłodzenia oraz energii elektrycznej pochodzącej w 100% z lokalnych źródeł odnawialnych.  Moim zdaniem jest to dzieło sztuki inżynierii data center i jestem pełen podziwu dla innowacyjności inżynierów Facebooka.

Poniższy obrazek przedstawia widok z góry na obiekt.

Widok z góry na centrum danych zlokalizowanego w Lulei
Widok z góry na centrum danych zlokalizowanego w Lulei

 

Lokalizacja taka została wybrana celowo tak aby jak najwięcej dni w roku serwery hostowane w serwerowni zlokalizowanej w tym centrum danych były chłodzone zewnętrznym powietrzem bez konieczności zużywania dużej ilości prądu - jak w klasycznym sposobie chłodzenia za pomocą jednostek klimatyzacji precyzyjnej. Zgodnie z założeniami Open Compute Project zewnętrzne powietrze jest bezpośrednio zasysane przez ogromne wentylatory do wnętrza budynku gdzie przechodząc przez ścianę filtrów jest oczyszczane z wszelkich nieczystości oraz odpowiednio nawilżane za pomocą systemu zraszającego. Nadmiar wilgoci również jest odbierany przez filtry a następnie tłoczony do serwerowni, gdzie zasysane jest przez serwery. Ogrzane powietrze po przejściu przez te urządzania jest częściowo wykorzystywane do ogrzewania biur znajdujących się w budynku oraz (w większości) wydmuchiwane na zewnątrz. W przypadku, kiedy temperatura na zewnątrz jest niższa niż zadana temperatura minimalna pracy serwerowni, część ciepłego powietrza jest przekierowana do przestrzeni, gdzie opisany proces się zaczyna.

Najlepiej ilustruje to poniższy schemat zaczerpnięty z dokumentu "Data Center Mechanical Specifications" należącego do zbioru Open Compute Project.

Schemat przepływu powietrza zgodnie z Open Compute Project
Schemat przepływu powietrza

 

I zdjęcia przedstawiające jak opisany system przepływu powietrza został wykonane w najnowszym centrum danych Facebooka.

FB Lulea AF 01

FB Lulea AF 02

FB Lulea AF 03

FB Lulea AF 04

FB Lulea AF 05

FB Lulea AF 06

FB Lulea AF 07

 

W kolejnej części przedstawię i omówię kwestię szaf serwerowych i samych serwerów, które również są wyjątkowe jak codzienne realia standardowych centrów danych.

Źródło:
https://www.facebook.com/luleaDataCenter
http://www.opencompute.org/projects/data-center-design/

 

Coraz częściej przedsiębiorcy przekonują się, że bez solidnego zaplecza IT nie jest już możliwe profesjonalne prowadzenie biznesu. Jeżeli przedsiębiorstwo potrzebuje dużej mocy obliczeniowej systemu informatycznego, a standardowe usługi firm hostingowych są niewystarczające, rozwiązaniem może być własna serwerownia. Poniżej przedstawiam w skróconej formie proces realizacji serwerowni w 10 podstawowych krokach.

What do they compute at Night ?
Arthur40A / Foter / CC BY-SA

To inwestycja, dzięki której możemy nie tylko właściwie zabezpieczyć zasoby firmowych danych, ale również mieć kontrolę nad sprzętem, który się w niej znajduje. Pozwala to uniknąć opóźnień czy zastojów, związanych z korzystaniem z usług pośredników. Ponadto w niektórych przypadkach posiadanie własnej serwerowni w dłuższej perspektywie czasu opłaca się bardziej, niż np. korzystanie z kolokacji. W tym wpisie przedstawiam 10 podstawowych kroków do budowy niewielkiej serwerowni biurowej.

Po pierwsze: bezpieczeństwo i wybór miejsca

Najczęstszym powodem podjęcia decyzji o realizacji serwerowni jest realne zagrożenie dla stabilności pracy sprzętu informatycznego. Zdarza się to np. w sytuacjach, gdy liczba hostowanego sprzętu przekracza możliwości obecnej infrastruktury. Wybudowanie serwerowni, która zapewni odpowiednie warunki może być także konieczne w sytuacji, kiedy planujemy rozbudować system IT. Na jej potrzeby można zaadoptować budynek biurowy, w którym na etapie projektu nie przewidziano takiego pomieszczenia. Jeżeli dotychczasowa serwerownia była głównym punktem dystrybucyjnym sieci komputerowej, warto wybrać pomieszczenia, które bezpośrednio z nią sąsiadują.

Niemniej ważne jest opracowanie koncepcji, która będzie prezentować rozwiązanie kluczowych problemów infrastruktury informatycznej w firmie. Dokument powinien zawierać również  szacunkowy koszt proponowanego rozwiązania (sprzęt, instalacja itp.).

[Więcej informacji o koncepcji serwerowni

Po drugie: projekt

Następnym krokiem realizacji serwerowni jest wykonanie dokumentacji projektowej. Eksperci z odpowiednimi uprawnieniami wykonują projekty branżowe, zgodnie z wytycznymi prawa budowlanego i odpowiednimi normami. Po zaakceptowaniu projektów przez inwestora, można przejść do kolejnego etapu.

[Więcej o projektach - projekt budowlany serwerowni, projekty wykonawcze serwerowni]

Po trzecie: pozwolenia na budowę

Już na etapie projektowania inwestycji, warto zadbać o  uzyskanie niezbędnych pozwoleń na budowę. Mogą one być wymagane z wielu powodów, np.:

  • Wybrane pomieszczenie było wcześniej pomieszczeniem biurowym, natomiast nowe będzie pomieszczeniem technicznym, dlatego też zaistniała potrzeba zmiany sposobu jego użytkowania;
  • System gaszenia gazem oznaczał zmianę zabezpieczeń przeciwpożarowych części budynku i wymagał uzgodnienia z rzeczoznawcą do spraw ppoż.;
  • W trakcie ekspertyzy konstrukcyjnej okazało się, że strop pod część urządzeń wymaga konstrukcji wsporczej;

[Więcej informacji o pozwoleniu na budowę]

 Po czwarte:  prace budowlane

Pamiętajmy, że wszelkie prace budowlane powinniśmy zacząć od całkowitego opróżnienia pomieszczenia, zdemontowania wykładzin, a zwłaszcza ścian, które projektanci zalecają wymienić na odporne na ogień. Demontuje się również instalacje centralnego ogrzewania, tak aby nie dopuścić do niespodziewanego wycieku wody. Równie ważna jest wymiana drzwi na bardziej wytrzymałe, zapewniające większe bezpieczeństwo serwerowni.

Kolejnym etapem realizacji serwerowni będzie położenie podłogi technicznej (jeśli jest wymagana), odpowiednio podniesionej, wg wytycznych projektanta. Jeżeli pomieszczenie ma okna, należy je wymienić na te o podwyższonym standardzie bezpieczeństwa. Dodatkowo oklejone zostają folią antyrefleksyjną, która ogranicza przenikanie promieni słonecznych. Dla wzmocnienia efektu można zastosować rolety o tej samej funkcjonalności.

[Więcej informacji o budowie serwerowni]

Water Cooling
Tim Dorr / Foter / CC BY-SA

Po piąte: instalacja klimatyzacji

System klimatyzacji serwerowni wymaga wyprowadzenia instalacji poza pomieszczenie adaptowane pomieszczeni. Można to zrobić np. kierując ją przez korytarz i klatkę schodową lub świetlik, aż na dach budynku. Szafy klimatyzacji, które posiadają nawiew pod podłogą technicznąustawia się na specjalnie przygotowanych ramach. W serwerowni wymagana również jest instalacja odprowadzenia skroplin oraz doprowadzenia wody bieżącej do nawilżacza.

[Więcej informacji o chłodzeniu i wentylacji serwerowni]

Po szóste: instalacje elektryczne

Montując instalacje elektryczne w danym obiekcie, należy doprowadzić wewnętrzną linię zasilania z głównej rozdzielni budynkowej, np. znajdującej się w piwnicy. Dla obniżenia kosztów warto wykorzystać istniejące trasy kablowe w celu doprowadzenia zasilania do pomieszczenia serwerowni. Następny etap to wykonanie w pomieszczeniu rozdzielni serwerowni oraz rozdzielni UPS. Ostatnim krokiem będzie zainstalowanie zasilacza awaryjnego np. o odpowiedniej mocy i realizacja zasilania szaf serwerowych.

[Więcej informacji o zasilaniu serwerowni]

Po siódme: system przeciwpożarowy

System przeciwpożarowy budowany jest najczęściej z podsystemów. Do najważniejszych należą:

  •  Standardowa sygnalizacja pożaru kontrolowana przez centralkę alarmową, do której podłącza się kilka konwencjonalnych czujek dymu;
  • System gaszenia gazem sterowany przez wspomnianą centralkę, zbudowany z butli z gazem oraz systemu rur rozprowadzających środek gaśniczy w odpowiednie miejsca;
  • System bardzo wczesnej detekcji dymu i jego charakterystyczne, czerwone rurki oplatające pomieszczenie;

 [Więcej informacji o systemach przeciwpożarowych serwerowni]

Po ósme: instalacje systemów bezpieczeństwa

Dla zapewnienia większego poziomu bezpieczeństwa warto zaprojektować i wykonać systemy kontroli dostępu (zwora elektromagnetyczna kontrolowana przez czytnik linii papilarnych), sygnalizację włamania i napadu (czujki otwarcia drzwi, rozbicia szkła, ruchu itp.) oraz monitoring wizyjny (kilka kamer wewnątrz pomieszczenia i na zewnątrz). Aby móc zdalnie kontrolować warunki środowiskowe oraz parametry pracy zainstalowanych urządzeń i systemów warto wykonać instalację BMS z interfejsem WWW oraz powiadomieniami SMS.

 [Więcej informacji o systemach bezpieczeństwa i systemie monitoringu środowiska i urządzeń]

Po dziewiąte:  migracja sprzętu

Kiedy już wszystko zostało sprawdzone i uruchomione można rozpocząć proces przenoszenia sprzętu serwerowego z poprzedniego pomieszczenia. Dobrym rozwiązaniem jest wykonanie tego typu prac np. w weekend, kiedy system jest nieużywany. Jeżeli sprzęt jest na gwarancji producenta cała operacja migracji wymaga odpowiedniego zgłoszenia i wykupienia nadzoru gwarancyjnego. Na koniec etapu wskazane jest przeprowadzenie kilku testów (wyłączenie zasilania, praca klimatyzatorów itp.).

Po dziesiąte: dokumentacja

Formalnym zakończeniem inwestycji jest dostarczenie przez firmę realizującą projekt budowy dokumentacji powykonawczej, która dokładnie obrazuje całość wykonanego zadania. Jeżeli na etapie budowy wprowadzono zmiany, których nie uwzględniał projekt początkowy, to należy je nanieść w dokumentacji powykonawczej. Ostatnim etapem jest podpisanie protokołu z zakończenia prac.