Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.
Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.
Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.
Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.
W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.
Na skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.
Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".
Artykuł przedstawia przykład modelowania chłodzenia serwerowni, wykonanego za pomocą specjalistycznego oprogramowania typu CFD (ang. computational fluid dynamics), w celu przeanalizowania poprawności projektowanego systemu chłodzenia urządzeń w pomieszczeniu serwerowni.
Omawiany przypadek modelowania wykonano na potrzeby związane z projektowaniem serwerowni znajdującej się centrum danych, którego użyłem jako przykładu w innym moim artykule, do przeczytania którego namawiam.
Dla przypomnienia, analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.
Klimatyzacja pomieszczenia serwerowni i UPS-owni
Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.
Przy projektowaniu systemu klimatyzacji serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza (modelowanie chłodzenia serwerowni) przy użyciu programu typu CFD. Badania te pomogły ocenić efektywność systemu i poprawić wskazane błędy na etapie, kiedy jest to najłatwiejsze i najmniej kosztowe, czyli na etapie projektowania centrum danych. Poniżej przedstawiam kilka symulacji dla opisywanej serwerowni. Były one przeprowadzane dla pełnego obciążenia mocy przeznaczonej dla sprzętu IT.
Poniższy rysunek nr 1 przedstawia zrzut ekrany programu w trakcie wykonywania symulacji trójwymiarowej obiegu powietrza w omawianej serwerowni. Przedstawia on jak na uchwyconej wysokości nad podłogą techniczną rozmieszczone jest powietrze o zróżnicowanej temperaturze. Wyraźnie widać, że w strefie pomiędzy szafami jest chłodniej niż poza nimi. Po kliknięciu w rysunek widoczna będzie jego większa i bardziej czytelna wersja.
Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rysunek nr 2 przedstawia fragment symulacji trójwymiarowej, pionowej, na której widać w innej perspektywie rozmieszczenie powietrza i jego temperatury.
Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rysunek nr 3 przedstawia już nieco inny model symulacji, w którym to sprawdzane są potencjalne przebiegi prądów powietrza. Zostało to przedstawione przez oprogramowanie jako swoiste sznurki symbolizujące płynące powietrze. Również tutaj kolory oznaczają odpowiednie przedziały temperaturowe zgodne z legendą.
Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.
Poniższy rysunek nr 4 przedstawia to samo, co wcześniejszy z tym, że w widoku 2D.
Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.
I powtórzenie sytuacji z rysunku nr 1 w wersji dwu wymiarowej. Bardzo ładnie na nim widać, gdzie będą panowały wyższe temperatury oraz gdzie niższe. Można również dostrzec na rysunku strzałki, które wskazują obliczone kierunki przepływu powietrza.
Rys.5. Symulacja pozioma różnic temperatury serwerowni.
Rysunki 1, 2 i 5 przedstawiają symulację obiegu powietrza systemu chłodzenia serwerowni zależną od wysokości badanej warstwy powietrza, natomiast rysunki 3 i 4 przedstawiają obieg powietrza zależny od czasu.
Przedstawione powyżej obrazy są jedynie fragmentami modelowania, które domyślnie jest realizowana przez program jako animacja, którą można zapisać w formacie filmu wideo i dowolnie analizować sytuację dla różnych wysokości nad podłogą, różnych czasów pracy sprzętu IT czy jego obciążenia.
Podsumowanie
Komputerowe modelowanie chłodzenia serwerowni (obiegu powietrza) jest jedynym sposobem na sprawdzenie poprawności zaprojektowanego rozwiązania, ponieważ odwzorowuje ono w miarę dokładnie rzeczywiste warunki. Nie jest to jednak rozwiązanie zalecane do badania łatwych przypadków, kiedy to doświadczenie projektanta jest wystarczającym pewnikiem poprawności zaprojektowanego systemu. Modelowanie takie jest dosyć kosztowne ze względu na konieczność posiadania odpowiedniej licencji programowej oraz umiejętności wykorzystania systemu.
Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.
Przykład instalacji wczesnej detekcji dymu w serwerowni
W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.
W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.
Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).
W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.
Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).
Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.
Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.
Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.
Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).
Główne parametry omawianego centrum danych:
Powierzchnia całego centrum danych: około 200 m2
Powierzchnia serwerowni: 110m2
Moc elektryczna przeznaczona na sprzęt IT: 180 kW
Podział gęstości mocy: 2 strefy
Zabudowy chłodnych korytarzy
Klimatyzacja rzędowa
Aranżacja pomieszczenia serwerowni i UPS-owni
Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.
Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).
Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.
Instalacje elektryczne
Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.
Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.
Klimatyzacja pomieszczenia serwerowni i UPS-owni
Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.
Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.
W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.
Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.
System zasilania gwarantowanego oraz rezerwowanego
W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.
Systemy bezpieczeństwa.
KD – Kontrola dostępu
System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.
SSWiN – System sygnalizacji włamania i napadu
System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.
CCTV – System telewizji przemysłowej
System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.
System przeciwpożarowy
Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.
Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.
Szafy sererowe
Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.
Trasy kablowe
Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.
Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)
Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.
Podsumowanie
Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.
Wpis przedstawia proces adaptacji pomieszczenia biurowego na serwerownię (centrum danych) w budynku biurowym, w którym na etapie projektowania nie przewidziano takiego pomieszczenia. Materiał, który tutaj przedstawiam, oparty jest o autentyczną realizację, przy której uczestniczyłem. Jego celem jest ogólne przedstawienie procesu takiej realizacji, co może ułatwić Inwestorowi podjęcie decyzji dotyczących takiego przedsięwzięcia. Przedstawione prace były konieczne dla tego konkretnego przypadku. W każdym innym będą one nieco różne.
Budowana serwerownia ma 50m2, moc 40kVA. Realizację przeprowadzono w 2009 roku.
Stan istniejący przed realizacją. Dotychczasowe pomieszczenie serwerowe (przedstawione na fotografii obok) znajdowało się na 3 piętrze budynku. Nie było ono odpowiednio przygotowane do pełnienia swojej roli. Ilość hostowanego sprzętu przerosła możliwości wykonanych wewnątrz, nieprofesjonalnych instalacji.
1. Potrzeba. W związku z powyżej opisanym mankamentem i wynikającym z niego realnym zagrożeniem dla stabilności pracy sprzętu serwerowego oraz planowaną rozbudową systemu IT zaistniała konieczność wybudowania prawdziwej serwerowni spełniającej konkretne wymagania.
2. Wybór odpowiedniego pomieszczenia. W związku faktem, iż w dotychczasowa serwerownia była również głównym punktem dystrybucyjnym sieci komputerowej skupiono się na pomieszczeniach bezpośrednio sąsiadujących z obecnym. Wybrano pomieszczenie o powierzchni 50m2 (fotografia poniżej).
3. Przygotowanie koncepcji. Zaproszone do rozmów firmy miały przedstawić swoją koncepcje rozwiązania problemu oraz przedstawienia szacunku kosztowego dla proponowanego rozwiązania (sprzęt, instalacja itp.).
4. Projektowanie. Po wyborze jednej koncepcji zlecono wykonanie dokumentacji wykonawczej. Projektanci z odpowiednimi uprawnieniami wykonali projekty branżowe zgodnie z wytycznymi Prawa Budowlanego. Po zaakceptowaniu projektów przez Inwestora można było przejść do kolejnego etapu.
5. Uzyskanie pozwolenia na budowę. Na etapie projektowania okazało się, że inwestycje będzie wymagała uzyskania pozwolenia na budowę, ponieważ: a) wybrane pomieszczenie było wcześniej pomieszczeniem biurowym natomiast nowe będzie pomieszczeniem technicznym dlatego też zaistniała potrzeba zmiany sposobu użytkowania tego pomieszczenia b)system gaszenie gazem oznaczał zmianę zabezpieczeń ppoż. części budynku i wymagał uzgodnienia z rzeczoznawcą do spraw ppoż. c) w trakcie ekspertyzy konstrukcyjnej okazało się, że strop pod część urządzeń (klimatyzatory) wymaga konstrukcji wsporczej. Zgłoszony projekt budowlany po paru tygodniach odleżenia w Urzędzie Miasta dostał pozytywną opinię i można było rozpocząć realizację.
6. Prace budowlane. Prace rozpoczęto od całkowitego opróżnienia pomieszczenia. Zdemontowano wykładziny i ścianę, którą projektant zalecił wymienić na nową z odpowiednią odpornością ogniową. Wyniesiono poza pomieszczenie instalację CO tak aby nie dopuścić do niespodziewanego wycieku wody. Wymieniono drzwi na odpowiednio bezpieczne. Po wykonaniu konstrukcji wsporczej pod klimatyzację całe pomieszczenie doprowadzono do czystego i estetycznego efektu, gdzie na koniec tego etapu wykonano podłogę techniczną odpowiednio podniesioną zgodnie z zaleceniami projektanta instalacji klimatyzacji. Po pewnym czasie oczekiwania wymieniono okna na odpowiednio bezpieczne oraz oklejono je specjalną folią ograniczającą przenikanie promieni słonecznych oraz odpowiednimi roletami.
7. Instalacja klimatyzacji. Standardowo system klimatyzacji wymagał wyprowadzenia instalacji poza pomieszczenie serwerowni - przez korytarz i świetlik aż na dach budynku. Szafy klimatyzacji dobrano z nawiewem pod podłogę techniczną, dlatego ustawiono je na specjalnie przygotowanych ramach. Wykonano również wymaganą instalację odprowadzenia skroplin oraz doprowadzenia wody bieżącej do nawilżacza wbudowanego w klimatyzator.
8. Instalacje elektryczne. Instalacje elektryczne nie były za bardzo skomplikowane dla tego obiektu. Doprowadzono wewnętrzną linię zasilania do serwerowni z głównej rozdzielni budynkowej znajdującej się w piwnicy. Do pokonania były 3 kondygnacje, wykorzystano istniejący szacht instalacyjny na klatce schodowej. W pomieszczeniu wykonano rozdzielnię serwerowni oraz rozdzielnię UPS. Z trudem wniesiono i zainstalowano zasilacz awaryjny o mocy 40 kVA. Wykonano zasilanie szaf serwerowych.
9. System przeciwpożarowy. System przeciwpożarowy zbudowany został z trzech podsystemów. Pierwszy z nich to standardowa sygnalizacja pożaru kontrolowana przez centralkę alarmową, do której podłączono kilka konwencjonalnych czujek dymu. Drugi to system gaszenia gazem sterowany przez wspomnianą centralkę, zbudowany z butli z gazem oraz systemu rur rozprowadzających środek gaśniczy w odpowiednie miejsca. Trzeci - dla zwiększenia bezpieczeństwa - to bardzo szybki system wykrywania dymu i jego charakterystyczne, czerwone rurki oplatające pomieszczenie.
10. Instalacje systemów bezpieczeństwa. Dla zapewnienia większego poziomu bezpieczeństwa zaprojektowano i wykonano systemy kontroli dostępu (zwora elektromagnetyczna kontrolowana przez czytnik lini papilarnych), sygnalizacji włamania i napadu (czujki otwarcia drzwi, rozbicia szkła, ruchu itp.) oraz monitoring wizyjny (dwie kamery wewnątrz pomieszczenia i jedna na zewnątrz). Dla zapewnienia zdalnej kontroli warunków środowiskowych oraz kontroli parametrów pracy zainstalowanych urządzeń i systemów wykonano system BMS z interfejsem WWW oraz powiadomieniami SMS.
11. Migracja sprzętu serwerowego. Kiedy już wszystko uruchomiono i sprawdzono można było rozpocząć proces migracji sprzętu serwerowego ze starego pomieszczenia. Tradycyjnie już tego typu prace musiały być wykonane w weekend, kiedy to system jest mniej używany. Większość sprzętu była na gwarancji producenta, dlatego sprawa wymagała odpowiedniego zgłoszenia i wykupienia nadzoru gwarancyjnego. Wymontowano sprzęt ze starych szaf, wstawiono nowe do nowej serwerowni i zainstalowano w nich sprzęt. Sporo podłączania kabli i wszystko ruszyło. Kilka testów, wyłączenia zasilania, praca klimatyzatorów itp. Efekt końcowy był na tyle ciekawy, że nikt nie chciał iść do domu mimo późnej godziny sobotniej.
12. Zakończenie realizacji. Dla formalnego zakończenia inwestycji po paru dniach dostarczono dokumentację powykonawczą dokładnie odwzorowującą całość wykonanego zadania. Kilka drobnych zmian ustalonych z projktantami zostało odpowiednio naniesionych. Podpisano protokół zakończenia prac i wystawiono fakturę.
Casablanca INT, właściciel omawianej serwerowni, jest jednym z największych providerów kolokacyjnych w Czechach i posiada kilka centrów danych z przeznaczeniem na wynajem dostępnej w serwerowniach przestrzeni fizycznych (kolokacja). Omawia, HC8, została oddana do użytku pod koniec 2010 roku, a koszt jej budowy wyniósł ponad jeden milion Euro. Niniejszy dokument w skrócie przedstawia wdrożone rozwiązania, skupiając się przede wszystkim na opisaniu rzędowej organizacji szaf serwerowych oraz klimatyzacji i zabudowie powstałego w ten sposób zimnego korytarza.
Wewnątrz zabudowanego, chłodnego korytarza.
Nowa hala centrum danych o powierzchni ponad 200 m2, wyposażona została w 64 szafy produkcji firmy Conteg o wysokości 42U, szerokości 600 mm oraz głębokości 1000 mm. W celu dopasowania się do wymagań jak największej grupy klientów, zainstalowano 40 pełnowymiarowych szaf rackowych, 12 szaf dzielonych na pół oraz kolejne 12 z czterema wydzielonymi sekcjami, dzięki czemu uzyskano 112 indywidualnych miejsc kolokacyjnych dla różnych grup klientów.
Każda z sekcji posiada osobne drzwi przednie oraz tylne, które mogą być otwarte jedynie przez konkretnego klienta. Również przyłącza teleinformatyczne oraz elektryczne są doprowadzone indywidualnie do każdej z „półek” szafy, co znacznie podwyższa bezpieczeństwo i niezawodność danego rozwiązania. Wszystkie drzwi posiadają perforację zajmującą aż 83% ich powierzchni, dzięki czemu urządzenia umieszczone w szafach mogą zaciągać i wypuszczać swobodnie duże ilości powietrza. Każda z sekcji wyposażona jest dodatkowo w panele maskujące oraz ramę separującą, które zapobiegają mieszaniu się chłodnego i ciepłego powietrza w szafie.
Widok zewnętrzny zabudowanego, chłodnego korytarza.
W celu zapewnienia możliwie najlepszych warunków środowiskowych dla utrzymywanego w szafach sprzętu IT, zastosowano zabudowę zimnego korytarza, zapobiegającą mieszaniu się chłodnego i gorącego powietrza. Rozwiązanie to pozwoliło na znacznie efektywniejsze wykorzystanie urządzeń klimatyzacyjnych i generowanego przez nie chłodu (schłodzone powietrze zamiast rozchodzić się po całym pomieszczeniu pozostaje w przestrzeni ograniczonej szafami, podłogą techniczną oraz sufitem zabudowy korytarza do wysokości 2,3 m, obniżenie kosztów oraz umożliwienie osiągnięcia niższej wartości współczynnika PUE (ang. Power Usage Effectiveness). Optymalne wykorzystanie klimatyzacji ma tutaj bardzo duże znaczenie, ponieważ zakładana moc elektryczna serwerowni została zaprojektowana na 300 kW, z czego obciążenie każdej z szaf oszacowane zostało na 4 kW.
Biorąc pod uwagę ilość szaf, ich podział na sekcje oraz możliwość montażu urządzeń IT o wysokiej gęstości mocy, zastosowano klimatyzatory rzędowe (ang. Side Mount (In-Row) Cooling Units) firmy Conteg z wymiennikiem ciepła w postaci wody lodowej (podłączenie do istniejącej instalacji).
Widok na dzielone szafy serwerowe.
Ilość klimatyzatorów oraz ich moc dobrano zgodnie z warunkiem N+1 dla każdego z bloków korytarza. W pierwszym bloku zawierającym 40 standardowych szaf 42U zostało zainstalowanych 10 klimatyzatorów (w tym jeden redundantny), każdy o mocy 19,3 kW. Z kolei w drugim, składającym się z 24 szaf dzielonych - 8 klimatyzatorów (również z jednym redundantnym) o takiej samej mocy. Urządzenia posiadają
5 wentylatorów, których prędkość regulowana jest automatycznie w zależności od warunków środowiskowych od 0 do 100%. Obudowa klimatyzatorów jest dopasowana do zamontowanych szaf zarówno pod kątem stylistycznym jak i gabarytowym. Urządzenia zajmują jedynie 300 mm przestrzeni pomiędzy szafami (w porównaniu do 600 mm w standardowych rozwiązaniach innych producentów), dzięki czemu zaoszczędzone miejsce można było przeznaczyć na montaż większej ilości szaf.
Ilość zajmowanego miejsca została również zredukowana dzięki zastosowaniu specjalnych ram montażowych o szerokości 300 mm, zamiast standardowych szaf krosowniczych. Ramy te montowane są na końcach korytarza i pozwalają na organizację dużej ilość kabli teleinformatycznych oraz montaż urządzeń sieciowych w pozycji pionowej.
Zabudowa strefy chłodu pomiędzy szafami z zasilaczami UPS
Trzeci blok zimnego korytarza przeznaczony został na cztery szafy zapełnione modularnymi UPS-ami, zasilanymi z dwóch niezależnych źródeł energii. Każdy z UPS-ów jest w stanie dostarczyć do 120 kW mocy przy jednoczesnym wydzielaniu ciepła na poziomie 7 kW. Dostarczenie schłodzonego powietrza i odbiór 28 kW (max) gorącego powietrza zapewniony jest przez 2 klimatyzatory rzędowe (600 mm) połączone ze sobą w topologii N+1, z których każdy może pracować z wydajnością do 30 kW.
Przestrzeń zabudowy korytarza monitorowana jest przez ponad 100 czujników temperatury, wilgotności oraz zalania. Całe pomieszczenie serwerowni posiada wdrożony system monitoringu warunków środowiskowych, telewizji przemysłowej CCTV oraz kontroli dostępu.
Butle systemu gaszenia mgłą wodną.
W pomieszczeniu serwerowni zamontowany został system bardzo wczesnej detekcji dymu VESDA, który pozwala na wzbudzenie sygnalizacji alarmowej nawet przy bardzo niskim zadymieniu, dzięki czemu istnieje możliwość poinformowania pracowników o wystąpieniu zarzewia pożaru jeszcze przed momentem jego wykrycia przez system SAP. Centrala ppoż, połączona jest z systemem automatycznego gaszenia (stałym urządzeniem gaśniczym). W przypadku wykrycia pożaru, przestrzeń zimnych korytarzy zostanie wypełniona środkiem gaśniczym w postaci nieprzewodzącej mgły wodnej wyzwalanej pod bardzo wysokim ciśnieniem poprzez dysze zainstalowane w suficie zabudowy.
Projekt budowy nowej serwerowni został opracowany na początku 2010 roku, jej realizacja rozpoczęła się latem i trwała 90 dni, obejmując wykonanie prac z branż: budowlanej, elektrycznej, sanitarnej, ppoż, teletechnicznej oraz teleinformatycznej.
Na skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.
