Artykuł przedstawia przykład modelowania chłodzenia serwerowni, wykonanego za pomocą specjalistycznego oprogramowania typu CFD (ang. computational fluid dynamics), w celu przeanalizowania poprawności projektowanego systemu chłodzenia urządzeń w pomieszczeniu serwerowni. 

Omawiany przypadek modelowania wykonano na potrzeby związane z projektowaniem serwerowni znajdującej się centrum danych, którego użyłem jako przykładu w innym moim artykule, do przeczytania którego namawiam.

Dla przypomnienia, analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Przy projektowaniu systemu klimatyzacji serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza (modelowanie chłodzenia serwerowni) przy użyciu programu typu CFD. Badania te pomogły ocenić efektywność systemu i poprawić wskazane błędy na etapie, kiedy jest to najłatwiejsze i najmniej kosztowe, czyli na etapie projektowania centrum danych. Poniżej przedstawiam kilka symulacji dla opisywanej serwerowni. Były one przeprowadzane dla pełnego obciążenia mocy przeznaczonej dla sprzętu IT.

Poniższy rysunek nr 1 przedstawia zrzut ekrany programu w trakcie wykonywania symulacji trójwymiarowej obiegu powietrza w omawianej serwerowni. Przedstawia on jak na uchwyconej wysokości nad podłogą techniczną rozmieszczone jest powietrze o zróżnicowanej temperaturze. Wyraźnie widać, że w strefie pomiędzy szafami jest chłodniej niż poza nimi. Po kliknięciu w rysunek widoczna będzie jego większa i bardziej czytelna wersja.

Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 2 przedstawia fragment symulacji trójwymiarowej, pionowej, na której widać w innej perspektywie rozmieszczenie powietrza i jego temperatury.

Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 3 przedstawia już nieco inny model symulacji, w którym to sprawdzane są potencjalne przebiegi prądów powietrza. Zostało to przedstawione przez oprogramowanie jako swoiste sznurki symbolizujące płynące powietrze. Również tutaj kolory oznaczają odpowiednie przedziały temperaturowe zgodne z legendą.

Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.
Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.

Poniższy rysunek nr 4 przedstawia to samo, co wcześniejszy z tym, że w widoku 2D.

Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.
Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.

I powtórzenie sytuacji z rysunku nr 1 w wersji dwu wymiarowej. Bardzo ładnie na nim widać, gdzie będą panowały wyższe temperatury oraz gdzie niższe. Można również dostrzec na rysunku strzałki, które wskazują obliczone kierunki przepływu powietrza.

Rys.5. Symulacja pozioma różnic temperatury serwerowni.
Rys.5. Symulacja pozioma różnic temperatury serwerowni.

Rysunki 1, 2 i 5 przedstawiają symulację obiegu powietrza systemu chłodzenia serwerowni zależną od wysokości badanej warstwy powietrza, natomiast rysunki 3 i 4 przedstawiają obieg powietrza zależny od czasu.

Przedstawione powyżej obrazy są jedynie fragmentami modelowania, które domyślnie jest realizowana przez program jako animacja, którą można zapisać w formacie filmu wideo i dowolnie analizować sytuację dla różnych wysokości nad podłogą, różnych czasów pracy sprzętu IT czy jego obciążenia.

Podsumowanie

Komputerowe modelowanie chłodzenia serwerowni (obiegu powietrza) jest jedynym sposobem na sprawdzenie poprawności zaprojektowanego rozwiązania, ponieważ odwzorowuje ono w miarę dokładnie rzeczywiste warunki. Nie jest to jednak rozwiązanie zalecane do badania łatwych przypadków, kiedy to doświadczenie projektanta jest wystarczającym pewnikiem poprawności zaprojektowanego systemu. Modelowanie takie jest dosyć kosztowne ze względu na konieczność posiadania odpowiedniej licencji programowej oraz umiejętności wykorzystania systemu.

 

Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.

Przykład instalacji wczesnej detekcji dymu w serwerowni
Przykład instalacji wczesnej detekcji dymu w serwerowni

W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.

W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.

Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).

W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.

Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).

Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.

Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.

Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).

Główne parametry omawianego centrum danych:

  • Powierzchnia całego centrum danych: około 200 m2
  • Powierzchnia serwerowni: 110m2
  • Moc elektryczna przeznaczona na sprzęt IT: 180 kW
  • Podział gęstości mocy: 2 strefy
  • Zabudowy chłodnych korytarzy
  • Klimatyzacja rzędowa

Aranżacja pomieszczenia serwerowni i UPS-owni  

Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.

Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).
Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).

 

Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.

Instalacje elektryczne

Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.

Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.

W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.

Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.

System zasilania gwarantowanego oraz rezerwowanego

W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.

Systemy bezpieczeństwa.

  • KD – Kontrola dostępu

System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.

  • SSWiN – System sygnalizacji włamania i napadu

System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.

  • CCTV – System telewizji przemysłowej

System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.

System przeciwpożarowy

Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.

Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.

 Szafy sererowe

Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.

Trasy kablowe

Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.

Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)

Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.

Podsumowanie

Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.

Dlaczego projekt serwerowni jest kluczowym etapem całego procesu realizacji centrum danych? Postaram się to wyjaśnić w niniejszym artykule.

W pewnym momencie funkcjonowania firmy okazuje się, że niewielkie pomieszczenie lub biuro, które wcześniej było idealne dla utrzymania kilku serwerów staje się za małe i nie zapewnia podstawowych warunków dla pracy większej ilości sprzętu. W innej firmie- system IT może na tyle się rozrosnąć, że nawet najlepiej wykonana serwerownia po prostu nie ma możliwości fizycznych na przyjęcie kolejnych urządzeń.

Jak się zabrać za podobny problem? Kto powinien się tym zająć? Komu zlecić projekt? Komu wykonanie? Jak ocenić prawidłowość poszczególnych kroków? Jak ogarnąć całość? Jak sprawdzić poprawność działania systemów?

Zgodnie z tym, co napisałem w dziale "Praktyka", można wyróżniamy cztery podstawowe fazy budowy serwerowni lub centrum danych:

1. Przygotowanie do projektowania, na co może się składać wykonanie:

2. Projektowanie, czyli wykonanie:

3. Realizację (budowa).

4. Serwis i utrzymanie.

Na etapie sporządzania projektu serwerowni (projektowani) podejmowane są najważniejsze decyzje, które mają ogromny wpływ na kolejne fazy oraz wszystkie aspekty i całościowy bilans budowy serwerowni lub centrum danych. Działa tutaj zasada kaskadowa i błędy popełnione w pierwszym etapie powielają się i zwiększają problemy oraz koszty w dalszych fazach.

_MG_0181
Projekt powinien przewidzieć wszelkie elementy serwerowni. Zmiany po wybudowaniu są znacznie bardziej kosztowne i trudne.Last.fm / Foter / CC BY-SA

 

Dlaczego projekt jest kluczowy?

W serwerowni znajduje się wiele instalacji różnych branż (m.in. elektryczna, klimatyzacji, systemów bezpieczeństwa, przeciwpożarowa, budowlana), z których do dyspozycji mamy po kilka rozwiązań, proponowanych przez konkurencyjne firmy. Wszystkie - mniej lub bardziej różnią się między sobą pod względem kosztów utrzymania, wydajności, niezawodności, warunków serwisu, sposobu instalacji, skuteczności działania itp.

Dla przykładu - dwa urządzenia, które działają identycznie pobierają różną ilość prądu. Biorąc pod uwagę średni czas życia serwerowni (10-15 lat) oraz mnogość instalacji i systemów daje to ogromne oszczędności albo dodatkowe koszty utrzymania serwerowni, co często przekracza koszt samej realizacji (budowy). W przypadku aspektu wydajnościowego jest podobnie. Urządzenia o zbliżonej cenie mogą przynosić różne efekty. Nie zapominajmy o niezawodności, ponieważ niektóre sprzęty statystycznie częściej ulegają uszkodzeniu od innych. Warunki serwisu określą nam, na jakiej zasadzie odbywa się naprawa. Koszt serwisu wchodzi w koszt utrzymania. Każdy system w serwerowni wymaga serwisowania dla zachowania warunków gwarancji i przede wszystkim sprawności. Kilka przeglądów w roku, razy koszt jednostkowy, razy liczba lat eksploatacji systemu, równa się duży koszt i duże różnice dla różnych rozwiązań.

Wielkim wyzwaniem jest pozornie łatwe do wykonania architektoniczne zaaranżowanie pomieszczenia. Tymczasem błędy projektowe mogą mieć różnego rodzaju poważne konsekwencje - np. niemożność wstawienia kolejnej szafy, UPS-a czy klimatyzatora, podczas gdy przy innym ustawieniu widać, że nie byłoby z tym najmniejszego problemu. Podczas aranżacji, która jest kluczowa, należy wziąć pod uwagę wszystkie instalacje i systemy tak, aby razem pozostawały ze sobą w harmonii.

Wielu architektów projektując np. budynki biurowe, gdzie większość najemców potrzebuje profesjonalnych miejsc na zainstalowanie sprzętu IT, nie bierze pod uwagę wymagań i parametrów niezbędnych do zapewnienia takiej możliwości. W efekcie pomieszczenie nazwane w projekcie architektonicznym budynku „serwerownią” jest zbyt małe i nieprzemyślane pod względem możliwości wykonania w nim niezbędnych instalacji wchodzących w skład serwerowni. W takim wypadku lepiej nazwać to „pomieszczeniem krosowym” lub „punktem dystrybucyjnym sieci LAN”.

Kilka pytań przed…

Zanim przystąpimy do budowy serwerowni powinniśmy postawić sobie dwa kluczowe pytania: „po co nam serwerownia” oraz „jakie parametry ma zapewnić”. Uwzględnienie w projekcie odpowiedzi na te zagadnienia, świadczy o tym, że projektant miał cały czas na uwadze właściwy cel zadania. Jednocześnie dla kogoś, kto będzie realizował na podstawie tych założeń serwerownię, jasna będzie zasadność zaprojektowanych rozwiązań lub też (dzięki swojemu doświadczeniu) będzie mógł przeanalizować wspólnie z projektantem i inwestorem sensowność ich zastosowania.

- Takie analizy powinny być przeprowadzone na początku drogi i jasno określone w dokumentacji projektowej bo już po uruchomieniu serwerowni mogą doprowadzić do niemiłych wniosków i kosztownych modernizacji. Niestety czasami w praktyce brak jest informacji o celach. Projekt sprawia wrażenie jakby był oderwany od realnych potrzeb użytkownika, a cały proces realizacji serwerowni może doprowadzić do niewłaściwego efekt.

W jakim celu planujemy budowę serwerowni lub centrum danych?

Projekt serwerowni powinien zawierać w miarę dokładną informację na temat celu, jakim kieruje się inwestor, Może to być np. proste zorganizowanie sieci lokalnej i pewnej liczby serwerów potrzebnych do codziennej pracy firmy, co na etapie ustalania wytycznych do projektu uznano np. jako system mało krytyczny; w innym przypadku serwerownia będzie centrum obliczeniowym dla nowo powstającego systemu informatycznego, na którym będzie się opierał cały biznes firmy a dostęp do niego musi być zagwarantowany przez cały czas (24/7/365), co na etapie ustaleń zakwalifikowano jako system krytyczny. Różne potrzeby wyznaczają różne podejścia do projektowanej infrastruktury.

Jakie parametry ma zapewnić serwerownia?

Wyjaśnienie tej kwestii wynika z informacji zawartych w odpowiedzi na pytanie ”w jakim celu planujemy budowę serwerowni lub centrum danych” i tak samo musi być dokładnie sprecyzowane w fazie przygotowania do projektowania. Dużą rolą jest tutaj wiedza projektanta lub koordynatora całego procesu budowy serwerowni, ponieważ użytkownik po prostu może nie wiedzieć dokładnie, jak wszystko rozwiązać i tak naprawdę zwrócił się do kogoś, kto ma mu w tym pomóc. Określenie parametrów jest kluczowe dla zapewnienia wysokiej dostępności, niezawodności, bezpieczeństwa, możliwości rozbudowy i wielu innych czynników. Im wyższe wymagania tym większy koszt realizacji inwestycji jednak korzyści dla biznesu są dużo większe. W przypadku systemu mało krytycznego, nie ma sensu inwestować w drogie do zapewnienie parametry, jeśli po prostu nie są one konieczne. Z drugiej strony, dla przypadku systemu krytycznego, nieuwzględnienie takich założeń może mieć różnorodne, negatywne skutki i nie zapewnić spełnienia celu inwestycji.

Fachowiec najważniejszy

Sprzęt serwerowy mocno się zmienia, średnio co 3-4 lata rozsądna jest wymiana na nowszy technologicznie, bardziej wydajny i energooszczędny. Nie oznacza to jednak, że z czasem liczba urządzeń będzie malała, ponieważ zapotrzebowanie na moc obliczeniową stale wzrasta. Wraz z pojawieniem się lepszych sprzętów, zmieniają się także systemy i instalacje serwerowni. Biorąc pod uwagę ich mnogość i liczbę producentów - dysponowanie wiedzą na temat nowoczesnych rozwiązań, czy nowinek technologicznych, wymaga dużego zaangażowania i wielu szkoleń.

Biura projektowe, których głównym celem nie są serwerownie i zajmują się nimi raczej „przy okazji” rzadko kiedy mają możliwość pracować przy zrealizowanym projekcie, nie otrzymują zgłoszeń serwisowych ani informacji zwrotnych od użytkowników na temat poprawności działania zaprojektowanych systemów. Często projekty branżowe nie są ze sobą skoordynowane. W praktyce instalacje mogą być ze sobą niezgrane i wzajemnie się wykluczać.

Firmy, które kompleksowo realizują serwerownie (od projektu po wykonanie i utrzymanie) specjalizują się w tej tematyce i są na bieżąco ze wszystkimi wymaganiami dotyczącymi zagadnień IT. Przydzielają osobę koordynującą całość procesu projektowania i realizacji serwerowni dla utrzymania spójności na każdym etapie. Współpracują również z biurami projektowymi koordynując prace, dając wytyczne dotyczące zastosowanych rozwiązań, analizując ich stosowność dla całego cyklu życia serwerowni. Dużą wagę przywiązują do szkoleń, edukacji i zdobywania informacji na temat najnowszych rozwiązań technologicznych w tematyce. Prowadząc proces budowy serwerowni wyciągają wnioski i poprawiają to, co mogło być wcześniej niewłaściwie dobrane. W okresie serwisowania dostają zgłoszenia i uwagi od użytkowników, dzięki czemu wiedzą, jakie rozwiązania sprawdzają się najlepiej, a jakie nie. Biura projektowe, oderwane od realizacji serwerowni i jej utrzymania, nie mają tego doświadczenia, co sprawia, że konieczność zmian w kolejnych projektach może nie być oczywista. Powierzenie całej inwestycji wyspecjalizowanej firmie już na etapie koncepcji biznesowej jest najbardziej skutecznym podejściem.

Koszt projektu serwerowni to tylko kilka procent wartości realizacji i jeszcze mniej procent całkowitego kosztu posiadania (z j. ang. TCO - Total Cost of Ownership). Projekt ma ogromne i kluczowe znaczenie dla tego wyniku, więc lepiej podejść do sprawy mądrze.

Ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym (system gaszenia gazem serwerowni), przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. W tym wpisie omawiam systemy gaszenia gazem (SUG). Wspomniałem o nim wcześniej w dziale praktyka.

Butla instalacji SUG ze środkiem gaśniczym w serwerowni
Butla instalacji SUG ze środkiem gaśniczym w serwerowni

Stałe urządzenia gaśnicze oparte o środki gaśnicze HFC227ea (FM®200[1]) lub FK-5-12 (C6F12O, NovecTM1230[2]) składają się z jednej lub wielu butli zawierających środek gaśniczy, zaworów z wyzwalaczami, orurowania oraz dysz. Ilość środka gaśniczego dobierana jest do kubatury pomieszczenia, przy założeniu odpowiedniego bezpiecznego stężenia, określonego przez polskie i europejskie normy. Elementem detekcyjnym oraz sterującym stałe urządzenie gaśnicze jest centrala automatycznego gaszenia, pełniąca również rolę systemu alarmu pożaru (SAP) np. IGNIS 1520M produkcji Polon-Alfa. Centrala posiada dwie linie detekcyjne, do których podłączone są czujki pożarowe, umieszczone we wszystkich strefach serwerowni – pod podłogą technologiczną, nad sufitem podwieszanym oraz przestrzeni głównej pomieszczenia. Linie działają w trybie koincydencji, co oznacza, że wysterowanie uruchomienia procedury gaszenia następuje dopiero w momencie wykrycia dymu poprzez czujki z dwóch różnych linii dozorowych. Zapobiega to wyzwoleniu środka gaśniczego w przypadku fałszywego alarmu.

Wykrycie dymu przez jedną z czujek spowoduje wywołanie alarmu I stopnia i uruchomienie sygnalizacji wizualno-optycznej. W tym momencie użytkownik może podejść do serwerowni i sprawdzić co spowodowało uruchomienie systemu pożarowego. Jeśli dym zostanie wykryty przez przynajmniej dwie czujki, ale pochodzące z różnych linii dozorowych, nastąpi wywołanie alarmu II stopnia i rozpocznie się procedura gaszenia, która poprzedzona będzie sygnalizacją optyczną plafonów znajdujących się nad wejściem i wyjściem z serwerowni, informujących o nakazie opuszczenia pomieszczenia oraz zakazie wchodzenia do jego wnętrza. Po upływie określonego czasu nastąpi wyzwolenie środka gaśniczego i ugaszenie zarzewia pożaru.

Aby zarzewie pożaru zostało skutecznie ugaszone, środek gaśniczy powinien utrzymywać się w pomieszczeniu przez przynajmniej 10 min. (tzw. czas retencji), dlatego też, bardzo ważne jest zapewnienie na etapie wykonywania serwerowni odpowiedniej szczelności pomieszczenia oraz skoordynowanie pozostałych systemów (np. wentylacji, klimatyzacji, zasilania) w celu ich odpowiedniego zadziałania w czasie procedury gaszenia. Szczelność pomieszczenia badana jest przed oddaniem systemu do użytkowania poprzez wykonanie pomiarów (tzw. Door Fan Test), których zadaniem jest potwierdzenie, czy spełniony jest warunek utrzymywania się odpowiedniego ciśnienia przez określony czas w chronionym pomieszczeniu.

Ze względu na znaczny wzrost ciśnienia w czasie wyzwolenia środka gaśniczego, pomieszczenie serwerowni wyposażane jest w klapę odciążającą (dekompresującą), która pozwoli na rozładowanie ciśnienia w pomieszczeniu w momencie wyzwolenia środka gaśniczego. Klapa montowana jest w ścianie zewnętrznej serwerowni i zabezpieczana środkami biernej ochrony przeciwpożarowej.

W serwerowni oraz przed jej wejściem montuje się przyciski, umożliwiające ręczne uruchomienie (START GASZENIA) lub wstrzymanie (STOP GASZENIA) akcji gaśniczej.

W celu określenia wymaganej ilości środka gaśniczego, oraz odpowiedniej ilości i umiejscowienia dysz, orurowania, czujek pożarowych oraz procedur działania podczas wystąpienia pożaru, konieczne jest wykonanie projektu wykonawczego instalacji automatycznego gaszenia (SUG/SAP), zatwierdzonego przez rzeczoznawcę ds. ppoż.

Podsumowując, systemy automatycznego gaszenia, oparte o gazowe środki gaśnicze (systemy gaszenia gazem serwerowni), zapewniają wysoką skuteczność gaszenia, bezpieczeństwo przebywających w pomieszczeniu osób oraz brak jakichkolwiek zanieczyszczeń czy zniszczeń sprzętu IT i samego pomieszczenia, powstających w wyniku działania konwencjonalnych systemów gaśniczych (gaszenie wodą, gaśnicami proszkowymi, itp.).

-------------------------------

[1] FM®200 jest nazwą handlową środka C3HF7 (HFC227ea wg ISO) spółki DuPontTM
[2] NovecTM1230 jest nazwą handlową środka C6F12O  (FK-5-12 wg ASHRAE) spółki 3M

Chłodzenie w centrach danych jest podstawą ich sprawnego funkcjonowania. Wysoka temperatura zwiększa bowiem ryzyko awarii, co wiąże się z ewentualną utratą danych. Obecnie rozwój branży IT jest nierozerwalnie związany z coraz większym wykorzystaniem energii elektrycznej, a wpływ jaki ma na środowisko naturalne, jest jednym z najbardziej komentowanych zagadnień ostatnich lat. Proekologiczne rozwiązania stosowane w serwerowniach i centrach danych, to już nie tylko trend, ale sposób na duże oszczędności i stworzenie obiektu przyjaznego środowisku. Rosnące zużycie energii oraz wzrost jej cen powoduje, że utrzymanie centrów danych drożeje. Zapewnienie optymalnej temperatury w serwerowni ma kluczowe znaczenie dla kosztów utrzymania obiektu. Poniżej przedstawiam kilka podstawowych kroków do zmniejszenia związanych z tym kosztów.

Krok pierwszy - pomiar i analiza zużycia energii elektrycznej

Pierwszym krokiem do zminimalizowania kosztów jest pomiar i ocena zużycia energii, potrzebnej do funkcjonowania całego obiektu. Do oceny efektywności energetycznej centrum danych można posłużyć się wskaźnikiem PUE (z j. ang. Power Usage Effectiveness). Jest to iloraz mocy pobieranej przez wyposażenie zainstalowane w centrum danych, oraz moc potrzebną do funkcjonowania sprzętu IT (serwery, przełączniki, pamięci masowe i inne urządzenia). Współczynnik będzie tym bardziej korzystny, im bliższy będzie wartości 1. Metoda ta pozwala określić ile energii przypada na działanie wyposażenia, a ile na urządzenia IT. By uzyskać rzeczywiste wyniki, warto przeprowadzać to badanie przez cały rok.

Krok drugi - optymalizacja przepływu powietrza

Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni
Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni

Właściwy przepływ powietrza jest konieczny, by utrzymać odpowiednią temperaturę w serwerowni. Wzrastająca wydajność obliczeniowa sprzętu generuje większe ilości gorącego powietrza, które należy w sposób odpowiedni odprowadzać. Jednym z problemów jest powstawanie tzw. gorących punktów (z j. ang. host spot), czyli miejsc, w których kumuluje się duża ilość ciepła. Inną przyczyną, która istotnie wpływa na pracę centrum danych i większy pobór energii elektrycznej, jest mieszanie się gorącego powietrza z chłodnym. Często zdarza się to, kiedy w szafie rack są puste miejsca, przez które ucieka powietrze. Rozwiązaniem może być wówczas zamontowanie w szafach paneli maskujących i oddzielenie fizyczne stref chłodu i ciepła. W charakteryzacji przepływu powietrza w serwerowni (szczególnie na etapie projektowania) pomoże zastosowanie modelowania obiegu  powietrza, do którego wykorzystuje się programy komputerowe typu CFD (z j. ang. Computational Fluid Dynamics).

Krok trzeci - zwiększenie temperatury wewnątrz serwerowni

Sposobem na obniżenie kosztów związanych z eksploatacją serwerowni jest również podwyższenie temperatury w strefach zimnych pomiędzy szafami IT w serwerowni. Serwery mogą bezpiecznie pracować w temperaturze nawet 27 stopni Celcjusza, co potwierdzone jest przez specjalistyczne instytucje i producentów sprzętu.

Krok czwarty -  wykorzystanie energooszczędnego sposobu chłodzenia

Sprzyjające warunki atmosferyczne wykorzystuje się również do schłodzenia serwerowni za pomocą systemów oszczędnego chłodzenia (tzw. free cooling). Dzięki tej metodzie możemy odprowadzić ciepło bez użycia sprężarek chłodniczych, wykorzystując jedynie niską temperaturę na zewnątrz. W naszych warunkach klimatycznych sprawdza się z powodzeniem, bo free cooling może pracować nawet przez kilka miesięcy w ciągu roku. Dzięki temu znacznie wpływa na zmniejszenie poboru prądu.

Wymienione tutaj sposoby optymalizacji chłodzenia serwerowni i idącej za tym redukcji kosztów utrzymania centrum danych nie wyczerpują zagadnienia. Część z nich jest bardzo łatwa i niedroga do wykonania w już istniejącej serwerowni (zwiększenie temperatury w serwerowni, separacja stref chłodu i ciepła, zastosowanie paneli maskujących w szafach serwerowych), natomiast zastosowanie free coolingu wymaga już sporych nakładów finansowych i wykonania prac instalacyjnych.