Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.

Przykład instalacji wczesnej detekcji dymu w serwerowni
Przykład instalacji wczesnej detekcji dymu w serwerowni

W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.

W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.

Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).

W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.

Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).

Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.

Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.

Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).

Główne parametry omawianego centrum danych:

  • Powierzchnia całego centrum danych: około 200 m2
  • Powierzchnia serwerowni: 110m2
  • Moc elektryczna przeznaczona na sprzęt IT: 180 kW
  • Podział gęstości mocy: 2 strefy
  • Zabudowy chłodnych korytarzy
  • Klimatyzacja rzędowa

Aranżacja pomieszczenia serwerowni i UPS-owni  

Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.

Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).
Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).

 

Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.

Instalacje elektryczne

Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.

Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.

W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.

Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.

System zasilania gwarantowanego oraz rezerwowanego

W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.

Systemy bezpieczeństwa.

  • KD – Kontrola dostępu

System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.

  • SSWiN – System sygnalizacji włamania i napadu

System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.

  • CCTV – System telewizji przemysłowej

System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.

System przeciwpożarowy

Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.

Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.

 Szafy sererowe

Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.

Trasy kablowe

Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.

Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)

Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.

Podsumowanie

Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.

Dlaczego projekt serwerowni jest kluczowym etapem całego procesu realizacji centrum danych? Postaram się to wyjaśnić w niniejszym artykule.

W pewnym momencie funkcjonowania firmy okazuje się, że niewielkie pomieszczenie lub biuro, które wcześniej było idealne dla utrzymania kilku serwerów staje się za małe i nie zapewnia podstawowych warunków dla pracy większej ilości sprzętu. W innej firmie- system IT może na tyle się rozrosnąć, że nawet najlepiej wykonana serwerownia po prostu nie ma możliwości fizycznych na przyjęcie kolejnych urządzeń.

Jak się zabrać za podobny problem? Kto powinien się tym zająć? Komu zlecić projekt? Komu wykonanie? Jak ocenić prawidłowość poszczególnych kroków? Jak ogarnąć całość? Jak sprawdzić poprawność działania systemów?

Zgodnie z tym, co napisałem w dziale "Praktyka", można wyróżniamy cztery podstawowe fazy budowy serwerowni lub centrum danych:

1. Przygotowanie do projektowania, na co może się składać wykonanie:

2. Projektowanie, czyli wykonanie:

3. Realizację (budowa).

4. Serwis i utrzymanie.

Na etapie sporządzania projektu serwerowni (projektowani) podejmowane są najważniejsze decyzje, które mają ogromny wpływ na kolejne fazy oraz wszystkie aspekty i całościowy bilans budowy serwerowni lub centrum danych. Działa tutaj zasada kaskadowa i błędy popełnione w pierwszym etapie powielają się i zwiększają problemy oraz koszty w dalszych fazach.

_MG_0181
Projekt powinien przewidzieć wszelkie elementy serwerowni. Zmiany po wybudowaniu są znacznie bardziej kosztowne i trudne.Last.fm / Foter / CC BY-SA

 

Dlaczego projekt jest kluczowy?

W serwerowni znajduje się wiele instalacji różnych branż (m.in. elektryczna, klimatyzacji, systemów bezpieczeństwa, przeciwpożarowa, budowlana), z których do dyspozycji mamy po kilka rozwiązań, proponowanych przez konkurencyjne firmy. Wszystkie - mniej lub bardziej różnią się między sobą pod względem kosztów utrzymania, wydajności, niezawodności, warunków serwisu, sposobu instalacji, skuteczności działania itp.

Dla przykładu - dwa urządzenia, które działają identycznie pobierają różną ilość prądu. Biorąc pod uwagę średni czas życia serwerowni (10-15 lat) oraz mnogość instalacji i systemów daje to ogromne oszczędności albo dodatkowe koszty utrzymania serwerowni, co często przekracza koszt samej realizacji (budowy). W przypadku aspektu wydajnościowego jest podobnie. Urządzenia o zbliżonej cenie mogą przynosić różne efekty. Nie zapominajmy o niezawodności, ponieważ niektóre sprzęty statystycznie częściej ulegają uszkodzeniu od innych. Warunki serwisu określą nam, na jakiej zasadzie odbywa się naprawa. Koszt serwisu wchodzi w koszt utrzymania. Każdy system w serwerowni wymaga serwisowania dla zachowania warunków gwarancji i przede wszystkim sprawności. Kilka przeglądów w roku, razy koszt jednostkowy, razy liczba lat eksploatacji systemu, równa się duży koszt i duże różnice dla różnych rozwiązań.

Wielkim wyzwaniem jest pozornie łatwe do wykonania architektoniczne zaaranżowanie pomieszczenia. Tymczasem błędy projektowe mogą mieć różnego rodzaju poważne konsekwencje - np. niemożność wstawienia kolejnej szafy, UPS-a czy klimatyzatora, podczas gdy przy innym ustawieniu widać, że nie byłoby z tym najmniejszego problemu. Podczas aranżacji, która jest kluczowa, należy wziąć pod uwagę wszystkie instalacje i systemy tak, aby razem pozostawały ze sobą w harmonii.

Wielu architektów projektując np. budynki biurowe, gdzie większość najemców potrzebuje profesjonalnych miejsc na zainstalowanie sprzętu IT, nie bierze pod uwagę wymagań i parametrów niezbędnych do zapewnienia takiej możliwości. W efekcie pomieszczenie nazwane w projekcie architektonicznym budynku „serwerownią” jest zbyt małe i nieprzemyślane pod względem możliwości wykonania w nim niezbędnych instalacji wchodzących w skład serwerowni. W takim wypadku lepiej nazwać to „pomieszczeniem krosowym” lub „punktem dystrybucyjnym sieci LAN”.

Kilka pytań przed…

Zanim przystąpimy do budowy serwerowni powinniśmy postawić sobie dwa kluczowe pytania: „po co nam serwerownia” oraz „jakie parametry ma zapewnić”. Uwzględnienie w projekcie odpowiedzi na te zagadnienia, świadczy o tym, że projektant miał cały czas na uwadze właściwy cel zadania. Jednocześnie dla kogoś, kto będzie realizował na podstawie tych założeń serwerownię, jasna będzie zasadność zaprojektowanych rozwiązań lub też (dzięki swojemu doświadczeniu) będzie mógł przeanalizować wspólnie z projektantem i inwestorem sensowność ich zastosowania.

- Takie analizy powinny być przeprowadzone na początku drogi i jasno określone w dokumentacji projektowej bo już po uruchomieniu serwerowni mogą doprowadzić do niemiłych wniosków i kosztownych modernizacji. Niestety czasami w praktyce brak jest informacji o celach. Projekt sprawia wrażenie jakby był oderwany od realnych potrzeb użytkownika, a cały proces realizacji serwerowni może doprowadzić do niewłaściwego efekt.

W jakim celu planujemy budowę serwerowni lub centrum danych?

Projekt serwerowni powinien zawierać w miarę dokładną informację na temat celu, jakim kieruje się inwestor, Może to być np. proste zorganizowanie sieci lokalnej i pewnej liczby serwerów potrzebnych do codziennej pracy firmy, co na etapie ustalania wytycznych do projektu uznano np. jako system mało krytyczny; w innym przypadku serwerownia będzie centrum obliczeniowym dla nowo powstającego systemu informatycznego, na którym będzie się opierał cały biznes firmy a dostęp do niego musi być zagwarantowany przez cały czas (24/7/365), co na etapie ustaleń zakwalifikowano jako system krytyczny. Różne potrzeby wyznaczają różne podejścia do projektowanej infrastruktury.

Jakie parametry ma zapewnić serwerownia?

Wyjaśnienie tej kwestii wynika z informacji zawartych w odpowiedzi na pytanie ”w jakim celu planujemy budowę serwerowni lub centrum danych” i tak samo musi być dokładnie sprecyzowane w fazie przygotowania do projektowania. Dużą rolą jest tutaj wiedza projektanta lub koordynatora całego procesu budowy serwerowni, ponieważ użytkownik po prostu może nie wiedzieć dokładnie, jak wszystko rozwiązać i tak naprawdę zwrócił się do kogoś, kto ma mu w tym pomóc. Określenie parametrów jest kluczowe dla zapewnienia wysokiej dostępności, niezawodności, bezpieczeństwa, możliwości rozbudowy i wielu innych czynników. Im wyższe wymagania tym większy koszt realizacji inwestycji jednak korzyści dla biznesu są dużo większe. W przypadku systemu mało krytycznego, nie ma sensu inwestować w drogie do zapewnienie parametry, jeśli po prostu nie są one konieczne. Z drugiej strony, dla przypadku systemu krytycznego, nieuwzględnienie takich założeń może mieć różnorodne, negatywne skutki i nie zapewnić spełnienia celu inwestycji.

Fachowiec najważniejszy

Sprzęt serwerowy mocno się zmienia, średnio co 3-4 lata rozsądna jest wymiana na nowszy technologicznie, bardziej wydajny i energooszczędny. Nie oznacza to jednak, że z czasem liczba urządzeń będzie malała, ponieważ zapotrzebowanie na moc obliczeniową stale wzrasta. Wraz z pojawieniem się lepszych sprzętów, zmieniają się także systemy i instalacje serwerowni. Biorąc pod uwagę ich mnogość i liczbę producentów - dysponowanie wiedzą na temat nowoczesnych rozwiązań, czy nowinek technologicznych, wymaga dużego zaangażowania i wielu szkoleń.

Biura projektowe, których głównym celem nie są serwerownie i zajmują się nimi raczej „przy okazji” rzadko kiedy mają możliwość pracować przy zrealizowanym projekcie, nie otrzymują zgłoszeń serwisowych ani informacji zwrotnych od użytkowników na temat poprawności działania zaprojektowanych systemów. Często projekty branżowe nie są ze sobą skoordynowane. W praktyce instalacje mogą być ze sobą niezgrane i wzajemnie się wykluczać.

Firmy, które kompleksowo realizują serwerownie (od projektu po wykonanie i utrzymanie) specjalizują się w tej tematyce i są na bieżąco ze wszystkimi wymaganiami dotyczącymi zagadnień IT. Przydzielają osobę koordynującą całość procesu projektowania i realizacji serwerowni dla utrzymania spójności na każdym etapie. Współpracują również z biurami projektowymi koordynując prace, dając wytyczne dotyczące zastosowanych rozwiązań, analizując ich stosowność dla całego cyklu życia serwerowni. Dużą wagę przywiązują do szkoleń, edukacji i zdobywania informacji na temat najnowszych rozwiązań technologicznych w tematyce. Prowadząc proces budowy serwerowni wyciągają wnioski i poprawiają to, co mogło być wcześniej niewłaściwie dobrane. W okresie serwisowania dostają zgłoszenia i uwagi od użytkowników, dzięki czemu wiedzą, jakie rozwiązania sprawdzają się najlepiej, a jakie nie. Biura projektowe, oderwane od realizacji serwerowni i jej utrzymania, nie mają tego doświadczenia, co sprawia, że konieczność zmian w kolejnych projektach może nie być oczywista. Powierzenie całej inwestycji wyspecjalizowanej firmie już na etapie koncepcji biznesowej jest najbardziej skutecznym podejściem.

Koszt projektu serwerowni to tylko kilka procent wartości realizacji i jeszcze mniej procent całkowitego kosztu posiadania (z j. ang. TCO - Total Cost of Ownership). Projekt ma ogromne i kluczowe znaczenie dla tego wyniku, więc lepiej podejść do sprawy mądrze.

Ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym (system gaszenia gazem serwerowni), przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. W tym wpisie omawiam systemy gaszenia gazem (SUG). Wspomniałem o nim wcześniej w dziale praktyka.

Butla instalacji SUG ze środkiem gaśniczym w serwerowni
Butla instalacji SUG ze środkiem gaśniczym w serwerowni

Stałe urządzenia gaśnicze oparte o środki gaśnicze HFC227ea (FM®200[1]) lub FK-5-12 (C6F12O, NovecTM1230[2]) składają się z jednej lub wielu butli zawierających środek gaśniczy, zaworów z wyzwalaczami, orurowania oraz dysz. Ilość środka gaśniczego dobierana jest do kubatury pomieszczenia, przy założeniu odpowiedniego bezpiecznego stężenia, określonego przez polskie i europejskie normy. Elementem detekcyjnym oraz sterującym stałe urządzenie gaśnicze jest centrala automatycznego gaszenia, pełniąca również rolę systemu alarmu pożaru (SAP) np. IGNIS 1520M produkcji Polon-Alfa. Centrala posiada dwie linie detekcyjne, do których podłączone są czujki pożarowe, umieszczone we wszystkich strefach serwerowni – pod podłogą technologiczną, nad sufitem podwieszanym oraz przestrzeni głównej pomieszczenia. Linie działają w trybie koincydencji, co oznacza, że wysterowanie uruchomienia procedury gaszenia następuje dopiero w momencie wykrycia dymu poprzez czujki z dwóch różnych linii dozorowych. Zapobiega to wyzwoleniu środka gaśniczego w przypadku fałszywego alarmu.

Wykrycie dymu przez jedną z czujek spowoduje wywołanie alarmu I stopnia i uruchomienie sygnalizacji wizualno-optycznej. W tym momencie użytkownik może podejść do serwerowni i sprawdzić co spowodowało uruchomienie systemu pożarowego. Jeśli dym zostanie wykryty przez przynajmniej dwie czujki, ale pochodzące z różnych linii dozorowych, nastąpi wywołanie alarmu II stopnia i rozpocznie się procedura gaszenia, która poprzedzona będzie sygnalizacją optyczną plafonów znajdujących się nad wejściem i wyjściem z serwerowni, informujących o nakazie opuszczenia pomieszczenia oraz zakazie wchodzenia do jego wnętrza. Po upływie określonego czasu nastąpi wyzwolenie środka gaśniczego i ugaszenie zarzewia pożaru.

Aby zarzewie pożaru zostało skutecznie ugaszone, środek gaśniczy powinien utrzymywać się w pomieszczeniu przez przynajmniej 10 min. (tzw. czas retencji), dlatego też, bardzo ważne jest zapewnienie na etapie wykonywania serwerowni odpowiedniej szczelności pomieszczenia oraz skoordynowanie pozostałych systemów (np. wentylacji, klimatyzacji, zasilania) w celu ich odpowiedniego zadziałania w czasie procedury gaszenia. Szczelność pomieszczenia badana jest przed oddaniem systemu do użytkowania poprzez wykonanie pomiarów (tzw. Door Fan Test), których zadaniem jest potwierdzenie, czy spełniony jest warunek utrzymywania się odpowiedniego ciśnienia przez określony czas w chronionym pomieszczeniu.

Ze względu na znaczny wzrost ciśnienia w czasie wyzwolenia środka gaśniczego, pomieszczenie serwerowni wyposażane jest w klapę odciążającą (dekompresującą), która pozwoli na rozładowanie ciśnienia w pomieszczeniu w momencie wyzwolenia środka gaśniczego. Klapa montowana jest w ścianie zewnętrznej serwerowni i zabezpieczana środkami biernej ochrony przeciwpożarowej.

W serwerowni oraz przed jej wejściem montuje się przyciski, umożliwiające ręczne uruchomienie (START GASZENIA) lub wstrzymanie (STOP GASZENIA) akcji gaśniczej.

W celu określenia wymaganej ilości środka gaśniczego, oraz odpowiedniej ilości i umiejscowienia dysz, orurowania, czujek pożarowych oraz procedur działania podczas wystąpienia pożaru, konieczne jest wykonanie projektu wykonawczego instalacji automatycznego gaszenia (SUG/SAP), zatwierdzonego przez rzeczoznawcę ds. ppoż.

Podsumowując, systemy automatycznego gaszenia, oparte o gazowe środki gaśnicze (systemy gaszenia gazem serwerowni), zapewniają wysoką skuteczność gaszenia, bezpieczeństwo przebywających w pomieszczeniu osób oraz brak jakichkolwiek zanieczyszczeń czy zniszczeń sprzętu IT i samego pomieszczenia, powstających w wyniku działania konwencjonalnych systemów gaśniczych (gaszenie wodą, gaśnicami proszkowymi, itp.).

-------------------------------

[1] FM®200 jest nazwą handlową środka C3HF7 (HFC227ea wg ISO) spółki DuPontTM
[2] NovecTM1230 jest nazwą handlową środka C6F12O  (FK-5-12 wg ASHRAE) spółki 3M

Chłodzenie w centrach danych jest podstawą ich sprawnego funkcjonowania. Wysoka temperatura zwiększa bowiem ryzyko awarii, co wiąże się z ewentualną utratą danych. Obecnie rozwój branży IT jest nierozerwalnie związany z coraz większym wykorzystaniem energii elektrycznej, a wpływ jaki ma na środowisko naturalne, jest jednym z najbardziej komentowanych zagadnień ostatnich lat. Proekologiczne rozwiązania stosowane w serwerowniach i centrach danych, to już nie tylko trend, ale sposób na duże oszczędności i stworzenie obiektu przyjaznego środowisku. Rosnące zużycie energii oraz wzrost jej cen powoduje, że utrzymanie centrów danych drożeje. Zapewnienie optymalnej temperatury w serwerowni ma kluczowe znaczenie dla kosztów utrzymania obiektu. Poniżej przedstawiam kilka podstawowych kroków do zmniejszenia związanych z tym kosztów.

Krok pierwszy - pomiar i analiza zużycia energii elektrycznej

Pierwszym krokiem do zminimalizowania kosztów jest pomiar i ocena zużycia energii, potrzebnej do funkcjonowania całego obiektu. Do oceny efektywności energetycznej centrum danych można posłużyć się wskaźnikiem PUE (z j. ang. Power Usage Effectiveness). Jest to iloraz mocy pobieranej przez wyposażenie zainstalowane w centrum danych, oraz moc potrzebną do funkcjonowania sprzętu IT (serwery, przełączniki, pamięci masowe i inne urządzenia). Współczynnik będzie tym bardziej korzystny, im bliższy będzie wartości 1. Metoda ta pozwala określić ile energii przypada na działanie wyposażenia, a ile na urządzenia IT. By uzyskać rzeczywiste wyniki, warto przeprowadzać to badanie przez cały rok.

Krok drugi - optymalizacja przepływu powietrza

Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni
Przykład modularnej zabudowy strefy chłodu wykonanej w istniejącej serwerowni

Właściwy przepływ powietrza jest konieczny, by utrzymać odpowiednią temperaturę w serwerowni. Wzrastająca wydajność obliczeniowa sprzętu generuje większe ilości gorącego powietrza, które należy w sposób odpowiedni odprowadzać. Jednym z problemów jest powstawanie tzw. gorących punktów (z j. ang. host spot), czyli miejsc, w których kumuluje się duża ilość ciepła. Inną przyczyną, która istotnie wpływa na pracę centrum danych i większy pobór energii elektrycznej, jest mieszanie się gorącego powietrza z chłodnym. Często zdarza się to, kiedy w szafie rack są puste miejsca, przez które ucieka powietrze. Rozwiązaniem może być wówczas zamontowanie w szafach paneli maskujących i oddzielenie fizyczne stref chłodu i ciepła. W charakteryzacji przepływu powietrza w serwerowni (szczególnie na etapie projektowania) pomoże zastosowanie modelowania obiegu  powietrza, do którego wykorzystuje się programy komputerowe typu CFD (z j. ang. Computational Fluid Dynamics).

Krok trzeci - zwiększenie temperatury wewnątrz serwerowni

Sposobem na obniżenie kosztów związanych z eksploatacją serwerowni jest również podwyższenie temperatury w strefach zimnych pomiędzy szafami IT w serwerowni. Serwery mogą bezpiecznie pracować w temperaturze nawet 27 stopni Celcjusza, co potwierdzone jest przez specjalistyczne instytucje i producentów sprzętu.

Krok czwarty -  wykorzystanie energooszczędnego sposobu chłodzenia

Sprzyjające warunki atmosferyczne wykorzystuje się również do schłodzenia serwerowni za pomocą systemów oszczędnego chłodzenia (tzw. free cooling). Dzięki tej metodzie możemy odprowadzić ciepło bez użycia sprężarek chłodniczych, wykorzystując jedynie niską temperaturę na zewnątrz. W naszych warunkach klimatycznych sprawdza się z powodzeniem, bo free cooling może pracować nawet przez kilka miesięcy w ciągu roku. Dzięki temu znacznie wpływa na zmniejszenie poboru prądu.

Wymienione tutaj sposoby optymalizacji chłodzenia serwerowni i idącej za tym redukcji kosztów utrzymania centrum danych nie wyczerpują zagadnienia. Część z nich jest bardzo łatwa i niedroga do wykonania w już istniejącej serwerowni (zwiększenie temperatury w serwerowni, separacja stref chłodu i ciepła, zastosowanie paneli maskujących w szafach serwerowych), natomiast zastosowanie free coolingu wymaga już sporych nakładów finansowych i wykonania prac instalacyjnych.

Coraz częściej przedsiębiorcy przekonują się, że bez solidnego zaplecza IT nie jest już możliwe profesjonalne prowadzenie biznesu. Jeżeli przedsiębiorstwo potrzebuje dużej mocy obliczeniowej systemu informatycznego, a standardowe usługi firm hostingowych są niewystarczające, rozwiązaniem może być własna serwerownia. Poniżej przedstawiam w skróconej formie proces realizacji serwerowni w 10 podstawowych krokach.

What do they compute at Night ?
Arthur40A / Foter / CC BY-SA

To inwestycja, dzięki której możemy nie tylko właściwie zabezpieczyć zasoby firmowych danych, ale również mieć kontrolę nad sprzętem, który się w niej znajduje. Pozwala to uniknąć opóźnień czy zastojów, związanych z korzystaniem z usług pośredników. Ponadto w niektórych przypadkach posiadanie własnej serwerowni w dłuższej perspektywie czasu opłaca się bardziej, niż np. korzystanie z kolokacji. W tym wpisie przedstawiam 10 podstawowych kroków do budowy niewielkiej serwerowni biurowej.

Po pierwsze: bezpieczeństwo i wybór miejsca

Najczęstszym powodem podjęcia decyzji o realizacji serwerowni jest realne zagrożenie dla stabilności pracy sprzętu informatycznego. Zdarza się to np. w sytuacjach, gdy liczba hostowanego sprzętu przekracza możliwości obecnej infrastruktury. Wybudowanie serwerowni, która zapewni odpowiednie warunki może być także konieczne w sytuacji, kiedy planujemy rozbudować system IT. Na jej potrzeby można zaadoptować budynek biurowy, w którym na etapie projektu nie przewidziano takiego pomieszczenia. Jeżeli dotychczasowa serwerownia była głównym punktem dystrybucyjnym sieci komputerowej, warto wybrać pomieszczenia, które bezpośrednio z nią sąsiadują.

Niemniej ważne jest opracowanie koncepcji, która będzie prezentować rozwiązanie kluczowych problemów infrastruktury informatycznej w firmie. Dokument powinien zawierać również  szacunkowy koszt proponowanego rozwiązania (sprzęt, instalacja itp.).

[Więcej informacji o koncepcji serwerowni

Po drugie: projekt

Następnym krokiem realizacji serwerowni jest wykonanie dokumentacji projektowej. Eksperci z odpowiednimi uprawnieniami wykonują projekty branżowe, zgodnie z wytycznymi prawa budowlanego i odpowiednimi normami. Po zaakceptowaniu projektów przez inwestora, można przejść do kolejnego etapu.

[Więcej o projektach - projekt budowlany serwerowni, projekty wykonawcze serwerowni]

Po trzecie: pozwolenia na budowę

Już na etapie projektowania inwestycji, warto zadbać o  uzyskanie niezbędnych pozwoleń na budowę. Mogą one być wymagane z wielu powodów, np.:

  • Wybrane pomieszczenie było wcześniej pomieszczeniem biurowym, natomiast nowe będzie pomieszczeniem technicznym, dlatego też zaistniała potrzeba zmiany sposobu jego użytkowania;
  • System gaszenia gazem oznaczał zmianę zabezpieczeń przeciwpożarowych części budynku i wymagał uzgodnienia z rzeczoznawcą do spraw ppoż.;
  • W trakcie ekspertyzy konstrukcyjnej okazało się, że strop pod część urządzeń wymaga konstrukcji wsporczej;

[Więcej informacji o pozwoleniu na budowę]

 Po czwarte:  prace budowlane

Pamiętajmy, że wszelkie prace budowlane powinniśmy zacząć od całkowitego opróżnienia pomieszczenia, zdemontowania wykładzin, a zwłaszcza ścian, które projektanci zalecają wymienić na odporne na ogień. Demontuje się również instalacje centralnego ogrzewania, tak aby nie dopuścić do niespodziewanego wycieku wody. Równie ważna jest wymiana drzwi na bardziej wytrzymałe, zapewniające większe bezpieczeństwo serwerowni.

Kolejnym etapem realizacji serwerowni będzie położenie podłogi technicznej (jeśli jest wymagana), odpowiednio podniesionej, wg wytycznych projektanta. Jeżeli pomieszczenie ma okna, należy je wymienić na te o podwyższonym standardzie bezpieczeństwa. Dodatkowo oklejone zostają folią antyrefleksyjną, która ogranicza przenikanie promieni słonecznych. Dla wzmocnienia efektu można zastosować rolety o tej samej funkcjonalności.

[Więcej informacji o budowie serwerowni]

Water Cooling
Tim Dorr / Foter / CC BY-SA

Po piąte: instalacja klimatyzacji

System klimatyzacji serwerowni wymaga wyprowadzenia instalacji poza pomieszczenie adaptowane pomieszczeni. Można to zrobić np. kierując ją przez korytarz i klatkę schodową lub świetlik, aż na dach budynku. Szafy klimatyzacji, które posiadają nawiew pod podłogą technicznąustawia się na specjalnie przygotowanych ramach. W serwerowni wymagana również jest instalacja odprowadzenia skroplin oraz doprowadzenia wody bieżącej do nawilżacza.

[Więcej informacji o chłodzeniu i wentylacji serwerowni]

Po szóste: instalacje elektryczne

Montując instalacje elektryczne w danym obiekcie, należy doprowadzić wewnętrzną linię zasilania z głównej rozdzielni budynkowej, np. znajdującej się w piwnicy. Dla obniżenia kosztów warto wykorzystać istniejące trasy kablowe w celu doprowadzenia zasilania do pomieszczenia serwerowni. Następny etap to wykonanie w pomieszczeniu rozdzielni serwerowni oraz rozdzielni UPS. Ostatnim krokiem będzie zainstalowanie zasilacza awaryjnego np. o odpowiedniej mocy i realizacja zasilania szaf serwerowych.

[Więcej informacji o zasilaniu serwerowni]

Po siódme: system przeciwpożarowy

System przeciwpożarowy budowany jest najczęściej z podsystemów. Do najważniejszych należą:

  •  Standardowa sygnalizacja pożaru kontrolowana przez centralkę alarmową, do której podłącza się kilka konwencjonalnych czujek dymu;
  • System gaszenia gazem sterowany przez wspomnianą centralkę, zbudowany z butli z gazem oraz systemu rur rozprowadzających środek gaśniczy w odpowiednie miejsca;
  • System bardzo wczesnej detekcji dymu i jego charakterystyczne, czerwone rurki oplatające pomieszczenie;

 [Więcej informacji o systemach przeciwpożarowych serwerowni]

Po ósme: instalacje systemów bezpieczeństwa

Dla zapewnienia większego poziomu bezpieczeństwa warto zaprojektować i wykonać systemy kontroli dostępu (zwora elektromagnetyczna kontrolowana przez czytnik linii papilarnych), sygnalizację włamania i napadu (czujki otwarcia drzwi, rozbicia szkła, ruchu itp.) oraz monitoring wizyjny (kilka kamer wewnątrz pomieszczenia i na zewnątrz). Aby móc zdalnie kontrolować warunki środowiskowe oraz parametry pracy zainstalowanych urządzeń i systemów warto wykonać instalację BMS z interfejsem WWW oraz powiadomieniami SMS.

 [Więcej informacji o systemach bezpieczeństwa i systemie monitoringu środowiska i urządzeń]

Po dziewiąte:  migracja sprzętu

Kiedy już wszystko zostało sprawdzone i uruchomione można rozpocząć proces przenoszenia sprzętu serwerowego z poprzedniego pomieszczenia. Dobrym rozwiązaniem jest wykonanie tego typu prac np. w weekend, kiedy system jest nieużywany. Jeżeli sprzęt jest na gwarancji producenta cała operacja migracji wymaga odpowiedniego zgłoszenia i wykupienia nadzoru gwarancyjnego. Na koniec etapu wskazane jest przeprowadzenie kilku testów (wyłączenie zasilania, praca klimatyzatorów itp.).

Po dziesiąte: dokumentacja

Formalnym zakończeniem inwestycji jest dostarczenie przez firmę realizującą projekt budowy dokumentacji powykonawczej, która dokładnie obrazuje całość wykonanego zadania. Jeżeli na etapie budowy wprowadzono zmiany, których nie uwzględniał projekt początkowy, to należy je nanieść w dokumentacji powykonawczej. Ostatnim etapem jest podpisanie protokołu z zakończenia prac.