Kategoria: Projektowanie

W tej kategorii znajdziesz praktyczne porady dotyczące procesu projektowania serwerowni czy centrum danych.

Opublikowano

Klasyfikacja Tier coraz częściej pojawia się w kontekście charakteryzowania obiektów data center. Właściciele centrów danych zamieszacją w materiałach reklamowych i na stronach internetowych informacje o konkretnej klasie Tier swojego obiektu. Nawet w wytycznych projektowych można już spotkać tajemniczy zapis dotyczący klasy planowanego centrum danych. Czy jednak są to realne do osiągnięcia i prawidłowo określone wymagania? Czym w ogóle jest klasyfikacja Tier? Skąd wywodzi się termin Tier i jak go wymawiać? Gdzie znaleźć wytyczne dla poszczególnych klas? Postanowiłem sprawę dogłębnie rozeznać i przedstawić fakty, które pomogą uporządkować temat.

Czym jest klasyfikacja Tier?

Klasyfikacja Tier służy do określenia poziomu dostępności i niezawodności infrastruktury (fizycznej - zasilanie, chłodzenie, architektura budynku itp.) centrum danych. Im wyższy numer tym bardziej niezawodny i bezpieczny system. Przy czym, jak wyjaśniam poniżej, istnieją dwa główne, różniące się między sobą, zbiory wymagań za którymi stoją dwie różne instytucje.

Geneza terminu tier

Wyraz tier, zaczerpnięty do klasyfikacji obiektów data center pochodzi od angielskiego "tier" oznaczającego poziom lub standard. Można go wymawiać zapewne po polsku tak jak się pisze, lub bardziej prawidłowo zgodnie z zasadami języka angielskiego, co brzmi prawie jak "tir" (znaczenie i wymowa).

Po raz pierwszy - oficjalnie - określenia "tier" do klasyfikacji poziomu dostępności centrum danych użyła firma The Uptime Institute (zwana dalej również Uptime lub Instytut) mniej więcej w roku 1990 [1]. Jednym z pierwszych dokumentów definiujących poziomy wydajności (Tiery) był "Industry Standard Tier Classifications Define Site Infrastructure Performance" z roku 2001 (dostępny w Internecie), który opisywał wytyczne konfiguracji infrastruktury technicznej oraz określał za pomocą wartości procentowej minimalny poziom dostępności systemu dla każdej z klas Tier I, II, III, IV.

W roku 2005 klasyfikacja ta została zapożyczona i poszerzona przez organizację Telecommunications Industry Association (TIA) do opracowania pierwszego standardu definiującego infrastrukturę telekomunikacyjną centrum danych, normy TIA-942 z 2005 roku o nazwie "Telecommunications Infrastructure Standard for Data Centers", który jest do dzisiaj najbardziej popularnym standardem wykorzystywanym do projektowania centów danych (został on uaktualniony w latach 2008 i 2010 - niestety nie posiadam tych wersji). Fakt zapożyczenia klasyfikacji Tier od The Uptime Institute jest kilkakrotnie wspominany w treści normy.

Czy klasyfikacja Rated wg. normy TIA-942 jest tym samym, co klasyfikacja Tier wg. wytycznych The Uptime Institute?

Nie, klasy te nie są tym samym, ponieważ różnią się od siebie i to fundamentalnie. Do wersji TIA-942-A była używana klasyfikacja Tier jednak różniła się w zapisie od Tier The Uptime Instytute, który to stosował rzymskie cyfry I, II, III, IV (Tier I, Tier II, Tier III, Tier IV) natomiast TIA-942 oznaczała cyframi arabskimi 1, 2, 3, 4 (Tier 1, Tier 2, Tier 3, Tier 4). Taka klasyfikacja może się jeszcze pojawiać w starszych materiałach. To się jednak zmieniło od wersji TIA-942-B gdzie zastosowano klasyfikację Rated-1, 2, 3, 4.

Klasyfikacja TIA 942 Rated

Klasyfikacja Rated wg. TIA-942

TIA-942 definiuje szereg wytycznych dla czterech klas Rated (kilkanaście stron tabel, kilkaset pozycji, wiele stron opisów) dotyczących min.

  • telekomunikacji,
  • konstrukcji budynku, logo
  • zadaszenia,
  • elementów budynku,
  • pomieszczeń,
  • dróg transportowych,
  • miejsc magazynowych i przechowywania paliwa,
  • bezpieczeństwa fizycznego budynku,
  • odporności ścian, systemów bezpieczeństwa,
  • instalacji elektrycznych i jej komponentów,
  • instalacji mechanicznych - chłodzenia i wentylacji,
  • systemów przeciwpożarowych.

Tabele te pozawalają na przeanalizowanie krok po kroku spełniania kolejnych wymogów przez klasyfikowany obiekt. Należy pamiętać, że niespełnienie choćby jednej pozycji dyskwalifikuje oczekiwany poziom Rated.

W opinii The Uptime Institute wytyczne te są oderwane od potrzeb biznesowych użytkownika obiektu, identyczne dla wszystkich rodzajów działalności i dla różnych potrzeb związanych z funkcjonowaniem centrum danych. Przez to są, w jego opinii, niewłaściwe.

Klasyfikacja Tier wg. The Uptime Institute

upiW przeciwieństwie do rozbudowanych i identycznych dla każdego obiektu data center, szczegółowych wytycznych normy TIA-942, Uptime bardziej koncentruje się na przekazaniu idei dostosowania centrum danych do konkretnych potrzeb biznesowych użytkownika i nie posługuje się przy tym wypunktowanym zestawami zaleceń. Sprawia to, że nie jesteśmy w stanie ocenić samodzielnie czy spełniamy kryteria którejkolwiek klasy Tier, ponieważ nie są one znane a nawet będą różne dla różnych przypadków.

Uptime posługuje się dwoma dokumentami (dostępnymi po zarejestrowaniu i zalogowaniu tutaj) określającymi kryteria dla poszczególnych klas.

Pierwszy - "Data Center Site Infrastructure Tier Standard: Topology" - określa główne założenia topologi systemu dla poszczególnych klas Tier, przy czym każda kolejna klasa jest rozszerzeniem poprzedniej, i tak mamy:

  • Tier I: System nieredundantny. Infrastruktura centrum danych umieszczona w dedykowanym obszarze poza przestrzenią biurową.
  • Tier II: Podstawowa redundancja. Systemy zasilania i chłodzenia posiadają redundantne komponenty.
  • Tier III: Infrastruktura niezależnie zarządzalna. Brak wpływu zarządzania i wymiany komponentów infrastruktury na pracę systemu IT.
  • Tier IV: Infrastruktura odporna na awarie. Odporność na pojedyncze, nieplanowane zdarzenia, takie jak pożar, wyciek czy eksplozja.

Drugi - " Data Center Site Infrastructure Tier Standard: Operational Sustainability" - określa czynności jakie należy wykonywać oraz procedury jakie należy stosować, aby zapewnić odpowiednią trwałość i niezawodność operacyjną centrum danych odpowiedniej klasy Tier. Jak wynika z dokumentu, poziom dostępności i niezawodności data center jest wynikiem połączenie wytycznych topologi określonego Tier oraz sposobu zarządzania infrastrukturą. Wymagane procedury i  czynności zestawione są w formie tabel i dotyczą 3 obszarów:

  1. Zarządzenia i operacyjność. Kwestie dotyczące:
    • zatrudnienia odpowiedniej kadry i organizacji pracy (pracownicy oraz ich dostępność na zmianach, kwalifikacje zawodowe, organizacja pracy - raportowanie, przepływ informacji, określenie stanowisk i odpowiedzialności);
    • zasad i czynności związanych z zarządzeniem i utrzymaniem centrum danych (program prewencyjnego zarządzania, zasady utrzymania czystości, zarządzanie systemami, zasady wsparcia i kontaktu z dostawcami, planowanie czasu życia komponentów itp.);
    • rodzaju szkoleń dla pracowników i dostawców elementów systemu;
    • planowania, koordynowania i zarządzania (polityki i instrukcje działania, proces finansowania, dokumenty odniesienia, zarządzanie dostępną pojemnością centrum danych) itp.
  2. Charakterystyka budynku. Kwestie dotyczące:
    • czynności jakie powinny mieć miejsce przed uruchomieniem systemu (procedury odbioru budowy związane z dokładnym przetestowaniem instalacji i urządzeń itp.);
    • cech budynku (budynek celowo wybudowany na potrzeby data center, wydzielenie wskazanych funkcji do osobnych pomieszczeń - poza serwerownię, zabezpieczenia fizyczne przed dostępem nieuprawnionych osób);
    • opcjonalności infrastruktury (możliwość łatwego zwiększenia pojemności i możliwości centrum danych, wsparcie operacyjności - mechaniczne i automatyczne rozwiązania ułatwiające utrzymanie działania systemu).
  3. Lokalizacja obiektu. Wytyczne określające
    • ryzyko związane z naturalnymi kataklizmami;
    • ryzyko związane z bliską działalnością ludzką, która mogłaby mieć wpływ na bezpieczeństwo obiektu (odległość portu lotniczego, autostrady itp.).

Warto podkreślić, że ani TIA-942 ani Uptime nie posługują się w tych normach i dokumentach określaniem procentowym lub czasowym poziomu dostępności (np. 99,9 % w roku). Instytut przestał również używać jakichkolwiek rysunków schematycznych, które można było wcześniej znaleźć w ww. dokumentach. Ponadto żadna z instytucji nie przewidziała możliwości wystąpienia klas częściowych lub niepełnych, jak np. Tier II+ lub Rated-3 bez spełnienia jednego warunku, albo prawie Rated-4. I na koniec tego akapitu - Tier I lub Rated-1, wbrew pozorom, wymaga spełnienia pewnych warunków i na pewno nie można ich przypisać za sam fakt uruchomienia centrum danych. Dlatego uważam, że nawet najniższy poziom jest powodem do dumy, ponieważ wiele obiektów jest poniżej tej klasyfikacji.

Zasady certyfikacji centrów danych

Obecnie możliwa jest certyfikacja centrów danych, w kontekście klasyfikacji Tier, tylko i wyłącznie przez The Uptime Institute, co można wyczytać na stronie Instytutu. Ponadto Uptime zaznacza, że należy szczególnie uważać na obiekty, które same sobie przydzieliły poziom Tier.  Na stronie można również znaleźć spis wszystkich, dotychczas certyfikowanych centrów danych i dokumentacji oraz mapę ich lokalizacji.

Proces certyfikacji polega na zgłoszeniu się do Instytutu, po czym otrzymamy scenariusz działania oraz ofertę cenową. Cena będzie pokrywała wszystkie koszty związane z przyjazdem osób certyfikujących, ich zakwaterowaniem i czasem pracy związanym z dostosowywaniem planów obiektu do wytycznych jakie przedstawią eksperci.

Dla doprecyzowania, Uptime wyróżnia 3 rodzaje certyfikacji, każda płatna osobno.

  1. Certyfikat dokumentacji projektowej (Tier Certification of Design Documents).
  2. Certyfikat istniejącego/wybudowanego centrum danych (Tier Certification of Constructed Facility).
  3. Certyfikat niezawodności operacyjnej istniejącego obiektu (Operational Sustainability Certification).

Szkoda, że po weryfikacji i certyfikacji dokumentacji projektowej nie można automatycznie otrzymać certyfikatu dla wybudowanego data center, ale pewnie panowie z Instytutu wolą się upewnić, czy wszystko jest na 100% prawidłowo i czy czegoś nie przeoczyliśmy. Niemniej można certyfikować istniejące centrum danych jeśli tylko spełni odpowiednie wymagania.

Uptime prowadzi również certyfikację osób zajmujących się tematyką centrów danych:

  1. Projektantów, inżynierów, kierowników prac projektowych - Accredited Tier Designer (ATD).
  2. Menadżerów, konsultantów, architektów, kierowników projektów, inżynierów sprzedaży, architektów sieciowych  - Accredited Tier Specialist (ATS).

Koszt szkolenia, na dzień dzisiejszy, to 4 985 USD plus koszty transportu na miejsce szkolenia za granicą (z reguły jedna lokalizacja dla całego kontynentu - w naszym przypadku Londyn) oraz noclegu i wyżywienia. Szkolenie trwa 3 dni i kończy się egzaminem.

Warto mieć na uwadze fakt, że The Uptime Institute jest firmą prywatną, opierającą się na własnym doświadczenie i własnym programie techniczno-marketingowym. Nie jest to organizacja normalizacyjna ani mogąca wyznaczać obowiązujące standardy - w przeciwieństwie do TIA.

Jeśli chodzi o kwestię certyfikacji w przypadku TIA i normę TIA-942, to TIA również oferuje możliwość certyfikacji obiektu. Po więcej informacji odsyłam do oficjalnej strony TIA.

Podsumowanie

Twórcą i inicjatorem klasyfikacji Tier jest The Uptime Institute. Jedyną instytucją, która może ocenić klasę Tier centrum danych w kontekście zaleceń The Uptime Institut jest właśnie ta organizacja, wobec czego samodzielne stwierdzenie jakiejkolwiek klasy bez możliwości potwierdzenia tego faktu na stronach Instytutu będzie nieprawdą. Klasy Tier Uptime oznacza się rzymskimi cyframi I, II, III, IV. Klasy Tier TIA-942 przed wersją B oznaczało się cyframi arabskimi 1, 2, 3, 4. Od wersji B klasyfikacja oznaczana jest jako Rated-1, 2, 3, 4. Samodzielnie możemy nieoficjalnie klasyfikować centrum danych wg. TIA-942 jeśli faktycznie obiekt spełnia wszystkie wytyczne dla danego Tier opisane w normie. Wtedy możemy śmiało pisać np. "centrum danych zgodne z wytycznymi Rated-3 (lub 1, 2, 4) normy TIA-942". Pamiętajmy jednak, że część z tych wytycznych da się sprawdzić nie wchodząc nawet do przedmiotowego centrum danych, dlatego lepiej postępować ostrożnie i uczciwie. Warto skorzystać z płatnej certyfikacji TIA 942.

Zapraszam do dyskusji!

[1]. Uptime, TIA and BICSI: Who runs the data center design standards show?

Opublikowano

Kontynuując tematykę zabezpieczeń przeciwpożarowych serwerowni zamieszczam odnośnik do krótkiego filmiku prezentującego montaż Stałego Urządzenia Gaśniczego. Co prawda przedstawiony montaż odbywa się w pomieszczeniu archiwum, niemniej jednak sposób wykonywania instalacji jest adekwatny do przypadku serwerowni. Oczywiście szczegóły projektowe i elementy instalacji (szczególnie prowadzenie rur i lokalizacja czujek) będą się różniły, choćby ze względu na obecność technicznej podłogi podniesionej, sufitu podwieszanego czy zabudowy przestrzeni pomiędzy szafami (strefy chronione).

Materiał jest własnością firmy Pliszka i dobrze, że został przez nią umieszczony w Internecie, ponieważ brakuje takich przykładów realizacji w Polsce, wykonywanych przez polskie firmy.

 

Opublikowano

Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.

Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.

Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.

tsps
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.

Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.

W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.

test_szczelnosci_pomieszczenia_serwerowniNa skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.

Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".

Opublikowano

Artykuł przedstawia przykład modelowania chłodzenia serwerowni, wykonanego za pomocą specjalistycznego oprogramowania typu CFD (ang. computational fluid dynamics), w celu przeanalizowania poprawności projektowanego systemu chłodzenia urządzeń w pomieszczeniu serwerowni. 

Omawiany przypadek modelowania wykonano na potrzeby związane z projektowaniem serwerowni znajdującej się centrum danych, którego użyłem jako przykładu w innym moim artykule, do przeczytania którego namawiam.

Dla przypomnienia, analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Przy projektowaniu systemu klimatyzacji serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza (modelowanie chłodzenia serwerowni) przy użyciu programu typu CFD. Badania te pomogły ocenić efektywność systemu i poprawić wskazane błędy na etapie, kiedy jest to najłatwiejsze i najmniej kosztowe, czyli na etapie projektowania centrum danych. Poniżej przedstawiam kilka symulacji dla opisywanej serwerowni. Były one przeprowadzane dla pełnego obciążenia mocy przeznaczonej dla sprzętu IT.

Poniższy rysunek nr 1 przedstawia zrzut ekrany programu w trakcie wykonywania symulacji trójwymiarowej obiegu powietrza w omawianej serwerowni. Przedstawia on jak na uchwyconej wysokości nad podłogą techniczną rozmieszczone jest powietrze o zróżnicowanej temperaturze. Wyraźnie widać, że w strefie pomiędzy szafami jest chłodniej niż poza nimi. Po kliknięciu w rysunek widoczna będzie jego większa i bardziej czytelna wersja.

Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 2 przedstawia fragment symulacji trójwymiarowej, pionowej, na której widać w innej perspektywie rozmieszczenie powietrza i jego temperatury.

Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 3 przedstawia już nieco inny model symulacji, w którym to sprawdzane są potencjalne przebiegi prądów powietrza. Zostało to przedstawione przez oprogramowanie jako swoiste sznurki symbolizujące płynące powietrze. Również tutaj kolory oznaczają odpowiednie przedziały temperaturowe zgodne z legendą.

Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.
Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.

Poniższy rysunek nr 4 przedstawia to samo, co wcześniejszy z tym, że w widoku 2D.

Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.
Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.

I powtórzenie sytuacji z rysunku nr 1 w wersji dwu wymiarowej. Bardzo ładnie na nim widać, gdzie będą panowały wyższe temperatury oraz gdzie niższe. Można również dostrzec na rysunku strzałki, które wskazują obliczone kierunki przepływu powietrza.

Rys.5. Symulacja pozioma różnic temperatury serwerowni.
Rys.5. Symulacja pozioma różnic temperatury serwerowni.

Rysunki 1, 2 i 5 przedstawiają symulację obiegu powietrza systemu chłodzenia serwerowni zależną od wysokości badanej warstwy powietrza, natomiast rysunki 3 i 4 przedstawiają obieg powietrza zależny od czasu.

Przedstawione powyżej obrazy są jedynie fragmentami modelowania, które domyślnie jest realizowana przez program jako animacja, którą można zapisać w formacie filmu wideo i dowolnie analizować sytuację dla różnych wysokości nad podłogą, różnych czasów pracy sprzętu IT czy jego obciążenia.

Podsumowanie

Komputerowe modelowanie chłodzenia serwerowni (obiegu powietrza) jest jedynym sposobem na sprawdzenie poprawności zaprojektowanego rozwiązania, ponieważ odwzorowuje ono w miarę dokładnie rzeczywiste warunki. Nie jest to jednak rozwiązanie zalecane do badania łatwych przypadków, kiedy to doświadczenie projektanta jest wystarczającym pewnikiem poprawności zaprojektowanego systemu. Modelowanie takie jest dosyć kosztowne ze względu na konieczność posiadania odpowiedniej licencji programowej oraz umiejętności wykorzystania systemu.

 

Opublikowano

Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.

Przykład instalacji wczesnej detekcji dymu w serwerowni
Przykład instalacji wczesnej detekcji dymu w serwerowni

W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.

W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.

Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).

W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.

Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).

Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.

Opublikowano

Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.

Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).

Główne parametry omawianego centrum danych:

  • Powierzchnia całego centrum danych: około 200 m2
  • Powierzchnia serwerowni: 110m2
  • Moc elektryczna przeznaczona na sprzęt IT: 180 kW
  • Podział gęstości mocy: 2 strefy
  • Zabudowy chłodnych korytarzy
  • Klimatyzacja rzędowa

Aranżacja pomieszczenia serwerowni i UPS-owni  

Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.

Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).
Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).

 

Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.

Instalacje elektryczne

Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.

Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.

W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.

Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.

System zasilania gwarantowanego oraz rezerwowanego

W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.

Systemy bezpieczeństwa.

  • KD – Kontrola dostępu

System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.

  • SSWiN – System sygnalizacji włamania i napadu

System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.

  • CCTV – System telewizji przemysłowej

System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.

System przeciwpożarowy

Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.

Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.

 Szafy sererowe

Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.

Trasy kablowe

Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.

Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)

Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.

Podsumowanie

Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.