Tym razem chcę poruszyć temat testów obciążeniowych serwerowni / centrum danych, który ma na celu zbadanie poprawności zaprojektowanych i wykonanych instalacji klimatyzacji i zasilania serwerowni oraz prawidłowego funkcjonowania tych systemów dla docelowej, maksymalnej wartości obciążenia energetycznego.

Obciążnice w szafach serwerowych
Obciążnice w szafach serwerowych

W trakcie projektowania centrum danych i serwerowni dobierane są odpowiednie rozwiązania z zakresu klimatyzacji i zasilania, które często wynikają z solidnych obliczeń i doświadczenia projektanta bądź w wyniku sprawnych działań handlowca reprezentującego konkretnego producenta. W projekcie wszystko może wyglądać dobrze, ale czy tak będzie w rzeczywistości? Jest to już zagadka, która zazwyczaj rozwiązuje się zbyt późno - kiedy już system IT został wdrożony i każda minuta przestoju jest dramatyczna. Często jest jednak tak, że do maksymalnej, projektowanej mocy elektrycznej serwerownia zostanie obciążona dopiero po długim czasie, kiedy to już trudno będzie rościć pretensje do projektanta lub firmy wykonawczej, która również mogła przyczynić się do niewłaściwego rezultatu wykonując coś nie tak jak zostało to zaprojektowane.

Inną kwestią jest odpowiednia konfiguracja systemów chłodzenia i zasilania w tym zasilania gwarantowanego i rezerwowanego. Co z tego, że nasz system zasilaczy UPS wraz z dużą ilością baterii podtrzyma urządzenia IT nawet na 15 minut, jeśli klimatyzacja w tym czasie nie będzie działała, lub jeśli uruchomi się zbyt późno, kiedy zbyt wysoka temperatura spowoduje samoczynne wyłączanie się sprzętu IT. Co jeśli zaplanowano, że klimatyzatory tylko na chwilę się wyłączą lub będą podtrzymane zasilaniem gwarantowanym, jeśli nie będzie to zapewnione dla agregatów wody lodowej, które po zaniku napięcia potrzebują kilku minut na wznowienie działania... Tego typu pytań będzie znacznie więcej zależnie od konkretnego przypadku.

Aby uniknąć takich sytuacji należałoby wykonać testy obciążeniowe centrum danych przed odebraniem prac od wykonawcy. Tylko jak takie testy wykonać nie mając jeszcze zapełnionej serwerowni urządzeniami IT? Można to zlecić odpowiedniej firmie, która się takimi rzeczami zajmuje i posiada odpowiednią ilość obciążnic, które zasymilują działanie i wytwarzanie ciepła serwerów dla projektowanej mocy. Nie mam tutaj na myśli pojedynczej, dużej obciążnicy, która będzie stała na zewnątrz i sprawdzi poprawność jedynie instalacji zasilania, ale takich obciążnic, które zostaną zamontowane w szafach rack odpowiednio i równomiernie dla całej serwerowni.

Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci
Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci i dużego obciążenia gwarantowanych odbiorów centrum danych

Takie urządzenia, przy kontrolowanym zaniku zasilania z sieci, pozwolą na bezpieczne zbadanie wydajności klimatyzacji oraz tego, czy została ona odpowiednio dobrana dla projektowanego obciążenia, czy utrzyma bezpieczną temperaturę do czasu przejęcia zasilania przez agregat prądotwórczy, czy agregaty prądotwórcze wystartują w planowanym czasie, czy w ogóle wystartują, czy zasilacze UPS poradzą sobie z taką awarią, czy baterie wytrzymają zadany czas podtrzymania na pełnym obciążeniu itd., itp.

Z mojego doświadczenia wynika, że coś może być nie tak zaprojektowane lub wykonane, albo po prostu urządzenie lub jego element miał wadę fabryczną. To coś, w produkcyjnym środowisku byłoby bardzo poważną usterkę i miałoby negatywny wpływ na wizerunek firmy, której system nagle przestałby działać na czas nieokreślony. Dużo łatwiej i praktycznie bezkosztowo dla inwestora (wady naprawia wykonawca) można problem wyeliminować zanim będzie za późno. Dlatego też polecam dołożyć do kosztorysu inwestorskiego taki element (testy obciążeniowe centrum danych)  i zlecić te prac bezpośrednio odpowiedniej firmie, która nie będzie związana z wykonawcą testowanego centrum danych, co zapewni rzetelność badania.

analizator jakości energii
Analizator jakości energii
obciążnice 3,5 kW
Obciążnice RACK-owe symulujące pracę serwerów w ich docelowych lokalizacjach w serwerowni
obciążnica
Obciążnica większej mocy

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji").  Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41
Widok na wejście główne.
RemtechModuSec5
Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.
RemtechModuSec2
W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.
RemtechModuSec3
Kilka godzin później.
RemtechModuSec4
Widok od góry. Można po tym skakać...
RemtechModuSec6
Przejścia kablowe, szczelne i bezpieczne jak wszystko.
RemtechModuSec7
Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

 

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1
Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.
RemtechModuSecOut2
Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

  • ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
  • wodę gaśniczą,
  • długotrwałe zalanie,
  • gazy korozyjne,
  • eksplozje,
  • wandalizm (można to zobaczyć na tym filmie)
  • nieuprawniony dostęp,
  • włamanie,
  • interferencję elektromagnetyczną,
  • kurz,
  • spadające elementy,
  • dźwięk (tłumienie),
  • mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

 

 

 

 

 

Budowa centrum przetwarzania danych, czyli z jakich części składa się data center? Wyjaśniam na kolejnym przykładzie. Kolejnym, ponieważ zagadnienie podziału data center poruszyłem przy okazji pisania mojej definicji centrum danych oraz analizy różnicy pomiędzy serwerownią a centrum danych.

Mimo, iż jestem zwolennikiem używania pojęcia "centrum danych" zamiast "centrum przetwarzania danych" (moje uzasadnienie), wygląda na to, że to drugie staje się bardziej popularne od pierwszego. Jestem przez to zmuszony do używania również nazwy "centrum przetwarzania danych", ponieważ w świecie Google'a mój blog może być pominięty dla osób szukających wiedzy pod taką frazą. Wspomnę tylko szybko, że w obu przypadkach piszę o tym samych, czyli o data center.

Tak więc tym razem przedstawiam podział funkcjonalny - budowę centrum przetwarzania danych na przykładzie modelu obiektu firmy SAP [1], bez powtarzania informacji, które można znaleźć w powyżej podlinkowanych treściach.

Jak zawsze, do omawiania budowy centrum przetwarzania danych najlepiej posługiwać się modelem komputerowym, ponieważ nie sposób wykonać zdjęcia przekroju istniejącego centrum danych. Poniżej przedstawiam obraz takiego modelu. Dodatkowo zostały na nim opisane poszczególne systemy i części funkcjonalne, które są umiejscowione w osobnych pomieszczeniach, co jest podstawową cechą profesjonalnego (modelowego) data center.

mainSAPDC

Głównym i najważniejszym pomieszczeniem centrum przetwarzania danych jest serwerownia (server room). To tutaj cały proces przetwarzania (i nie tylko) ma miejsce. Tutaj w odpowiednich warunkach klimatycznych i fizycznych pracują urządzenia IT. Poniżej zdjęcie wykonane w jednym z rzędów pomiędzy szafami IT (szafami "rack").

SAPDC01

Aby sprzęt IT w serwerowni mógł niezawodnie, ciągle i bezpiecznie pracować niezbędny jest odpowiednio zaprojektowany system zasilania. Oprócz zasilania z sieci elektroenergetycznej (na niezawodność której, nie mamy wpływu) niezbędne jest wyposażenie centrum przetwarzania danych w zasilacze bezprzerwowe UPS (zabezpieczające min. przed chwilowymi skokami i zanikami napięcia) oraz  generatory prądotwórcze, które w przypadku braku zasilania z sieci zapewnią źródło prądu (tutaj już jak najbardziej mamy wpływ na niezawodność i ciągłość zasilania). Poszczególne elementy systemu zasilania profesjonalnego centrum przetwarzania danych powinny być zlokalizowane w osobnych pomieszczeniach. Więcej o zasilaniu pisałem na stronie Zasilanie serwerowni w dziale Praktyka.

Poniżej zdjęcie zespołu generatorów prądotwórczych...

02

... oraz baterii zasilaczy UPS.

SAPDC03

Do schłodzenia dużej ilości ciepła generowanej przez urządzenia IT potrzebny jest wysoko wydajny system chłodzenia - standardowo oparty o klimatyzację precyzyjną. Z reguły jednostki wewnętrzne znajdują się w pomieszczeniu serwerowni (szczególnie w coraz częściej stosowanych klimatyzatorach rzędowych) lub w pomieszczeniu bezpośrednio przylegającym do serwerowni.

Poniżej zdjęcie wymienników ciepła zlokalizowanych na dachu omawianego centrum przetwarzania danych firmy SAP. Zgodnie z zamieszczonym na stronie źródłowej opisem, w przypadku wysokich temperatur zewnętrznych, wymienniki widoczne na zdjęciu są spryskiwane wodą w celu zwiększenia wydajności chłodzenia.

SAPDC05

Dalsza część systemu chłodzenia - zbiorniki buforowe (6 sztuk po 50 tysięcy litrów, razem 300 tysięcy litrów wody lodowej o temperaturze 4°C), które w przypadku awarii jednostek zewnętrznych (pokazanych na zdjęciu powyżej) zapewnią przez pewien czas źródło chłodu systemu. Zbiorniki takie również znajdują się w specjalnie do tego przeznaczonym pomieszczeniu.

SAPDC06

Nawet system gaszenia gazem w profesjonalnym centrum przetwarzania danych powinien mieć swoją, wydzieloną przestrzeń. W przypadku większego obiektu ilość środka gaśniczego, a co za tym idzie butli, będzie znacząca. Poniżej zdjęcie obrazujące tą kwestię.

SAPDC07

Pomieszczenie telekomunikacyjne jest miejscem gdzie świat zewnętrzny (Internet) łączy się za pomocą zaawansowanych routerów itp. ze światem wewnętrznym - urządzeniami i systemami informatycznymi obsługiwanymi przez centrum przetwarzania danych. Poniżej zdjęcie takiego pomieszczenia, w tym przypadku odpowiednio podzielonego zgodnie z potrzebami firmy SAP.

SAPDC08

Teren wokół centrum danych powinien być monitorowany, tak aby ochrona stale miała "oko" na to co się dzieje poza jego murami.

SAPDC10

Nad prawidłową pracą wszystkich elementów centrum przetwarzania danych stale musi pracować obsługa, która musi mieć do tego odpowiednie warunki. Stąd konieczność zapewnienia pomieszczenia, które tutaj nazwane zostało "stacją kontroli". W przeciwieństwie do serwerowni, klimat tutaj musi być przyjazny dla człowieka.

SAPDC09

Przedstawiona tutaj budowa (podział funkcjonalny) centrum przetwarzania danych jest jedną z możliwości jakie można zastosować. Jest on  bliski modelowi przedstawionemu w normie ANSI/TIA-942. Zasadność poszczególnych pomieszczeń i systemów oraz podziałów funkcjonalnych musi być każdorazowo analizowana na etapie projektowania data center pod kątem jego przeznaczenia (cloud computing, kolokacja itp.), wymaganego poziomu dostępności i niezawodności lub konkretnej klasy TIER.

Materiał zdjęciowy:

[1]. The SAP Data Center
      http://www.sapdatacenter.com/
      http://www.sapdatacenter.com/article/data_center_functionality/#!

PUE - (ang. Power Usage Effectiveness) jest to współczynnik określający proporcje całej energii elektrycznej zużywanej na zasilanie centrum danych do energii elektrycznej zużywanej przez urządzenia IT. Im wartość bliższa 1 tym mniej energii marnowanej jest na potrzeby zapewnienia odpowiednich warunków klimatycznych serwerowni oraz odpowiedniej infrastruktury (zasilanie, chłodzenie itp.).

Współczynnik PUE został opracowany w roku 2007 i opisany przez amerykańską organizację The Green Grid skupiającą użytkowników końcowych, decydentów, producentów rozwiązań technologicznych oraz architektów infrastruktury. Szczegółowo PUE został opisane w dokumencie "PUE: A comprehensive examination of the metric".

Wzór zaczerpnięty dosłownie z dokumentu wygląda następująco:

PUE_centrum danych_data_center

Total Facility Energy - całkowita energia obiektu.
IT Equipment Energy - energia urządzeń IT.

Termin PUE na język polski należy przetłumaczyć dosłownie jako "efektywność zużycia energii". Jak można wyczytać w ww. dokumencie, wskaźnik ten służy do pomiaru efektywności energetycznej infrastruktury centrum danych i jest on narzędziem dla użytkownika końcowego, umożliwiającym zwiększenie efektywności energetycznej działania centrum danych.

Wspomniany dokument zawiera wyczerpującą ilość informacji szczegółowych dotyczących sposobów wykonywania pomiarów, obliczeń, wzorów, metod raportowania itp., dlatego zainteresowanych detalami odsyłam do jego lektury.

W praktyce niższy współczynnik PUE (bliższy 1) oznacza mniejsze wydatki związane z zasilaniem mocy obliczeniowej. Dwa centra danych o tej samej mocy IT i różnych współczynnikach PUE będą miały różne koszty utrzymania, co przełoży się bezpośrednio na cenę usługi docelowej.

Największy wpływ na docelową wartość współczynnika PUE mamy w fazie projektowej, kiedy to możemy odpowiednio zaplanować i dobrać rozwiązanie chłodzenia i zasilania (główne czynniki mające wpływ na wynik). Pozostałe elementy mają mniejsze znaczenie, co nie oznacza, iż nie powinny być odpowiednio przemyślane. Urządzenia bardziej efektywne energetycznie są droższe, jednak oszczędności jakie nam zapewnią w trakcie eksploatacji obiektu zrekompensują większe koszty w niedługim czasie.

Istnieje kilka sposobów na zwiększenie efektywności energetycznej serwerowni już działającej, jednak będą to raczej zmiany symboliczne. Kilka z nich wymieniłem w artykule "W jaki sposób zadbać o optymalną temperaturę w serwerowni i zaoszczędzić".

Najbardziej efektywnie energetycznie centra danych (Google'a czy Facebooka) chwalą się wartością PUE dochodzącą poniżej 1,1. Facebook nawet udostępnia na swoim portalu w formie FanPage'a rzeczywiste, bieżące wyniki min. wartości PEU. Jeśli chodzi o Google, to polecam stronę, gdzie firma opisuje sposób pomiaru efektywności oraz jego wyniki. W obu przypadkach kluczowe znaczenie dla osiągnięcia tak dobrych rezultatów ma zastosowanie chłodzenia ewaporacyjnego i chłodzenia opartego o zasoby naturalne (np. morze lub jezioro). O chłodzaniu jakie wykorzystuje Facebook w swoich centrach danych pisałem w artykule "Najnowsze centrum danych Facebooka zbudowane zgodnie z założeniami Open Compute Project – Część 1", do którego lektury zapraszam.

Podsumowując, współczynnik PUE warto mieć na uwadze już na etapie projektowania centrum danych. Warto zastosować bądź droższe rozwiązania (urządzenia), które zwrócą się i dadzą znaczne oszczędności zużycia energii w perspektywie czasu życia obiektu lub rozwiązania niestandardowe - na wzór Google'a lub Facebooka. Te drugie jednak wymagają znaczącej odwagi zarówno projektantów jak i inwestorów i póki co brak takich obiektów w naszym kraju (przynajmniej mi nic o tym nie wiadomo).

Klasyfikacja Tier coraz częściej pojawia się w kontekście charakteryzowania obiektów data center. Właściciele centrów danych zamieszacją w materiałach reklamowych i na stronach internetowych informacje o konkretnej klasie Tier swojego obiektu. Nawet w wytycznych projektowych można już spotkać tajemniczy zapis dotyczący klasy planowanego centrum danych. Czy jednak są to realne do osiągnięcia i prawidłowo określone wymagania? Czym w ogóle jest klasyfikacja Tier? Skąd wywodzi się termin Tier i jak go wymawiać? Gdzie znaleźć wytyczne dla poszczególnych klas? Postanowiłem sprawę dogłębnie rozeznać i przedstawić fakty, które pomogą uporządkować temat.

Czym jest klasyfikacja Tier?

Klasyfikacja Tier służy do określenia poziomu dostępności i niezawodności infrastruktury (fizycznej - zasilanie, chłodzenie, architektura budynku itp.) centrum danych. Im wyższy numer tym bardziej niezawodny i bezpieczny system. Przy czym, jak wyjaśniam poniżej, istnieją dwa główne, różniące się między sobą, zbiory wymagań za którymi stoją dwie różne instytucje.

Geneza terminu tier

Wyraz tier, zaczerpnięty do klasyfikacji obiektów data center pochodzi od angielskiego "tier" oznaczającego poziom lub standard. Można go wymawiać zapewne po polsku tak jak się pisze, lub bardziej prawidłowo zgodnie z zasadami języka angielskiego, co brzmi prawie jak "tir" (znaczenie i wymowa).

Po raz pierwszy - oficjalnie - określenia "tier" do klasyfikacji poziomu dostępności centrum danych użyła firma The Uptime Institute (zwana dalej również Uptime lub Instytut) mniej więcej w roku 1990 [1]. Jednym z pierwszych dokumentów definiujących poziomy wydajności (Tiery) był "Industry Standard Tier Classifications Define Site Infrastructure Performance" z roku 2001 (dostępny w Internecie), który opisywał wytyczne konfiguracji infrastruktury technicznej oraz określał za pomocą wartości procentowej minimalny poziom dostępności systemu dla każdej z klas Tier I, II, III, IV.

W roku 2005 klasyfikacja ta została zapożyczona i poszerzona przez organizację Telecommunications Industry Association (TIA) do opracowania pierwszego standardu definiującego infrastrukturę telekomunikacyjną centrum danych, normy TIA-942 z 2005 roku o nazwie "Telecommunications Infrastructure Standard for Data Centers", który jest do dzisiaj najbardziej popularnym standardem wykorzystywanym do projektowania centów danych (został on uaktualniony w latach 2008 i 2010 - niestety nie posiadam tych wersji). Fakt zapożyczenia klasyfikacji Tier od The Uptime Institute jest kilkakrotnie wspominany w treści normy.

Czy klasyfikacja Rated wg. normy TIA-942 jest tym samym, co klasyfikacja Tier wg. wytycznych The Uptime Institute?

Nie, klasy te nie są tym samym, ponieważ różnią się od siebie i to fundamentalnie. Do wersji TIA-942-A była używana klasyfikacja Tier jednak różniła się w zapisie od Tier The Uptime Instytute, który to stosował rzymskie cyfry I, II, III, IV (Tier I, Tier II, Tier III, Tier IV) natomiast TIA-942 oznaczała cyframi arabskimi 1, 2, 3, 4 (Tier 1, Tier 2, Tier 3, Tier 4). Taka klasyfikacja może się jeszcze pojawiać w starszych materiałach. To się jednak zmieniło od wersji TIA-942-B gdzie zastosowano klasyfikację Rated-1, 2, 3, 4.

Klasyfikacja TIA 942 Rated

Klasyfikacja Rated wg. TIA-942

TIA-942 definiuje szereg wytycznych dla czterech klas Rated (kilkanaście stron tabel, kilkaset pozycji, wiele stron opisów) dotyczących min.

  • telekomunikacji,
  • konstrukcji budynku, logo
  • zadaszenia,
  • elementów budynku,
  • pomieszczeń,
  • dróg transportowych,
  • miejsc magazynowych i przechowywania paliwa,
  • bezpieczeństwa fizycznego budynku,
  • odporności ścian, systemów bezpieczeństwa,
  • instalacji elektrycznych i jej komponentów,
  • instalacji mechanicznych - chłodzenia i wentylacji,
  • systemów przeciwpożarowych.

Tabele te pozawalają na przeanalizowanie krok po kroku spełniania kolejnych wymogów przez klasyfikowany obiekt. Należy pamiętać, że niespełnienie choćby jednej pozycji dyskwalifikuje oczekiwany poziom Rated.

W opinii The Uptime Institute wytyczne te są oderwane od potrzeb biznesowych użytkownika obiektu, identyczne dla wszystkich rodzajów działalności i dla różnych potrzeb związanych z funkcjonowaniem centrum danych. Przez to są, w jego opinii, niewłaściwe.

Klasyfikacja Tier wg. The Uptime Institute

upiW przeciwieństwie do rozbudowanych i identycznych dla każdego obiektu data center, szczegółowych wytycznych normy TIA-942, Uptime bardziej koncentruje się na przekazaniu idei dostosowania centrum danych do konkretnych potrzeb biznesowych użytkownika i nie posługuje się przy tym wypunktowanym zestawami zaleceń. Sprawia to, że nie jesteśmy w stanie ocenić samodzielnie czy spełniamy kryteria którejkolwiek klasy Tier, ponieważ nie są one znane a nawet będą różne dla różnych przypadków.

Uptime posługuje się dwoma dokumentami (dostępnymi po zarejestrowaniu i zalogowaniu tutaj) określającymi kryteria dla poszczególnych klas.

Pierwszy - "Data Center Site Infrastructure Tier Standard: Topology" - określa główne założenia topologi systemu dla poszczególnych klas Tier, przy czym każda kolejna klasa jest rozszerzeniem poprzedniej, i tak mamy:

  • Tier I: System nieredundantny. Infrastruktura centrum danych umieszczona w dedykowanym obszarze poza przestrzenią biurową.
  • Tier II: Podstawowa redundancja. Systemy zasilania i chłodzenia posiadają redundantne komponenty.
  • Tier III: Infrastruktura niezależnie zarządzalna. Brak wpływu zarządzania i wymiany komponentów infrastruktury na pracę systemu IT.
  • Tier IV: Infrastruktura odporna na awarie. Odporność na pojedyncze, nieplanowane zdarzenia, takie jak pożar, wyciek czy eksplozja.

Drugi - " Data Center Site Infrastructure Tier Standard: Operational Sustainability" - określa czynności jakie należy wykonywać oraz procedury jakie należy stosować, aby zapewnić odpowiednią trwałość i niezawodność operacyjną centrum danych odpowiedniej klasy Tier. Jak wynika z dokumentu, poziom dostępności i niezawodności data center jest wynikiem połączenie wytycznych topologi określonego Tier oraz sposobu zarządzania infrastrukturą. Wymagane procedury i  czynności zestawione są w formie tabel i dotyczą 3 obszarów:

  1. Zarządzenia i operacyjność. Kwestie dotyczące:
    • zatrudnienia odpowiedniej kadry i organizacji pracy (pracownicy oraz ich dostępność na zmianach, kwalifikacje zawodowe, organizacja pracy - raportowanie, przepływ informacji, określenie stanowisk i odpowiedzialności);
    • zasad i czynności związanych z zarządzeniem i utrzymaniem centrum danych (program prewencyjnego zarządzania, zasady utrzymania czystości, zarządzanie systemami, zasady wsparcia i kontaktu z dostawcami, planowanie czasu życia komponentów itp.);
    • rodzaju szkoleń dla pracowników i dostawców elementów systemu;
    • planowania, koordynowania i zarządzania (polityki i instrukcje działania, proces finansowania, dokumenty odniesienia, zarządzanie dostępną pojemnością centrum danych) itp.
  2. Charakterystyka budynku. Kwestie dotyczące:
    • czynności jakie powinny mieć miejsce przed uruchomieniem systemu (procedury odbioru budowy związane z dokładnym przetestowaniem instalacji i urządzeń itp.);
    • cech budynku (budynek celowo wybudowany na potrzeby data center, wydzielenie wskazanych funkcji do osobnych pomieszczeń - poza serwerownię, zabezpieczenia fizyczne przed dostępem nieuprawnionych osób);
    • opcjonalności infrastruktury (możliwość łatwego zwiększenia pojemności i możliwości centrum danych, wsparcie operacyjności - mechaniczne i automatyczne rozwiązania ułatwiające utrzymanie działania systemu).
  3. Lokalizacja obiektu. Wytyczne określające
    • ryzyko związane z naturalnymi kataklizmami;
    • ryzyko związane z bliską działalnością ludzką, która mogłaby mieć wpływ na bezpieczeństwo obiektu (odległość portu lotniczego, autostrady itp.).

Warto podkreślić, że ani TIA-942 ani Uptime nie posługują się w tych normach i dokumentach określaniem procentowym lub czasowym poziomu dostępności (np. 99,9 % w roku). Instytut przestał również używać jakichkolwiek rysunków schematycznych, które można było wcześniej znaleźć w ww. dokumentach. Ponadto żadna z instytucji nie przewidziała możliwości wystąpienia klas częściowych lub niepełnych, jak np. Tier II+ lub Rated-3 bez spełnienia jednego warunku, albo prawie Rated-4. I na koniec tego akapitu - Tier I lub Rated-1, wbrew pozorom, wymaga spełnienia pewnych warunków i na pewno nie można ich przypisać za sam fakt uruchomienia centrum danych. Dlatego uważam, że nawet najniższy poziom jest powodem do dumy, ponieważ wiele obiektów jest poniżej tej klasyfikacji.

Zasady certyfikacji centrów danych

Obecnie możliwa jest certyfikacja centrów danych, w kontekście klasyfikacji Tier, tylko i wyłącznie przez The Uptime Institute, co można wyczytać na stronie Instytutu. Ponadto Uptime zaznacza, że należy szczególnie uważać na obiekty, które same sobie przydzieliły poziom Tier.  Na stronie można również znaleźć spis wszystkich, dotychczas certyfikowanych centrów danych i dokumentacji oraz mapę ich lokalizacji.

Proces certyfikacji polega na zgłoszeniu się do Instytutu, po czym otrzymamy scenariusz działania oraz ofertę cenową. Cena będzie pokrywała wszystkie koszty związane z przyjazdem osób certyfikujących, ich zakwaterowaniem i czasem pracy związanym z dostosowywaniem planów obiektu do wytycznych jakie przedstawią eksperci.

Dla doprecyzowania, Uptime wyróżnia 3 rodzaje certyfikacji, każda płatna osobno.

  1. Certyfikat dokumentacji projektowej (Tier Certification of Design Documents).
  2. Certyfikat istniejącego/wybudowanego centrum danych (Tier Certification of Constructed Facility).
  3. Certyfikat niezawodności operacyjnej istniejącego obiektu (Operational Sustainability Certification).

Szkoda, że po weryfikacji i certyfikacji dokumentacji projektowej nie można automatycznie otrzymać certyfikatu dla wybudowanego data center, ale pewnie panowie z Instytutu wolą się upewnić, czy wszystko jest na 100% prawidłowo i czy czegoś nie przeoczyliśmy. Niemniej można certyfikować istniejące centrum danych jeśli tylko spełni odpowiednie wymagania.

Uptime prowadzi również certyfikację osób zajmujących się tematyką centrów danych:

  1. Projektantów, inżynierów, kierowników prac projektowych - Accredited Tier Designer (ATD).
  2. Menadżerów, konsultantów, architektów, kierowników projektów, inżynierów sprzedaży, architektów sieciowych  - Accredited Tier Specialist (ATS).

Koszt szkolenia, na dzień dzisiejszy, to 4 985 USD plus koszty transportu na miejsce szkolenia za granicą (z reguły jedna lokalizacja dla całego kontynentu - w naszym przypadku Londyn) oraz noclegu i wyżywienia. Szkolenie trwa 3 dni i kończy się egzaminem.

Warto mieć na uwadze fakt, że The Uptime Institute jest firmą prywatną, opierającą się na własnym doświadczenie i własnym programie techniczno-marketingowym. Nie jest to organizacja normalizacyjna ani mogąca wyznaczać obowiązujące standardy - w przeciwieństwie do TIA.

Jeśli chodzi o kwestię certyfikacji w przypadku TIA i normę TIA-942, to TIA również oferuje możliwość certyfikacji obiektu. Po więcej informacji odsyłam do oficjalnej strony TIA.

Podsumowanie

Twórcą i inicjatorem klasyfikacji Tier jest The Uptime Institute. Jedyną instytucją, która może ocenić klasę Tier centrum danych w kontekście zaleceń The Uptime Institut jest właśnie ta organizacja, wobec czego samodzielne stwierdzenie jakiejkolwiek klasy bez możliwości potwierdzenia tego faktu na stronach Instytutu będzie nieprawdą. Klasy Tier Uptime oznacza się rzymskimi cyframi I, II, III, IV. Klasy Tier TIA-942 przed wersją B oznaczało się cyframi arabskimi 1, 2, 3, 4. Od wersji B klasyfikacja oznaczana jest jako Rated-1, 2, 3, 4. Samodzielnie możemy nieoficjalnie klasyfikować centrum danych wg. TIA-942 jeśli faktycznie obiekt spełnia wszystkie wytyczne dla danego Tier opisane w normie. Wtedy możemy śmiało pisać np. "centrum danych zgodne z wytycznymi Rated-3 (lub 1, 2, 4) normy TIA-942". Pamiętajmy jednak, że część z tych wytycznych da się sprawdzić nie wchodząc nawet do przedmiotowego centrum danych, dlatego lepiej postępować ostrożnie i uczciwie. Warto skorzystać z płatnej certyfikacji TIA 942.

Zapraszam do dyskusji!

[1]. Uptime, TIA and BICSI: Who runs the data center design standards show?

Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.

Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.

Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.

tsps
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.

Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.

W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.

test_szczelnosci_pomieszczenia_serwerowniNa skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.

Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".