Tym razem chcę poruszyć temat testów obciążeniowych serwerowni / centrum danych, który ma na celu zbadanie poprawności zaprojektowanych i wykonanych instalacji klimatyzacji i zasilania serwerowni oraz prawidłowego funkcjonowania tych systemów dla docelowej, maksymalnej wartości obciążenia energetycznego.

Obciążnice w szafach serwerowych
Obciążnice w szafach serwerowych

W trakcie projektowania centrum danych i serwerowni dobierane są odpowiednie rozwiązania z zakresu klimatyzacji i zasilania, które często wynikają z solidnych obliczeń i doświadczenia projektanta bądź w wyniku sprawnych działań handlowca reprezentującego konkretnego producenta. W projekcie wszystko może wyglądać dobrze, ale czy tak będzie w rzeczywistości? Jest to już zagadka, która zazwyczaj rozwiązuje się zbyt późno - kiedy już system IT został wdrożony i każda minuta przestoju jest dramatyczna. Często jest jednak tak, że do maksymalnej, projektowanej mocy elektrycznej serwerownia zostanie obciążona dopiero po długim czasie, kiedy to już trudno będzie rościć pretensje do projektanta lub firmy wykonawczej, która również mogła przyczynić się do niewłaściwego rezultatu wykonując coś nie tak jak zostało to zaprojektowane.

Inną kwestią jest odpowiednia konfiguracja systemów chłodzenia i zasilania w tym zasilania gwarantowanego i rezerwowanego. Co z tego, że nasz system zasilaczy UPS wraz z dużą ilością baterii podtrzyma urządzenia IT nawet na 15 minut, jeśli klimatyzacja w tym czasie nie będzie działała, lub jeśli uruchomi się zbyt późno, kiedy zbyt wysoka temperatura spowoduje samoczynne wyłączanie się sprzętu IT. Co jeśli zaplanowano, że klimatyzatory tylko na chwilę się wyłączą lub będą podtrzymane zasilaniem gwarantowanym, jeśli nie będzie to zapewnione dla agregatów wody lodowej, które po zaniku napięcia potrzebują kilku minut na wznowienie działania... Tego typu pytań będzie znacznie więcej zależnie od konkretnego przypadku.

Aby uniknąć takich sytuacji należałoby wykonać testy obciążeniowe centrum danych przed odebraniem prac od wykonawcy. Tylko jak takie testy wykonać nie mając jeszcze zapełnionej serwerowni urządzeniami IT? Można to zlecić odpowiedniej firmie, która się takimi rzeczami zajmuje i posiada odpowiednią ilość obciążnic, które zasymilują działanie i wytwarzanie ciepła serwerów dla projektowanej mocy. Nie mam tutaj na myśli pojedynczej, dużej obciążnicy, która będzie stała na zewnątrz i sprawdzi poprawność jedynie instalacji zasilania, ale takich obciążnic, które zostaną zamontowane w szafach rack odpowiednio i równomiernie dla całej serwerowni.

Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci
Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci i dużego obciążenia gwarantowanych odbiorów centrum danych

Takie urządzenia, przy kontrolowanym zaniku zasilania z sieci, pozwolą na bezpieczne zbadanie wydajności klimatyzacji oraz tego, czy została ona odpowiednio dobrana dla projektowanego obciążenia, czy utrzyma bezpieczną temperaturę do czasu przejęcia zasilania przez agregat prądotwórczy, czy agregaty prądotwórcze wystartują w planowanym czasie, czy w ogóle wystartują, czy zasilacze UPS poradzą sobie z taką awarią, czy baterie wytrzymają zadany czas podtrzymania na pełnym obciążeniu itd., itp.

Z mojego doświadczenia wynika, że coś może być nie tak zaprojektowane lub wykonane, albo po prostu urządzenie lub jego element miał wadę fabryczną. To coś, w produkcyjnym środowisku byłoby bardzo poważną usterkę i miałoby negatywny wpływ na wizerunek firmy, której system nagle przestałby działać na czas nieokreślony. Dużo łatwiej i praktycznie bezkosztowo dla inwestora (wady naprawia wykonawca) można problem wyeliminować zanim będzie za późno. Dlatego też polecam dołożyć do kosztorysu inwestorskiego taki element (testy obciążeniowe centrum danych)  i zlecić te prac bezpośrednio odpowiedniej firmie, która nie będzie związana z wykonawcą testowanego centrum danych, co zapewni rzetelność badania.

analizator jakości energii
Analizator jakości energii
obciążnice 3,5 kW
Obciążnice RACK-owe symulujące pracę serwerów w ich docelowych lokalizacjach w serwerowni
obciążnica
Obciążnica większej mocy

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji").  Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41
Widok na wejście główne.
RemtechModuSec5
Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.
RemtechModuSec2
W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.
RemtechModuSec3
Kilka godzin później.
RemtechModuSec4
Widok od góry. Można po tym skakać...
RemtechModuSec6
Przejścia kablowe, szczelne i bezpieczne jak wszystko.
RemtechModuSec7
Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

 

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1
Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.
RemtechModuSecOut2
Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

  • ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
  • wodę gaśniczą,
  • długotrwałe zalanie,
  • gazy korozyjne,
  • eksplozje,
  • wandalizm (można to zobaczyć na tym filmie)
  • nieuprawniony dostęp,
  • włamanie,
  • interferencję elektromagnetyczną,
  • kurz,
  • spadające elementy,
  • dźwięk (tłumienie),
  • mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

 

 

 

 

 

PUE - (ang. Power Usage Effectiveness) jest to współczynnik określający proporcje całej energii elektrycznej zużywanej na zasilanie centrum danych do energii elektrycznej zużywanej przez urządzenia IT. Im wartość bliższa 1 tym mniej energii marnowanej jest na potrzeby zapewnienia odpowiednich warunków klimatycznych serwerowni oraz odpowiedniej infrastruktury (zasilanie, chłodzenie itp.).

Współczynnik PUE został opracowany w roku 2007 i opisany przez amerykańską organizację The Green Grid skupiającą użytkowników końcowych, decydentów, producentów rozwiązań technologicznych oraz architektów infrastruktury. Szczegółowo PUE został opisane w dokumencie "PUE: A comprehensive examination of the metric".

Wzór zaczerpnięty dosłownie z dokumentu wygląda następująco:

PUE_centrum danych_data_center

Total Facility Energy - całkowita energia obiektu.
IT Equipment Energy - energia urządzeń IT.

Termin PUE na język polski należy przetłumaczyć dosłownie jako "efektywność zużycia energii". Jak można wyczytać w ww. dokumencie, wskaźnik ten służy do pomiaru efektywności energetycznej infrastruktury centrum danych i jest on narzędziem dla użytkownika końcowego, umożliwiającym zwiększenie efektywności energetycznej działania centrum danych.

Wspomniany dokument zawiera wyczerpującą ilość informacji szczegółowych dotyczących sposobów wykonywania pomiarów, obliczeń, wzorów, metod raportowania itp., dlatego zainteresowanych detalami odsyłam do jego lektury.

W praktyce niższy współczynnik PUE (bliższy 1) oznacza mniejsze wydatki związane z zasilaniem mocy obliczeniowej. Dwa centra danych o tej samej mocy IT i różnych współczynnikach PUE będą miały różne koszty utrzymania, co przełoży się bezpośrednio na cenę usługi docelowej.

Największy wpływ na docelową wartość współczynnika PUE mamy w fazie projektowej, kiedy to możemy odpowiednio zaplanować i dobrać rozwiązanie chłodzenia i zasilania (główne czynniki mające wpływ na wynik). Pozostałe elementy mają mniejsze znaczenie, co nie oznacza, iż nie powinny być odpowiednio przemyślane. Urządzenia bardziej efektywne energetycznie są droższe, jednak oszczędności jakie nam zapewnią w trakcie eksploatacji obiektu zrekompensują większe koszty w niedługim czasie.

Istnieje kilka sposobów na zwiększenie efektywności energetycznej serwerowni już działającej, jednak będą to raczej zmiany symboliczne. Kilka z nich wymieniłem w artykule "W jaki sposób zadbać o optymalną temperaturę w serwerowni i zaoszczędzić".

Najbardziej efektywnie energetycznie centra danych (Google'a czy Facebooka) chwalą się wartością PUE dochodzącą poniżej 1,1. Facebook nawet udostępnia na swoim portalu w formie FanPage'a rzeczywiste, bieżące wyniki min. wartości PEU. Jeśli chodzi o Google, to polecam stronę, gdzie firma opisuje sposób pomiaru efektywności oraz jego wyniki. W obu przypadkach kluczowe znaczenie dla osiągnięcia tak dobrych rezultatów ma zastosowanie chłodzenia ewaporacyjnego i chłodzenia opartego o zasoby naturalne (np. morze lub jezioro). O chłodzaniu jakie wykorzystuje Facebook w swoich centrach danych pisałem w artykule "Najnowsze centrum danych Facebooka zbudowane zgodnie z założeniami Open Compute Project – Część 1", do którego lektury zapraszam.

Podsumowując, współczynnik PUE warto mieć na uwadze już na etapie projektowania centrum danych. Warto zastosować bądź droższe rozwiązania (urządzenia), które zwrócą się i dadzą znaczne oszczędności zużycia energii w perspektywie czasu życia obiektu lub rozwiązania niestandardowe - na wzór Google'a lub Facebooka. Te drugie jednak wymagają znaczącej odwagi zarówno projektantów jak i inwestorów i póki co brak takich obiektów w naszym kraju (przynajmniej mi nic o tym nie wiadomo).

Klasyfikacja Tier coraz częściej pojawia się w kontekście charakteryzowania obiektów data center. Właściciele centrów danych zamieszacją w materiałach reklamowych i na stronach internetowych informacje o konkretnej klasie Tier swojego obiektu. Nawet w wytycznych projektowych można już spotkać tajemniczy zapis dotyczący klasy planowanego centrum danych. Czy jednak są to realne do osiągnięcia i prawidłowo określone wymagania? Czym w ogóle jest klasyfikacja Tier? Skąd wywodzi się termin Tier i jak go wymawiać? Gdzie znaleźć wytyczne dla poszczególnych klas? Postanowiłem sprawę dogłębnie rozeznać i przedstawić fakty, które pomogą uporządkować temat.

Czym jest klasyfikacja Tier?

Klasyfikacja Tier służy do określenia poziomu dostępności i niezawodności infrastruktury (fizycznej - zasilanie, chłodzenie, architektura budynku itp.) centrum danych. Im wyższy numer tym bardziej niezawodny i bezpieczny system. Przy czym, jak wyjaśniam poniżej, istnieją dwa główne, różniące się między sobą, zbiory wymagań za którymi stoją dwie różne instytucje.

Geneza terminu tier

Wyraz tier, zaczerpnięty do klasyfikacji obiektów data center pochodzi od angielskiego "tier" oznaczającego poziom lub standard. Można go wymawiać zapewne po polsku tak jak się pisze, lub bardziej prawidłowo zgodnie z zasadami języka angielskiego, co brzmi prawie jak "tir" (znaczenie i wymowa).

Po raz pierwszy - oficjalnie - określenia "tier" do klasyfikacji poziomu dostępności centrum danych użyła firma The Uptime Institute (zwana dalej również Uptime lub Instytut) mniej więcej w roku 1990 [1]. Jednym z pierwszych dokumentów definiujących poziomy wydajności (Tiery) był "Industry Standard Tier Classifications Define Site Infrastructure Performance" z roku 2001 (dostępny w Internecie), który opisywał wytyczne konfiguracji infrastruktury technicznej oraz określał za pomocą wartości procentowej minimalny poziom dostępności systemu dla każdej z klas Tier I, II, III, IV.

W roku 2005 klasyfikacja ta została zapożyczona i poszerzona przez organizację Telecommunications Industry Association (TIA) do opracowania pierwszego standardu definiującego infrastrukturę telekomunikacyjną centrum danych, normy TIA-942 z 2005 roku o nazwie "Telecommunications Infrastructure Standard for Data Centers", który jest do dzisiaj najbardziej popularnym standardem wykorzystywanym do projektowania centów danych (został on uaktualniony w latach 2008 i 2010 - niestety nie posiadam tych wersji). Fakt zapożyczenia klasyfikacji Tier od The Uptime Institute jest kilkakrotnie wspominany w treści normy.

Czy klasyfikacja Rated wg. normy TIA-942 jest tym samym, co klasyfikacja Tier wg. wytycznych The Uptime Institute?

Nie, klasy te nie są tym samym, ponieważ różnią się od siebie i to fundamentalnie. Do wersji TIA-942-A była używana klasyfikacja Tier jednak różniła się w zapisie od Tier The Uptime Instytute, który to stosował rzymskie cyfry I, II, III, IV (Tier I, Tier II, Tier III, Tier IV) natomiast TIA-942 oznaczała cyframi arabskimi 1, 2, 3, 4 (Tier 1, Tier 2, Tier 3, Tier 4). Taka klasyfikacja może się jeszcze pojawiać w starszych materiałach. To się jednak zmieniło od wersji TIA-942-B gdzie zastosowano klasyfikację Rated-1, 2, 3, 4.

Klasyfikacja TIA 942 Rated

Klasyfikacja Rated wg. TIA-942

TIA-942 definiuje szereg wytycznych dla czterech klas Rated (kilkanaście stron tabel, kilkaset pozycji, wiele stron opisów) dotyczących min.

  • telekomunikacji,
  • konstrukcji budynku, logo
  • zadaszenia,
  • elementów budynku,
  • pomieszczeń,
  • dróg transportowych,
  • miejsc magazynowych i przechowywania paliwa,
  • bezpieczeństwa fizycznego budynku,
  • odporności ścian, systemów bezpieczeństwa,
  • instalacji elektrycznych i jej komponentów,
  • instalacji mechanicznych - chłodzenia i wentylacji,
  • systemów przeciwpożarowych.

Tabele te pozawalają na przeanalizowanie krok po kroku spełniania kolejnych wymogów przez klasyfikowany obiekt. Należy pamiętać, że niespełnienie choćby jednej pozycji dyskwalifikuje oczekiwany poziom Rated.

W opinii The Uptime Institute wytyczne te są oderwane od potrzeb biznesowych użytkownika obiektu, identyczne dla wszystkich rodzajów działalności i dla różnych potrzeb związanych z funkcjonowaniem centrum danych. Przez to są, w jego opinii, niewłaściwe.

Klasyfikacja Tier wg. The Uptime Institute

upiW przeciwieństwie do rozbudowanych i identycznych dla każdego obiektu data center, szczegółowych wytycznych normy TIA-942, Uptime bardziej koncentruje się na przekazaniu idei dostosowania centrum danych do konkretnych potrzeb biznesowych użytkownika i nie posługuje się przy tym wypunktowanym zestawami zaleceń. Sprawia to, że nie jesteśmy w stanie ocenić samodzielnie czy spełniamy kryteria którejkolwiek klasy Tier, ponieważ nie są one znane a nawet będą różne dla różnych przypadków.

Uptime posługuje się dwoma dokumentami (dostępnymi po zarejestrowaniu i zalogowaniu tutaj) określającymi kryteria dla poszczególnych klas.

Pierwszy - "Data Center Site Infrastructure Tier Standard: Topology" - określa główne założenia topologi systemu dla poszczególnych klas Tier, przy czym każda kolejna klasa jest rozszerzeniem poprzedniej, i tak mamy:

  • Tier I: System nieredundantny. Infrastruktura centrum danych umieszczona w dedykowanym obszarze poza przestrzenią biurową.
  • Tier II: Podstawowa redundancja. Systemy zasilania i chłodzenia posiadają redundantne komponenty.
  • Tier III: Infrastruktura niezależnie zarządzalna. Brak wpływu zarządzania i wymiany komponentów infrastruktury na pracę systemu IT.
  • Tier IV: Infrastruktura odporna na awarie. Odporność na pojedyncze, nieplanowane zdarzenia, takie jak pożar, wyciek czy eksplozja.

Drugi - " Data Center Site Infrastructure Tier Standard: Operational Sustainability" - określa czynności jakie należy wykonywać oraz procedury jakie należy stosować, aby zapewnić odpowiednią trwałość i niezawodność operacyjną centrum danych odpowiedniej klasy Tier. Jak wynika z dokumentu, poziom dostępności i niezawodności data center jest wynikiem połączenie wytycznych topologi określonego Tier oraz sposobu zarządzania infrastrukturą. Wymagane procedury i  czynności zestawione są w formie tabel i dotyczą 3 obszarów:

  1. Zarządzenia i operacyjność. Kwestie dotyczące:
    • zatrudnienia odpowiedniej kadry i organizacji pracy (pracownicy oraz ich dostępność na zmianach, kwalifikacje zawodowe, organizacja pracy - raportowanie, przepływ informacji, określenie stanowisk i odpowiedzialności);
    • zasad i czynności związanych z zarządzeniem i utrzymaniem centrum danych (program prewencyjnego zarządzania, zasady utrzymania czystości, zarządzanie systemami, zasady wsparcia i kontaktu z dostawcami, planowanie czasu życia komponentów itp.);
    • rodzaju szkoleń dla pracowników i dostawców elementów systemu;
    • planowania, koordynowania i zarządzania (polityki i instrukcje działania, proces finansowania, dokumenty odniesienia, zarządzanie dostępną pojemnością centrum danych) itp.
  2. Charakterystyka budynku. Kwestie dotyczące:
    • czynności jakie powinny mieć miejsce przed uruchomieniem systemu (procedury odbioru budowy związane z dokładnym przetestowaniem instalacji i urządzeń itp.);
    • cech budynku (budynek celowo wybudowany na potrzeby data center, wydzielenie wskazanych funkcji do osobnych pomieszczeń - poza serwerownię, zabezpieczenia fizyczne przed dostępem nieuprawnionych osób);
    • opcjonalności infrastruktury (możliwość łatwego zwiększenia pojemności i możliwości centrum danych, wsparcie operacyjności - mechaniczne i automatyczne rozwiązania ułatwiające utrzymanie działania systemu).
  3. Lokalizacja obiektu. Wytyczne określające
    • ryzyko związane z naturalnymi kataklizmami;
    • ryzyko związane z bliską działalnością ludzką, która mogłaby mieć wpływ na bezpieczeństwo obiektu (odległość portu lotniczego, autostrady itp.).

Warto podkreślić, że ani TIA-942 ani Uptime nie posługują się w tych normach i dokumentach określaniem procentowym lub czasowym poziomu dostępności (np. 99,9 % w roku). Instytut przestał również używać jakichkolwiek rysunków schematycznych, które można było wcześniej znaleźć w ww. dokumentach. Ponadto żadna z instytucji nie przewidziała możliwości wystąpienia klas częściowych lub niepełnych, jak np. Tier II+ lub Rated-3 bez spełnienia jednego warunku, albo prawie Rated-4. I na koniec tego akapitu - Tier I lub Rated-1, wbrew pozorom, wymaga spełnienia pewnych warunków i na pewno nie można ich przypisać za sam fakt uruchomienia centrum danych. Dlatego uważam, że nawet najniższy poziom jest powodem do dumy, ponieważ wiele obiektów jest poniżej tej klasyfikacji.

Zasady certyfikacji centrów danych

Obecnie możliwa jest certyfikacja centrów danych, w kontekście klasyfikacji Tier, tylko i wyłącznie przez The Uptime Institute, co można wyczytać na stronie Instytutu. Ponadto Uptime zaznacza, że należy szczególnie uważać na obiekty, które same sobie przydzieliły poziom Tier.  Na stronie można również znaleźć spis wszystkich, dotychczas certyfikowanych centrów danych i dokumentacji oraz mapę ich lokalizacji.

Proces certyfikacji polega na zgłoszeniu się do Instytutu, po czym otrzymamy scenariusz działania oraz ofertę cenową. Cena będzie pokrywała wszystkie koszty związane z przyjazdem osób certyfikujących, ich zakwaterowaniem i czasem pracy związanym z dostosowywaniem planów obiektu do wytycznych jakie przedstawią eksperci.

Dla doprecyzowania, Uptime wyróżnia 3 rodzaje certyfikacji, każda płatna osobno.

  1. Certyfikat dokumentacji projektowej (Tier Certification of Design Documents).
  2. Certyfikat istniejącego/wybudowanego centrum danych (Tier Certification of Constructed Facility).
  3. Certyfikat niezawodności operacyjnej istniejącego obiektu (Operational Sustainability Certification).

Szkoda, że po weryfikacji i certyfikacji dokumentacji projektowej nie można automatycznie otrzymać certyfikatu dla wybudowanego data center, ale pewnie panowie z Instytutu wolą się upewnić, czy wszystko jest na 100% prawidłowo i czy czegoś nie przeoczyliśmy. Niemniej można certyfikować istniejące centrum danych jeśli tylko spełni odpowiednie wymagania.

Uptime prowadzi również certyfikację osób zajmujących się tematyką centrów danych:

  1. Projektantów, inżynierów, kierowników prac projektowych - Accredited Tier Designer (ATD).
  2. Menadżerów, konsultantów, architektów, kierowników projektów, inżynierów sprzedaży, architektów sieciowych  - Accredited Tier Specialist (ATS).

Koszt szkolenia, na dzień dzisiejszy, to 4 985 USD plus koszty transportu na miejsce szkolenia za granicą (z reguły jedna lokalizacja dla całego kontynentu - w naszym przypadku Londyn) oraz noclegu i wyżywienia. Szkolenie trwa 3 dni i kończy się egzaminem.

Warto mieć na uwadze fakt, że The Uptime Institute jest firmą prywatną, opierającą się na własnym doświadczenie i własnym programie techniczno-marketingowym. Nie jest to organizacja normalizacyjna ani mogąca wyznaczać obowiązujące standardy - w przeciwieństwie do TIA.

Jeśli chodzi o kwestię certyfikacji w przypadku TIA i normę TIA-942, to TIA również oferuje możliwość certyfikacji obiektu. Po więcej informacji odsyłam do oficjalnej strony TIA.

Podsumowanie

Twórcą i inicjatorem klasyfikacji Tier jest The Uptime Institute. Jedyną instytucją, która może ocenić klasę Tier centrum danych w kontekście zaleceń The Uptime Institut jest właśnie ta organizacja, wobec czego samodzielne stwierdzenie jakiejkolwiek klasy bez możliwości potwierdzenia tego faktu na stronach Instytutu będzie nieprawdą. Klasy Tier Uptime oznacza się rzymskimi cyframi I, II, III, IV. Klasy Tier TIA-942 przed wersją B oznaczało się cyframi arabskimi 1, 2, 3, 4. Od wersji B klasyfikacja oznaczana jest jako Rated-1, 2, 3, 4. Samodzielnie możemy nieoficjalnie klasyfikować centrum danych wg. TIA-942 jeśli faktycznie obiekt spełnia wszystkie wytyczne dla danego Tier opisane w normie. Wtedy możemy śmiało pisać np. "centrum danych zgodne z wytycznymi Rated-3 (lub 1, 2, 4) normy TIA-942". Pamiętajmy jednak, że część z tych wytycznych da się sprawdzić nie wchodząc nawet do przedmiotowego centrum danych, dlatego lepiej postępować ostrożnie i uczciwie. Warto skorzystać z płatnej certyfikacji TIA 942.

Zapraszam do dyskusji!

[1]. Uptime, TIA and BICSI: Who runs the data center design standards show?

Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.

Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.

Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.

tsps
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.

Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.

W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.

test_szczelnosci_pomieszczenia_serwerowniNa skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.

Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".

Artykuł przedstawia przykład modelowania chłodzenia serwerowni, wykonanego za pomocą specjalistycznego oprogramowania typu CFD (ang. computational fluid dynamics), w celu przeanalizowania poprawności projektowanego systemu chłodzenia urządzeń w pomieszczeniu serwerowni. 

Omawiany przypadek modelowania wykonano na potrzeby związane z projektowaniem serwerowni znajdującej się centrum danych, którego użyłem jako przykładu w innym moim artykule, do przeczytania którego namawiam.

Dla przypomnienia, analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.

Klimatyzacja pomieszczenia serwerowni i UPS-owni

Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.

Przy projektowaniu systemu klimatyzacji serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza (modelowanie chłodzenia serwerowni) przy użyciu programu typu CFD. Badania te pomogły ocenić efektywność systemu i poprawić wskazane błędy na etapie, kiedy jest to najłatwiejsze i najmniej kosztowe, czyli na etapie projektowania centrum danych. Poniżej przedstawiam kilka symulacji dla opisywanej serwerowni. Były one przeprowadzane dla pełnego obciążenia mocy przeznaczonej dla sprzętu IT.

Poniższy rysunek nr 1 przedstawia zrzut ekrany programu w trakcie wykonywania symulacji trójwymiarowej obiegu powietrza w omawianej serwerowni. Przedstawia on jak na uchwyconej wysokości nad podłogą techniczną rozmieszczone jest powietrze o zróżnicowanej temperaturze. Wyraźnie widać, że w strefie pomiędzy szafami jest chłodniej niż poza nimi. Po kliknięciu w rysunek widoczna będzie jego większa i bardziej czytelna wersja.

Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 2 przedstawia fragment symulacji trójwymiarowej, pionowej, na której widać w innej perspektywie rozmieszczenie powietrza i jego temperatury.

Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.

Rysunek nr 3 przedstawia już nieco inny model symulacji, w którym to sprawdzane są potencjalne przebiegi prądów powietrza. Zostało to przedstawione przez oprogramowanie jako swoiste sznurki symbolizujące płynące powietrze. Również tutaj kolory oznaczają odpowiednie przedziały temperaturowe zgodne z legendą.

Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.
Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.

Poniższy rysunek nr 4 przedstawia to samo, co wcześniejszy z tym, że w widoku 2D.

Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.
Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.

I powtórzenie sytuacji z rysunku nr 1 w wersji dwu wymiarowej. Bardzo ładnie na nim widać, gdzie będą panowały wyższe temperatury oraz gdzie niższe. Można również dostrzec na rysunku strzałki, które wskazują obliczone kierunki przepływu powietrza.

Rys.5. Symulacja pozioma różnic temperatury serwerowni.
Rys.5. Symulacja pozioma różnic temperatury serwerowni.

Rysunki 1, 2 i 5 przedstawiają symulację obiegu powietrza systemu chłodzenia serwerowni zależną od wysokości badanej warstwy powietrza, natomiast rysunki 3 i 4 przedstawiają obieg powietrza zależny od czasu.

Przedstawione powyżej obrazy są jedynie fragmentami modelowania, które domyślnie jest realizowana przez program jako animacja, którą można zapisać w formacie filmu wideo i dowolnie analizować sytuację dla różnych wysokości nad podłogą, różnych czasów pracy sprzętu IT czy jego obciążenia.

Podsumowanie

Komputerowe modelowanie chłodzenia serwerowni (obiegu powietrza) jest jedynym sposobem na sprawdzenie poprawności zaprojektowanego rozwiązania, ponieważ odwzorowuje ono w miarę dokładnie rzeczywiste warunki. Nie jest to jednak rozwiązanie zalecane do badania łatwych przypadków, kiedy to doświadczenie projektanta jest wystarczającym pewnikiem poprawności zaprojektowanego systemu. Modelowanie takie jest dosyć kosztowne ze względu na konieczność posiadania odpowiedniej licencji programowej oraz umiejętności wykorzystania systemu.