Kontynuujące tematykę modularnego centrum danych (wpis dotyczący propozycji Microsoft) przedstawiam tym razem propozycję firmy Hawlett-Packard o nazwie HP Performance Optimized Datacenter (POD).

Jeden moduł tego typu jest w stanie pomieścić 44 szafy o wysokości 50U i nośności 1,5 t. Średnie obciążenie cieplne każdej z szaf może się wahać w granicach 30 kW. Zapewnia wydajność około 1,2 MW mocy IT i zajmuje tylko 90 m2. [1]

hpod2Symulacja komputerowa jednego modułu. [2]

hpod4Symulacja procesu rozbudowy, krok 1. [2]

hpod5Symulacja procesu budowy, krok 2. [2]

hpod6Symulacja procesu budowy, krok 3. [2]

hpod7Symulacja procesu budowy, krok 4. [2]

hpod1Symulacja przepływu powietrza. [3]

Poniżej przedstawiam zdjęcia wykonane podczas rzeczywistej dostway modułu centrum danych HP POD 240a. Zdjęcia zaczerpnąłem ze strony Uniwersytetu w Michigan, który zaopatrzył się w takie rozwiązanie w celach badawczo-naukowych.

hpod10Jedna z częsiu modułu w transporcie. [4]

hpod11Rozładunek dźwigiem do ciężkich zadań. [4]

hpod12Widok tyłu szaf serwerowych w module. [4]

hpod13Montaż górnej części modułu. [4]

hpod14Kompletny moduł centrum danych. [4]

hpod15Widok wnętrza modułu - strefa chłodu. przód szaf serwerowych. [4]

Ecopod-HotAisle-470Widok wnętrza modułu - strefa ciepła pomiędzy tyłami szaf serwerowych. [5]

 

Źródło

[1]. HP Performance Optimized Datacenter (POD) 240a QuickSpec;
http://h18004.www1.hp.com/products/servers/solutions/datacentersolutions/pod240a/index.html
[2]. http://www.youtube.com/watch?v=7pzQ_V4BaS4
[3]. http://www.youtube.com/results?search_query=Rethink+Your+Data+Center-HP+POD+240a+&sm=3
[4]. https://sites.google.com/a/umich.edu/university-of-michigan-modular-data-center-mdc/home/documents
[5]. http://www.datacenterknowledge.com/archives/2011/06/07/hp-unveils-updated-ecopod-modular-design/

 

 

Modularne centrum danych jest to centrum danych składające się z pewnej liczby niezależnych i kompletnych modułów (np. kontenerów) - będących de facto w takim układzie serwerowniami, które wystarczy podłączyć do infrastruktury centrum danych (zasilanie, sieć komputerowa, źródło chłodu - opcjonalnie) w celu zwiększenia mocy obliczeniowej obiektu bez konieczności wykonywania prac budowlanych a nawet instalacyjnych.

W tradycyjnym modelu data center jest obiektem budowanym do docelowej, zaplanowanej wielkości i pojemności z kompletną infrastrukturą fizyczną zapewniającą odpowiednie warunki środowiskowe oraz bezpieczne i niezawodne zasilanie serwerowni. Z czasem szafy serwerowe zapełniane są odpowiednią ilością urządzeń IT. Jednak w momencie wypełnienia serwerowni, jedyną możliwością zwiększenia pojemności centrum danych będzie zaprojektowanie i wykonanie prac budowlanych mających na celu zwiększenie rozmiarów obiektu. Taka inwestycja trwa stosunkowo długo (nawet kilka lat), wymaga zaangażowania firm wykonawczych i może wiązać się z przestojami istniejącego systemu.

W przypadku modularnego centrum danych w obiekcie planuje się odpowiednio dużą przestrzeń (hala lub utwardzony teren) na moduły, które w miarę potrzeb są dostarczane w formie kompletnego, fabrycznego systemu (serwerownia wraz z instalacjami i urządzeniami IT).

Poniżej przedstawiam różne przykłady różnie zaprojektowanych i wykonanych modułów centrów danych, które są własnością firmy Microsoft.

Najpierw zdjęcia symulacji komputerowej.

msdcm9Na początek zaplanowano centrum danych składające się z dwóch modułów. [1]

msdcm10Z czasem dodano kolejne dwa, co bezpośrednio wynikało z bieżącego zapotrzebowania.
Czas realizacji - 2 miesiące od zamówienia. [1]

msdcm11Obiekt stale się rozrastał, co nie było związane z wykonywaniem prac budowlanych. Dla zwiększenia efektywności chłodzenia zastosowano ograniczenie strefy i wyrzut ciepłego powietrza ponad wysokością modułów. [1]

I zdjęcia realnych przykładów.

msdcm12Transport modułu. [2]

msdcm8Realne zdjęcie przykładowego modułu zewnętrznego wraz z przyłączami. [3]

msdcm6Obrazek pokazujący przepływ powietrza przez moduł. [4]

Pokazane powyżej moduły są w pełni chłodzone powietrzem zewnętrznym z zastosowaniem systemu ewaporacyjnego. Zgodnie z zaleceniami Microsoft, takie rozwiązanie można stosować w regionach gdzie temperatura zewnętrzna nie spada poniżej 10°C i nie wzrasta powyżej 32°C, przy czym dzienne wahanie temperatur nie może przekroczyć 10°C. [5] Także rozwiązanie nie nadaje się do zastosowania w Polsce i większości Europy.

W częściach Świata, gdzie trudno o takie warunki można po prostu moduły instalować w zamkniętej hali, gdzie stworzymy takie warunki. Mniej więcej taki model przedstawiają poniższe obrazki.

msdcm1Przykład hali centrum danych z modułami serwerowni. [1]

msdcm4Wnętrze jednego z przedstawianych modułów. [1]

msdcm2Widok przyłączy źródła chłodu. [1]

msdcm3Przykład hali centrum danych z bardziej skomplikowanymi - kilkuczęściowymi - modułami serwerowni wykorzystującymi chłodzenie powietrzem otoczenia (hali). [1]

msdcm7Widok szaf serwerowych i serwerów umieszczonych w module kilkuczęściowym, od którego odsunięto korytarz obsługi i filtrowania powietrza. [1]

msdcm5 UPSDla przykładu również moduł zasilania centrum danych. Ta sama idea, tylko inna zawartość. [1]

Źródło

[1]. Microsoft GFS Datacenter Tour

[2]. Microsoft’s ITPAC – A Perfect Fit for Off-the-Grid Computing Capacity
[3]. EXECUTIVE STRATEGY BRIEF Modular Data Centers
[4]. Microsoft ITPAC http://www.youtube.com/watch?v=S3jd3qrhh8U

[5]. Server Design for Microsoft’s Cloud Infrastructure

PUE - (ang. Power Usage Effectiveness) jest to współczynnik określający proporcje całej energii elektrycznej zużywanej na zasilanie centrum danych do energii elektrycznej zużywanej przez urządzenia IT. Im wartość bliższa 1 tym mniej energii marnowanej jest na potrzeby zapewnienia odpowiednich warunków klimatycznych serwerowni oraz odpowiedniej infrastruktury (zasilanie, chłodzenie itp.).

Współczynnik PUE został opracowany w roku 2007 i opisany przez amerykańską organizację The Green Grid skupiającą użytkowników końcowych, decydentów, producentów rozwiązań technologicznych oraz architektów infrastruktury. Szczegółowo PUE został opisane w dokumencie "PUE: A comprehensive examination of the metric".

Wzór zaczerpnięty dosłownie z dokumentu wygląda następująco:

PUE_centrum danych_data_center

Total Facility Energy - całkowita energia obiektu.
IT Equipment Energy - energia urządzeń IT.

Termin PUE na język polski należy przetłumaczyć dosłownie jako "efektywność zużycia energii". Jak można wyczytać w ww. dokumencie, wskaźnik ten służy do pomiaru efektywności energetycznej infrastruktury centrum danych i jest on narzędziem dla użytkownika końcowego, umożliwiającym zwiększenie efektywności energetycznej działania centrum danych.

Wspomniany dokument zawiera wyczerpującą ilość informacji szczegółowych dotyczących sposobów wykonywania pomiarów, obliczeń, wzorów, metod raportowania itp., dlatego zainteresowanych detalami odsyłam do jego lektury.

W praktyce niższy współczynnik PUE (bliższy 1) oznacza mniejsze wydatki związane z zasilaniem mocy obliczeniowej. Dwa centra danych o tej samej mocy IT i różnych współczynnikach PUE będą miały różne koszty utrzymania, co przełoży się bezpośrednio na cenę usługi docelowej.

Największy wpływ na docelową wartość współczynnika PUE mamy w fazie projektowej, kiedy to możemy odpowiednio zaplanować i dobrać rozwiązanie chłodzenia i zasilania (główne czynniki mające wpływ na wynik). Pozostałe elementy mają mniejsze znaczenie, co nie oznacza, iż nie powinny być odpowiednio przemyślane. Urządzenia bardziej efektywne energetycznie są droższe, jednak oszczędności jakie nam zapewnią w trakcie eksploatacji obiektu zrekompensują większe koszty w niedługim czasie.

Istnieje kilka sposobów na zwiększenie efektywności energetycznej serwerowni już działającej, jednak będą to raczej zmiany symboliczne. Kilka z nich wymieniłem w artykule "W jaki sposób zadbać o optymalną temperaturę w serwerowni i zaoszczędzić".

Najbardziej efektywnie energetycznie centra danych (Google'a czy Facebooka) chwalą się wartością PUE dochodzącą poniżej 1,1. Facebook nawet udostępnia na swoim portalu w formie FanPage'a rzeczywiste, bieżące wyniki min. wartości PEU. Jeśli chodzi o Google, to polecam stronę, gdzie firma opisuje sposób pomiaru efektywności oraz jego wyniki. W obu przypadkach kluczowe znaczenie dla osiągnięcia tak dobrych rezultatów ma zastosowanie chłodzenia ewaporacyjnego i chłodzenia opartego o zasoby naturalne (np. morze lub jezioro). O chłodzaniu jakie wykorzystuje Facebook w swoich centrach danych pisałem w artykule "Najnowsze centrum danych Facebooka zbudowane zgodnie z założeniami Open Compute Project – Część 1", do którego lektury zapraszam.

Podsumowując, współczynnik PUE warto mieć na uwadze już na etapie projektowania centrum danych. Warto zastosować bądź droższe rozwiązania (urządzenia), które zwrócą się i dadzą znaczne oszczędności zużycia energii w perspektywie czasu życia obiektu lub rozwiązania niestandardowe - na wzór Google'a lub Facebooka. Te drugie jednak wymagają znaczącej odwagi zarówno projektantów jak i inwestorów i póki co brak takich obiektów w naszym kraju (przynajmniej mi nic o tym nie wiadomo).

Tym razem prezentuję filmiki zamieszczone przez firmę SoftLayer przedstawiające ich dwa centra danych oraz proces kablowania szaf serwerowych i montażu w nich serwerów. Materiał ten jest bardzo ciekawy ponieważ pokazuje różne części cdata center z wieloma detalami. Ponadto przybliża on idee podziału centrum danych na tzw. POD-y. Żeby nie wrzucać po prostu linku filmów opatrzyłem je swoim komentarzem wyjaśniającym wiele kwestii.

Pierwszy film - centrum danych znajdujące się w Dallas (USA).

Pod filmem zamieściłem mój komentarz, który może wyjaśnić nieco spraw widocznych na filmie.

Zgodnie z tym, co mówi nasz przewodnik centrum to składa się z 4 POD-ów o łącznej pojemności 18 - 20 tysięcy serwerów (5 tysięcy na jeden POD).

Czym jest POD? Jest to wydzielona część centrum danych oraz jego infrastruktura, która jest niezależna od pozostałej części zarówno pod względem lokalizacji fizycznej (inna lub inne części tego samego budynku) jak i zasobów infrastrukturalnych (zasilanie, chłodzenie, przestrzeń serwerowni itp.). Taki podział pozwala na lepsze zarządzanie procesem stopniowego doposażania serwerowni urządzeniami IT (mocą obliczeniową) czy nawet umożliwia wynajęcie jednej części data center konkretnemu klientowi, który nie chce aby ktokolwiek inny przetwarzał i przechowywał swoje dane w tym samym miejscu i w tej samej infrastrukturze. Niestety nie udało mi się znaleźć rozwinięcia skrótu POD. Chyba, że jest to po prostu wyraz "pod" oznaczający strąk...

Analizując materiał po kolei (czas - komentarz):

0:48 -  widok przez szybę na jeden z POD-ów.
1:08 - omawiany jest system kontroli dostępu (karta zbliżeniowa plus odcisk palca).
1:29 - wejście do serwerowni pierwszego POD-a.
1:31 - informacja o tej samej budowie każdego z POD-ów.

1:56 - widok przodu szafy serwerowej wyposażonej w serwery 1U, 2U i 4U. Zauważyć można, że nie wyposażono szaf w drzwi czołowe.

2:32 - widok tyłu szaf oraz okablowania sieciowego serwerowni (dosyć specyficzne podejście stosowane we wszystkich serwerowniach firmy SoftLayer). Każdy serwer wyposażony jest w 5 aktywnych połączeń sieciowych (5 przyłączonych kabli) - 2 połączenia sieci prywatnej, 2 publicznej i 1 na potrzeby zarządzania serwerem. Dla łatwiejszego zarządzania dla każdej sieci stosowany jest inny kolor kabla. Połączenia o przepustowości 1 Gb (2 x 1 Gb dla podwójnych połączeń). Kable doprowadzone są do switchy zamontowanych w tej samej szafie. Również one są redundantne (1+1).

2:59 - listwy zasilające, każda szafa wyposażona jest w dwa zestawy listew, każdy serwer połączony jest dwoma kablami do dwóch różnych listew zasilanych z dwóch różnych źródeł.

3:27 - "remote power panel" - zdalny panel zasilania lub rozdzielnica zdalna (lokalna?). Każdy panel posiada dwa źródła zasilania. Każda szafa jest zasilana podwójnie z panela znajdującego się w danym rzędzie.

3:44 - widok PDU - punktu dystrybucji energii, do którego podłączone są ww. panele zasilania.

4:08 - chłodzenie - "CRACs units" (Computer Room Air Conditioning units - jednostki klimatyzacji serwerowni, jednostki klimatyzacji precyzyjnej). Zgodnie z wypowiedzią przewodnika jednostki dobrane są nadmiarowo i wyłaczenie którejkolwiek nie stanowi zagrożenia dla systemu. Klimatyzacja nawiewa chłodne powietrze pod podłogę podniesioną. Ciepłe zaciąga górą. Dzięki wyposażeniu jednostek w widoczne rękawy (od góry) powietrze zasysane jest z wyższych partii serwerowni. Dostępne są w Internecie badania (np. Google'a), które wykazują znaczącą korzyść takiego rozwiązania w kontekście kosztów utrzymania odpowiedniej temperatury oraz redukcji części mankamentów wynikających z braku zabudowy stref pomiędzy szafami rack.

4:46 - PoP - Point of Presence - pomieszczenie łączności telekomunikacyjnej centrum danych z siecią Internet- niestety ściśle tajne i niedostępne nawet dla VIP-ów...

4:58 - Staging area - powiedzmy, że magazyn. Widzimy w środku duże ilości nowego sprzętu IT gotowego do zainstalowania zgodnie z zapotrzebowaniem klienta.

6:00 - Network Operation Center (NOC) - dosłownie Centrum Operacyjności Sieciowej (jeśli można tak powiedzieć) lub chyba bardziej poprawnie Centrum Zarządzania Siecią. Z wypowiedzi wynika, że jest to jedyny NOC w Dallas (ze strony www.softlayer.com wynika, że w Dallas firma ma 7 centrów danych). Czyli rozwiązano to w taki sposób, że jedno Centrum Zarządzania Siecią wystarczy dla kilku obiektów data center umiejscowionych w niedalekiej odległości. W NOC-u pracują administratorzy, którzy za pomocą zautomatyzowanych mechanizmów kontrolują i zarządzają siecią, urządzeniami i zdarzeniami jakie mają miejsce. Obsługują też zgłoszenia klientów. Technicy dostępni są 24 godziny na dobę.

6:48 - na zewnątrz, w pobliży agregatów chłodniczych i prądotwórczych. Wszystko nadmiarowo . Dla jednego POD-a chłód gwarantują dwa agregaty pracując naprzemiennie. Zasilanie zabezpieczone jest agregatami prądotwórczymi - po jednym na POD, plus jeden nadmiarowy dostępny dla wszystkich POD-ów. Każdy o mocy 2 MW.

Drugi film - centrum danych zlokalizowane w Amsterdamie.

Infrastruktura tego data center jest bardzo podobna do poprzedniego, dlatego nie będę już męczył zbędnymi treściami. Zapraszam do oglądania.

Trzeci film - kablowanie szaf serwerowych.

Bardzo fajny filmik przedstawiający proces ustawiania szaf rack (a raczej samych ram szaf, bo niby po co drzwi i panele boczne - strata kasy i utrudnienia przy zarządzaniu), montowania switchy (zgodnie z powyższym opisem SoftLayer stosuje 5 sztuk na każdą szafę) oraz żmudny i długi czas montażu okablowania. Na szczęście wszystko w przyśpieszonym tempie i z pozytywną muzyczką.

Czwarty filmik - dostawa i montaż serwerów.

Szafy okablowane, infrastruktura gotowa - można montować serwery. Ale najpierw dostawa i wypakowywanie. Dużo kartonów, spore zamówienie, producent urządzeń pewnie świętował kilka dni po takim dealu :)

Piąty filmik - dalsza część montażu serwerów.

Ten film nie wnosi już nic nowego, ale myślę że będzie ciekawy dla chcących więcej.

Podsumowanie

Firma SoftLayer jest globalnym dostawcą mocy obliczeniowej. Posiada obecnie 13 obiektów data center na świecie. Wszystkie są jednak wykonywane według tych samych wytycznych i własnego standardu. Sprawia to, że każdy z nich od środka wygląda bardzo podobnie, a sama serwerownia nawet identycznie. Na pewno przyśpiesza to proces realizacji kolejnych centrów danych oraz łatwość zarządzania. Miło, że SoftLayer udostępnia materiały wideo pokazujące wnętrze data center, co w mojej opinii (oprócz reklamy) stanowi znaczną wartość edukacyjną, szczególnie dla krajów, które jeszcze raczkują w tej tematyce...

Klasyfikacja Tier coraz częściej pojawia się w kontekście charakteryzowania obiektów data center. Właściciele centrów danych zamieszacją w materiałach reklamowych i na stronach internetowych informacje o konkretnej klasie Tier swojego obiektu. Nawet w wytycznych projektowych można już spotkać tajemniczy zapis dotyczący klasy planowanego centrum danych. Czy jednak są to realne do osiągnięcia i prawidłowo określone wymagania? Czym w ogóle jest klasyfikacja Tier? Skąd wywodzi się termin Tier i jak go wymawiać? Gdzie znaleźć wytyczne dla poszczególnych klas? Postanowiłem sprawę dogłębnie rozeznać i przedstawić fakty, które pomogą uporządkować temat.

Czym jest klasyfikacja Tier?

Klasyfikacja Tier służy do określenia poziomu dostępności i niezawodności infrastruktury (fizycznej - zasilanie, chłodzenie, architektura budynku itp.) centrum danych. Im wyższy numer tym bardziej niezawodny i bezpieczny system. Przy czym, jak wyjaśniam poniżej, istnieją dwa główne, różniące się między sobą, zbiory wymagań za którymi stoją dwie różne instytucje.

Geneza terminu tier

Wyraz tier, zaczerpnięty do klasyfikacji obiektów data center pochodzi od angielskiego "tier" oznaczającego poziom lub standard. Można go wymawiać zapewne po polsku tak jak się pisze, lub bardziej prawidłowo zgodnie z zasadami języka angielskiego, co brzmi prawie jak "tir" (znaczenie i wymowa).

Po raz pierwszy - oficjalnie - określenia "tier" do klasyfikacji poziomu dostępności centrum danych użyła firma The Uptime Institute (zwana dalej również Uptime lub Instytut) mniej więcej w roku 1990 [1]. Jednym z pierwszych dokumentów definiujących poziomy wydajności (Tiery) był "Industry Standard Tier Classifications Define Site Infrastructure Performance" z roku 2001 (dostępny w Internecie), który opisywał wytyczne konfiguracji infrastruktury technicznej oraz określał za pomocą wartości procentowej minimalny poziom dostępności systemu dla każdej z klas Tier I, II, III, IV.

W roku 2005 klasyfikacja ta została zapożyczona i poszerzona przez organizację Telecommunications Industry Association (TIA) do opracowania pierwszego standardu definiującego infrastrukturę telekomunikacyjną centrum danych, normy TIA-942 z 2005 roku o nazwie "Telecommunications Infrastructure Standard for Data Centers", który jest do dzisiaj najbardziej popularnym standardem wykorzystywanym do projektowania centów danych (został on uaktualniony w latach 2008 i 2010 - niestety nie posiadam tych wersji). Fakt zapożyczenia klasyfikacji Tier od The Uptime Institute jest kilkakrotnie wspominany w treści normy.

Czy klasyfikacja Rated wg. normy TIA-942 jest tym samym, co klasyfikacja Tier wg. wytycznych The Uptime Institute?

Nie, klasy te nie są tym samym, ponieważ różnią się od siebie i to fundamentalnie. Do wersji TIA-942-A była używana klasyfikacja Tier jednak różniła się w zapisie od Tier The Uptime Instytute, który to stosował rzymskie cyfry I, II, III, IV (Tier I, Tier II, Tier III, Tier IV) natomiast TIA-942 oznaczała cyframi arabskimi 1, 2, 3, 4 (Tier 1, Tier 2, Tier 3, Tier 4). Taka klasyfikacja może się jeszcze pojawiać w starszych materiałach. To się jednak zmieniło od wersji TIA-942-B gdzie zastosowano klasyfikację Rated-1, 2, 3, 4.

Klasyfikacja TIA 942 Rated

Klasyfikacja Rated wg. TIA-942

TIA-942 definiuje szereg wytycznych dla czterech klas Rated (kilkanaście stron tabel, kilkaset pozycji, wiele stron opisów) dotyczących min.

  • telekomunikacji,
  • konstrukcji budynku, logo
  • zadaszenia,
  • elementów budynku,
  • pomieszczeń,
  • dróg transportowych,
  • miejsc magazynowych i przechowywania paliwa,
  • bezpieczeństwa fizycznego budynku,
  • odporności ścian, systemów bezpieczeństwa,
  • instalacji elektrycznych i jej komponentów,
  • instalacji mechanicznych - chłodzenia i wentylacji,
  • systemów przeciwpożarowych.

Tabele te pozawalają na przeanalizowanie krok po kroku spełniania kolejnych wymogów przez klasyfikowany obiekt. Należy pamiętać, że niespełnienie choćby jednej pozycji dyskwalifikuje oczekiwany poziom Rated.

W opinii The Uptime Institute wytyczne te są oderwane od potrzeb biznesowych użytkownika obiektu, identyczne dla wszystkich rodzajów działalności i dla różnych potrzeb związanych z funkcjonowaniem centrum danych. Przez to są, w jego opinii, niewłaściwe.

Klasyfikacja Tier wg. The Uptime Institute

upiW przeciwieństwie do rozbudowanych i identycznych dla każdego obiektu data center, szczegółowych wytycznych normy TIA-942, Uptime bardziej koncentruje się na przekazaniu idei dostosowania centrum danych do konkretnych potrzeb biznesowych użytkownika i nie posługuje się przy tym wypunktowanym zestawami zaleceń. Sprawia to, że nie jesteśmy w stanie ocenić samodzielnie czy spełniamy kryteria którejkolwiek klasy Tier, ponieważ nie są one znane a nawet będą różne dla różnych przypadków.

Uptime posługuje się dwoma dokumentami (dostępnymi po zarejestrowaniu i zalogowaniu tutaj) określającymi kryteria dla poszczególnych klas.

Pierwszy - "Data Center Site Infrastructure Tier Standard: Topology" - określa główne założenia topologi systemu dla poszczególnych klas Tier, przy czym każda kolejna klasa jest rozszerzeniem poprzedniej, i tak mamy:

  • Tier I: System nieredundantny. Infrastruktura centrum danych umieszczona w dedykowanym obszarze poza przestrzenią biurową.
  • Tier II: Podstawowa redundancja. Systemy zasilania i chłodzenia posiadają redundantne komponenty.
  • Tier III: Infrastruktura niezależnie zarządzalna. Brak wpływu zarządzania i wymiany komponentów infrastruktury na pracę systemu IT.
  • Tier IV: Infrastruktura odporna na awarie. Odporność na pojedyncze, nieplanowane zdarzenia, takie jak pożar, wyciek czy eksplozja.

Drugi - " Data Center Site Infrastructure Tier Standard: Operational Sustainability" - określa czynności jakie należy wykonywać oraz procedury jakie należy stosować, aby zapewnić odpowiednią trwałość i niezawodność operacyjną centrum danych odpowiedniej klasy Tier. Jak wynika z dokumentu, poziom dostępności i niezawodności data center jest wynikiem połączenie wytycznych topologi określonego Tier oraz sposobu zarządzania infrastrukturą. Wymagane procedury i  czynności zestawione są w formie tabel i dotyczą 3 obszarów:

  1. Zarządzenia i operacyjność. Kwestie dotyczące:
    • zatrudnienia odpowiedniej kadry i organizacji pracy (pracownicy oraz ich dostępność na zmianach, kwalifikacje zawodowe, organizacja pracy - raportowanie, przepływ informacji, określenie stanowisk i odpowiedzialności);
    • zasad i czynności związanych z zarządzeniem i utrzymaniem centrum danych (program prewencyjnego zarządzania, zasady utrzymania czystości, zarządzanie systemami, zasady wsparcia i kontaktu z dostawcami, planowanie czasu życia komponentów itp.);
    • rodzaju szkoleń dla pracowników i dostawców elementów systemu;
    • planowania, koordynowania i zarządzania (polityki i instrukcje działania, proces finansowania, dokumenty odniesienia, zarządzanie dostępną pojemnością centrum danych) itp.
  2. Charakterystyka budynku. Kwestie dotyczące:
    • czynności jakie powinny mieć miejsce przed uruchomieniem systemu (procedury odbioru budowy związane z dokładnym przetestowaniem instalacji i urządzeń itp.);
    • cech budynku (budynek celowo wybudowany na potrzeby data center, wydzielenie wskazanych funkcji do osobnych pomieszczeń - poza serwerownię, zabezpieczenia fizyczne przed dostępem nieuprawnionych osób);
    • opcjonalności infrastruktury (możliwość łatwego zwiększenia pojemności i możliwości centrum danych, wsparcie operacyjności - mechaniczne i automatyczne rozwiązania ułatwiające utrzymanie działania systemu).
  3. Lokalizacja obiektu. Wytyczne określające
    • ryzyko związane z naturalnymi kataklizmami;
    • ryzyko związane z bliską działalnością ludzką, która mogłaby mieć wpływ na bezpieczeństwo obiektu (odległość portu lotniczego, autostrady itp.).

Warto podkreślić, że ani TIA-942 ani Uptime nie posługują się w tych normach i dokumentach określaniem procentowym lub czasowym poziomu dostępności (np. 99,9 % w roku). Instytut przestał również używać jakichkolwiek rysunków schematycznych, które można było wcześniej znaleźć w ww. dokumentach. Ponadto żadna z instytucji nie przewidziała możliwości wystąpienia klas częściowych lub niepełnych, jak np. Tier II+ lub Rated-3 bez spełnienia jednego warunku, albo prawie Rated-4. I na koniec tego akapitu - Tier I lub Rated-1, wbrew pozorom, wymaga spełnienia pewnych warunków i na pewno nie można ich przypisać za sam fakt uruchomienia centrum danych. Dlatego uważam, że nawet najniższy poziom jest powodem do dumy, ponieważ wiele obiektów jest poniżej tej klasyfikacji.

Zasady certyfikacji centrów danych

Obecnie możliwa jest certyfikacja centrów danych, w kontekście klasyfikacji Tier, tylko i wyłącznie przez The Uptime Institute, co można wyczytać na stronie Instytutu. Ponadto Uptime zaznacza, że należy szczególnie uważać na obiekty, które same sobie przydzieliły poziom Tier.  Na stronie można również znaleźć spis wszystkich, dotychczas certyfikowanych centrów danych i dokumentacji oraz mapę ich lokalizacji.

Proces certyfikacji polega na zgłoszeniu się do Instytutu, po czym otrzymamy scenariusz działania oraz ofertę cenową. Cena będzie pokrywała wszystkie koszty związane z przyjazdem osób certyfikujących, ich zakwaterowaniem i czasem pracy związanym z dostosowywaniem planów obiektu do wytycznych jakie przedstawią eksperci.

Dla doprecyzowania, Uptime wyróżnia 3 rodzaje certyfikacji, każda płatna osobno.

  1. Certyfikat dokumentacji projektowej (Tier Certification of Design Documents).
  2. Certyfikat istniejącego/wybudowanego centrum danych (Tier Certification of Constructed Facility).
  3. Certyfikat niezawodności operacyjnej istniejącego obiektu (Operational Sustainability Certification).

Szkoda, że po weryfikacji i certyfikacji dokumentacji projektowej nie można automatycznie otrzymać certyfikatu dla wybudowanego data center, ale pewnie panowie z Instytutu wolą się upewnić, czy wszystko jest na 100% prawidłowo i czy czegoś nie przeoczyliśmy. Niemniej można certyfikować istniejące centrum danych jeśli tylko spełni odpowiednie wymagania.

Uptime prowadzi również certyfikację osób zajmujących się tematyką centrów danych:

  1. Projektantów, inżynierów, kierowników prac projektowych - Accredited Tier Designer (ATD).
  2. Menadżerów, konsultantów, architektów, kierowników projektów, inżynierów sprzedaży, architektów sieciowych  - Accredited Tier Specialist (ATS).

Koszt szkolenia, na dzień dzisiejszy, to 4 985 USD plus koszty transportu na miejsce szkolenia za granicą (z reguły jedna lokalizacja dla całego kontynentu - w naszym przypadku Londyn) oraz noclegu i wyżywienia. Szkolenie trwa 3 dni i kończy się egzaminem.

Warto mieć na uwadze fakt, że The Uptime Institute jest firmą prywatną, opierającą się na własnym doświadczenie i własnym programie techniczno-marketingowym. Nie jest to organizacja normalizacyjna ani mogąca wyznaczać obowiązujące standardy - w przeciwieństwie do TIA.

Jeśli chodzi o kwestię certyfikacji w przypadku TIA i normę TIA-942, to TIA również oferuje możliwość certyfikacji obiektu. Po więcej informacji odsyłam do oficjalnej strony TIA.

Podsumowanie

Twórcą i inicjatorem klasyfikacji Tier jest The Uptime Institute. Jedyną instytucją, która może ocenić klasę Tier centrum danych w kontekście zaleceń The Uptime Institut jest właśnie ta organizacja, wobec czego samodzielne stwierdzenie jakiejkolwiek klasy bez możliwości potwierdzenia tego faktu na stronach Instytutu będzie nieprawdą. Klasy Tier Uptime oznacza się rzymskimi cyframi I, II, III, IV. Klasy Tier TIA-942 przed wersją B oznaczało się cyframi arabskimi 1, 2, 3, 4. Od wersji B klasyfikacja oznaczana jest jako Rated-1, 2, 3, 4. Samodzielnie możemy nieoficjalnie klasyfikować centrum danych wg. TIA-942 jeśli faktycznie obiekt spełnia wszystkie wytyczne dla danego Tier opisane w normie. Wtedy możemy śmiało pisać np. "centrum danych zgodne z wytycznymi Rated-3 (lub 1, 2, 4) normy TIA-942". Pamiętajmy jednak, że część z tych wytycznych da się sprawdzić nie wchodząc nawet do przedmiotowego centrum danych, dlatego lepiej postępować ostrożnie i uczciwie. Warto skorzystać z płatnej certyfikacji TIA 942.

Zapraszam do dyskusji!

[1]. Uptime, TIA and BICSI: Who runs the data center design standards show?

Kontynuując tematykę zabezpieczeń przeciwpożarowych serwerowni zamieszczam odnośnik do krótkiego filmiku prezentującego montaż Stałego Urządzenia Gaśniczego. Co prawda przedstawiony montaż odbywa się w pomieszczeniu archiwum, niemniej jednak sposób wykonywania instalacji jest adekwatny do przypadku serwerowni. Oczywiście szczegóły projektowe i elementy instalacji (szczególnie prowadzenie rur i lokalizacja czujek) będą się różniły, choćby ze względu na obecność technicznej podłogi podniesionej, sufitu podwieszanego czy zabudowy przestrzeni pomiędzy szafami (strefy chronione).

Materiał jest własnością firmy Pliszka i dobrze, że został przez nią umieszczony w Internecie, ponieważ brakuje takich przykładów realizacji w Polsce, wykonywanych przez polskie firmy.