Open Compute Project (dosłownie "otwarty projekt obliczeniowy) to przedsięwzięcie inżynierów Facebooka mające na celu opracowanie otwartych i ogólnie dostępnych dla wszystkich standardów budowy centrum danych i jego wyposażenia, które przy najniższych kosztach inwestycji zapewnią najwyższą efektywność energetyczną i moc obliczeniową.

Open CloudServer

Grupa inżynierów Facebooka spędziła ostatnie kilka lata nad sprostaniem zadania - w jak rozbudować swoją infrastrukturę obliczeniową w najbardziej efektywny i ekonomiczny sposób. Pracując najpierw na środowisku testowym stworzyła założenia, które udało się wdrożyć w wybudowanym od podstaw, zgodnie z pierwszymi wytycznymi projektu data center w Prineville w stanie Oregon (USA). Oprócz odpowiednio zaprojektowanego budynku i układu pomieszczeń (co miało na celu stworzenie maksymalnie efektywnego sposobu chłodzenia) obiekt został wyposażony w opracowane przez zespół serwery wykonane z komponentów komputerów PC,  zasilacze UPS, szafy rackowe i system bateryjnego podtrzymania zasilania. Grupa zaczęła wszystkie prace nad projektem od zera, dlatego mógła sobie pozwolić na całkowicie indywidualne podejście do każdego aspektu i zaplanowanie wszystkiego od początku, pomijając wszelkie dostępne, opracowane przez wielkie korporacje informatyczne i infrastrukturalne rozwiązania.

W oparciu o wytyczne OCP powstały już dwa centra danych, jedno - jako pierwsze - wspomniany wyżej obiekt w Prineville w  USA oraz drugi w miejscowości Lulea w Szwecji, który to przedstawiłem tutaj. Krótko tylko przypomnę, że obiekt ten wykorzystuje w 100% zewnętrzne powietrze do chłodzenia całej serwerowni. We wspomnianym wpisie skupiłem się jedynie na kwestii budowy data center. OCP jednak obecnie posiada znacznie większy zakres i przedstawia wytyczne:

Poniżej przedstawiam fragment specyfikacji dotyczącej budowy serwera nazwanego Open CloudServer (zdjęcie powyżej).

Przechwytywanie

Efekt stosowania opisanych w projekcie rozwiązań (na przykładnie centrum danych w Prineville) to redukcja kosztów inwestycji o 24%, kosztów utrzymania o 34% i osiągnięcie rekordowo niskiego wskaźnika PUE na poziomie 1,07 w skali roku.

Zapraszam do analizy tego wyniku w udostępnionej przez Facebook aplikacji wizualizującej zależność PUE od temperatury zewnętrznej oraz wilgotności. Poniżej zrzut ekranu i wyniki przedstawiane przez aplikację w momencie pisania tej treści.

facebook pue

Open Compute Project przez kilka lat swojego istnienia mocno się rozwiną i obecnie jest to już zestaw wielu dokumentów i specyfikacji, których samo przeczytanie wymaga poświęcenia dużej ilości czasu. Wszelkie informacje i specyfikacje można znaleźć na stronie projektu www.OpenCompute.org.

Moim celem tutaj było jedynie zasygnalizowanie, że istnieje takie przedsięwzięcie, dotyczy wielu aspektów i jest ogólnie dostępne. Czy ktoś z tego zrobi pożytek to już inna sprawa. Chętnie podejmę się takiego zadania jeśli znajdzie się odpowiednio szalony (w pozytywnym tego słowa znaczeniu) inwestor :) .

Tym razem chcę poruszyć temat testów obciążeniowych serwerowni / centrum danych, który ma na celu zbadanie poprawności zaprojektowanych i wykonanych instalacji klimatyzacji i zasilania serwerowni oraz prawidłowego funkcjonowania tych systemów dla docelowej, maksymalnej wartości obciążenia energetycznego.

Obciążnice w szafach serwerowych
Obciążnice w szafach serwerowych

W trakcie projektowania centrum danych i serwerowni dobierane są odpowiednie rozwiązania z zakresu klimatyzacji i zasilania, które często wynikają z solidnych obliczeń i doświadczenia projektanta bądź w wyniku sprawnych działań handlowca reprezentującego konkretnego producenta. W projekcie wszystko może wyglądać dobrze, ale czy tak będzie w rzeczywistości? Jest to już zagadka, która zazwyczaj rozwiązuje się zbyt późno - kiedy już system IT został wdrożony i każda minuta przestoju jest dramatyczna. Często jest jednak tak, że do maksymalnej, projektowanej mocy elektrycznej serwerownia zostanie obciążona dopiero po długim czasie, kiedy to już trudno będzie rościć pretensje do projektanta lub firmy wykonawczej, która również mogła przyczynić się do niewłaściwego rezultatu wykonując coś nie tak jak zostało to zaprojektowane.

Inną kwestią jest odpowiednia konfiguracja systemów chłodzenia i zasilania w tym zasilania gwarantowanego i rezerwowanego. Co z tego, że nasz system zasilaczy UPS wraz z dużą ilością baterii podtrzyma urządzenia IT nawet na 15 minut, jeśli klimatyzacja w tym czasie nie będzie działała, lub jeśli uruchomi się zbyt późno, kiedy zbyt wysoka temperatura spowoduje samoczynne wyłączanie się sprzętu IT. Co jeśli zaplanowano, że klimatyzatory tylko na chwilę się wyłączą lub będą podtrzymane zasilaniem gwarantowanym, jeśli nie będzie to zapewnione dla agregatów wody lodowej, które po zaniku napięcia potrzebują kilku minut na wznowienie działania... Tego typu pytań będzie znacznie więcej zależnie od konkretnego przypadku.

Aby uniknąć takich sytuacji należałoby wykonać testy obciążeniowe centrum danych przed odebraniem prac od wykonawcy. Tylko jak takie testy wykonać nie mając jeszcze zapełnionej serwerowni urządzeniami IT? Można to zlecić odpowiedniej firmie, która się takimi rzeczami zajmuje i posiada odpowiednią ilość obciążnic, które zasymilują działanie i wytwarzanie ciepła serwerów dla projektowanej mocy. Nie mam tutaj na myśli pojedynczej, dużej obciążnicy, która będzie stała na zewnątrz i sprawdzi poprawność jedynie instalacji zasilania, ale takich obciążnic, które zostaną zamontowane w szafach rack odpowiednio i równomiernie dla całej serwerowni.

Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci
Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci i dużego obciążenia gwarantowanych odbiorów centrum danych

Takie urządzenia, przy kontrolowanym zaniku zasilania z sieci, pozwolą na bezpieczne zbadanie wydajności klimatyzacji oraz tego, czy została ona odpowiednio dobrana dla projektowanego obciążenia, czy utrzyma bezpieczną temperaturę do czasu przejęcia zasilania przez agregat prądotwórczy, czy agregaty prądotwórcze wystartują w planowanym czasie, czy w ogóle wystartują, czy zasilacze UPS poradzą sobie z taką awarią, czy baterie wytrzymają zadany czas podtrzymania na pełnym obciążeniu itd., itp.

Z mojego doświadczenia wynika, że coś może być nie tak zaprojektowane lub wykonane, albo po prostu urządzenie lub jego element miał wadę fabryczną. To coś, w produkcyjnym środowisku byłoby bardzo poważną usterkę i miałoby negatywny wpływ na wizerunek firmy, której system nagle przestałby działać na czas nieokreślony. Dużo łatwiej i praktycznie bezkosztowo dla inwestora (wady naprawia wykonawca) można problem wyeliminować zanim będzie za późno. Dlatego też polecam dołożyć do kosztorysu inwestorskiego taki element (testy obciążeniowe centrum danych)  i zlecić te prac bezpośrednio odpowiedniej firmie, która nie będzie związana z wykonawcą testowanego centrum danych, co zapewni rzetelność badania.

analizator jakości energii
Analizator jakości energii
obciążnice 3,5 kW
Obciążnice RACK-owe symulujące pracę serwerów w ich docelowych lokalizacjach w serwerowni
obciążnica
Obciążnica większej mocy

Kontynuując cykl dotyczący modularnych centrów danych i modularnych serwerowni przedstawiam propozycję firmy Rittal o nazwie RiMatrix S. Tak się szczęśliwie złożyło, że firma ta zorganizowała w ostatnim czasie roadshow po Polsce z przykładową wersją kontenera i miałem okazję zobaczyć produkt od środka. Wydarzenia miało miejsce w czerwcu 2014 roku. Poniżej przedstawiam krótkie streszczenie omawianego rozwiązania.

RiMatrix S to zestaw szaf serwerowych, sieciowych, systemu zasilania, chłodzenia itp. zdefiniowany przez producenta i określony katalogowymi parametrami tworzący jako całość modularne data center, które na życzenie klienta może zostać zainstalowana w jednej z trzech opcji.

  1. Wersja kontenerowa - posadowienie na zewnątrz budynku.
  2. Wersja wewnętrzna podstawowa - instalacja systemu w jednym z pomieszczeń budynku.
  3. Wersja wewnętrzna w bezpiecznym pomieszczeniu IT Security Room wewnątrz budynku.

System oraz opcje instalacji przedstawiam na poniżej zamieszczonych obrazkach zaczerpniętych ze strony producenta oraz z materiałów udostępnionych mi przez firmę Rittal.

Dwa pierwsze obrazki przedstawiają podstawowy moduł systemu, który może być skalowany poprzez dostawianie kolejnych modułów w miarę potrzeb.

System RiMatrix S bez obudowy
System RiMatrix S bez obudowy (opcja single 6).

 

System RiMatrix S - widok szkieletu (opcja single 6)
System RiMatrix S - widok szkieletu (opcja single 6).

 

RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)
RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)

 

RiMatrix S wersja instalowana w budynku
RiMatrix S - wersja instalowana w budynku

 

RiMatrix S it security room
RiMatrix S - wersja instalowana w bezpiecznym pomieszczeniu IT security room.

I poniżej zdjęcia przedstawiające wersję kontenerową, które zostały zrobione podczas wspomnianego roadshow we Wrocławiu.

RiMatrix S w kontenerze
RiMatrix S w kontenerze

 

RiMatrix S w kontenerze - widok od boku.
RiMatrix S w kontenerze - widok od boku.

 

RiMatrix S w kontenerze - widok z autorem wpisu
RiMatrix S w kontenerze - widok z autorem wpisu

System zapewnia obsługę maksymalnej moc 1o kW na jedną szafę serwerową. Jako główne zalety producent wymienia:

  • Niższe koszty inwestycji.
  • Gwarantowany wskaźnik PUE = 1.1.
  • Znacznie uproszczona i skrócona faza projektowania.
  • Niższe koszty serwisowania.
  • Krótki termin dostawy z produkcji seryjnej.
  • Pełna dokumentacja, testy systemu, certyfikowane moduły TÜV Rheinland wg PN-EN 50600-1; VDE 0801-600-1:2012-01.

Należy pamiętać, że konieczne jest - niezależnie od wersji - zapewnienia miejsca dla jednostek zewnętrznych systemu klimatyzacji oraz ewentualnego systemu zasilania rezerwowanego.

Co do kosztów i czasu realizacji,  jak zawsze zależy do czego porównać...

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji").  Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41
Widok na wejście główne.
RemtechModuSec5
Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.
RemtechModuSec2
W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.
RemtechModuSec3
Kilka godzin później.
RemtechModuSec4
Widok od góry. Można po tym skakać...
RemtechModuSec6
Przejścia kablowe, szczelne i bezpieczne jak wszystko.
RemtechModuSec7
Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

 

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1
Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.
RemtechModuSecOut2
Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

  • ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
  • wodę gaśniczą,
  • długotrwałe zalanie,
  • gazy korozyjne,
  • eksplozje,
  • wandalizm (można to zobaczyć na tym filmie)
  • nieuprawniony dostęp,
  • włamanie,
  • interferencję elektromagnetyczną,
  • kurz,
  • spadające elementy,
  • dźwięk (tłumienie),
  • mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

 

 

 

 

 

Tym razem prezentuję krótki, aczkolwiek treściwy materiał. Mianowicie Europejska Organizacja Badań Jądrowych (CERN) za pomocą systemu Google Street View udostępniła możliwość wirtualnego zwiedzania swojej serwerowni, w taki sam sposób jak ulice, które można podglądać na mapach Google.

CERN_Computer_room_2
Przykładowy fragment widoku serwerowni CERN.

W omawianej serwerowni CERN utrzymuje komputery o dużej mocy obliczeniowej, która jest przeznaczona dla potrzeb naukowych. Sama budowa pomieszczenia nie cechuje się jakimiś nadzwyczajnymi rozwiązaniami i jest raczej standardowa, jednak możliwość zdalnego "wejścia" do niej jest interesująca.

Pracownicy Organizacji dodatkowo (być może dla zachęty tych, którym widok samej serwerowni nie sprawia większej satysfakcji) rozmieścili wewnątrz serwerowni 20 ludzików LEGO. Można spróbować je znaleźć. Mi się nie udało, ale zapewne dlatego, że nie poświęciłem na to odpowiednio dużo czasu. Wolałem oglądać infrastrukturę :)

Tak więc poniżej zamieszczam link bezpośrednio kierujący do systemu Google Street View i serwerowni Europejskiej Organizacji Badań Jądrowych w Szwajcarii oraz, dla zainteresowanych, na stronę Organizacji.
Wejście do serwerowni CERN.
Strona Europejskiej Organizacji Badań Jądrowych

Budowa centrum przetwarzania danych, czyli z jakich części składa się data center? Wyjaśniam na kolejnym przykładzie. Kolejnym, ponieważ zagadnienie podziału data center poruszyłem przy okazji pisania mojej definicji centrum danych oraz analizy różnicy pomiędzy serwerownią a centrum danych.

Mimo, iż jestem zwolennikiem używania pojęcia "centrum danych" zamiast "centrum przetwarzania danych" (moje uzasadnienie), wygląda na to, że to drugie staje się bardziej popularne od pierwszego. Jestem przez to zmuszony do używania również nazwy "centrum przetwarzania danych", ponieważ w świecie Google'a mój blog może być pominięty dla osób szukających wiedzy pod taką frazą. Wspomnę tylko szybko, że w obu przypadkach piszę o tym samych, czyli o data center.

Tak więc tym razem przedstawiam podział funkcjonalny - budowę centrum przetwarzania danych na przykładzie modelu obiektu firmy SAP [1], bez powtarzania informacji, które można znaleźć w powyżej podlinkowanych treściach.

Jak zawsze, do omawiania budowy centrum przetwarzania danych najlepiej posługiwać się modelem komputerowym, ponieważ nie sposób wykonać zdjęcia przekroju istniejącego centrum danych. Poniżej przedstawiam obraz takiego modelu. Dodatkowo zostały na nim opisane poszczególne systemy i części funkcjonalne, które są umiejscowione w osobnych pomieszczeniach, co jest podstawową cechą profesjonalnego (modelowego) data center.

mainSAPDC

Głównym i najważniejszym pomieszczeniem centrum przetwarzania danych jest serwerownia (server room). To tutaj cały proces przetwarzania (i nie tylko) ma miejsce. Tutaj w odpowiednich warunkach klimatycznych i fizycznych pracują urządzenia IT. Poniżej zdjęcie wykonane w jednym z rzędów pomiędzy szafami IT (szafami "rack").

SAPDC01

Aby sprzęt IT w serwerowni mógł niezawodnie, ciągle i bezpiecznie pracować niezbędny jest odpowiednio zaprojektowany system zasilania. Oprócz zasilania z sieci elektroenergetycznej (na niezawodność której, nie mamy wpływu) niezbędne jest wyposażenie centrum przetwarzania danych w zasilacze bezprzerwowe UPS (zabezpieczające min. przed chwilowymi skokami i zanikami napięcia) oraz  generatory prądotwórcze, które w przypadku braku zasilania z sieci zapewnią źródło prądu (tutaj już jak najbardziej mamy wpływ na niezawodność i ciągłość zasilania). Poszczególne elementy systemu zasilania profesjonalnego centrum przetwarzania danych powinny być zlokalizowane w osobnych pomieszczeniach. Więcej o zasilaniu pisałem na stronie Zasilanie serwerowni w dziale Praktyka.

Poniżej zdjęcie zespołu generatorów prądotwórczych...

02

... oraz baterii zasilaczy UPS.

SAPDC03

Do schłodzenia dużej ilości ciepła generowanej przez urządzenia IT potrzebny jest wysoko wydajny system chłodzenia - standardowo oparty o klimatyzację precyzyjną. Z reguły jednostki wewnętrzne znajdują się w pomieszczeniu serwerowni (szczególnie w coraz częściej stosowanych klimatyzatorach rzędowych) lub w pomieszczeniu bezpośrednio przylegającym do serwerowni.

Poniżej zdjęcie wymienników ciepła zlokalizowanych na dachu omawianego centrum przetwarzania danych firmy SAP. Zgodnie z zamieszczonym na stronie źródłowej opisem, w przypadku wysokich temperatur zewnętrznych, wymienniki widoczne na zdjęciu są spryskiwane wodą w celu zwiększenia wydajności chłodzenia.

SAPDC05

Dalsza część systemu chłodzenia - zbiorniki buforowe (6 sztuk po 50 tysięcy litrów, razem 300 tysięcy litrów wody lodowej o temperaturze 4°C), które w przypadku awarii jednostek zewnętrznych (pokazanych na zdjęciu powyżej) zapewnią przez pewien czas źródło chłodu systemu. Zbiorniki takie również znajdują się w specjalnie do tego przeznaczonym pomieszczeniu.

SAPDC06

Nawet system gaszenia gazem w profesjonalnym centrum przetwarzania danych powinien mieć swoją, wydzieloną przestrzeń. W przypadku większego obiektu ilość środka gaśniczego, a co za tym idzie butli, będzie znacząca. Poniżej zdjęcie obrazujące tą kwestię.

SAPDC07

Pomieszczenie telekomunikacyjne jest miejscem gdzie świat zewnętrzny (Internet) łączy się za pomocą zaawansowanych routerów itp. ze światem wewnętrznym - urządzeniami i systemami informatycznymi obsługiwanymi przez centrum przetwarzania danych. Poniżej zdjęcie takiego pomieszczenia, w tym przypadku odpowiednio podzielonego zgodnie z potrzebami firmy SAP.

SAPDC08

Teren wokół centrum danych powinien być monitorowany, tak aby ochrona stale miała "oko" na to co się dzieje poza jego murami.

SAPDC10

Nad prawidłową pracą wszystkich elementów centrum przetwarzania danych stale musi pracować obsługa, która musi mieć do tego odpowiednie warunki. Stąd konieczność zapewnienia pomieszczenia, które tutaj nazwane zostało "stacją kontroli". W przeciwieństwie do serwerowni, klimat tutaj musi być przyjazny dla człowieka.

SAPDC09

Przedstawiona tutaj budowa (podział funkcjonalny) centrum przetwarzania danych jest jedną z możliwości jakie można zastosować. Jest on  bliski modelowi przedstawionemu w normie ANSI/TIA-942. Zasadność poszczególnych pomieszczeń i systemów oraz podziałów funkcjonalnych musi być każdorazowo analizowana na etapie projektowania data center pod kątem jego przeznaczenia (cloud computing, kolokacja itp.), wymaganego poziomu dostępności i niezawodności lub konkretnej klasy TIER.

Materiał zdjęciowy:

[1]. The SAP Data Center
      http://www.sapdatacenter.com/
      http://www.sapdatacenter.com/article/data_center_functionality/#!