sicd.pl, Autor w serwisie Serwerownie i centra danych

Modularne centrum danych – propozycja Rittal RiMatrix S

sicd.pl28 lipca 201428 lipca 2014

Kontynuując cykl dotyczący modularnych centrów danych i modularnych serwerowni przedstawiam propozycję firmy Rittal o nazwie RiMatrix S. Tak się szczęśliwie złożyło, że firma ta zorganizowała w ostatnim czasie roadshow po Polsce z przykładową wersją kontenera i miałem okazję zobaczyć produkt od środka. Wydarzenia miało miejsce w czerwcu 2014 roku. Poniżej przedstawiam krótkie streszczenie omawianego rozwiązania.

RiMatrix S to zestaw szaf serwerowych, sieciowych, systemu zasilania, chłodzenia itp. zdefiniowany przez producenta i określony katalogowymi parametrami tworzący jako całość modularne data center, które na życzenie klienta może zostać zainstalowana w jednej z trzech opcji.

Wersja kontenerowa - posadowienie na zewnątrz budynku.
Wersja wewnętrzna podstawowa - instalacja systemu w jednym z pomieszczeń budynku.
Wersja wewnętrzna w bezpiecznym pomieszczeniu IT Security Room wewnątrz budynku.

System oraz opcje instalacji przedstawiam na poniżej zamieszczonych obrazkach zaczerpniętych ze strony producenta oraz z materiałów udostępnionych mi przez firmę Rittal.

Dwa pierwsze obrazki przedstawiają podstawowy moduł systemu, który może być skalowany poprzez dostawianie kolejnych modułów w miarę potrzeb.

System RiMatrix S bez obudowy (opcja single 6).

System RiMatrix S - widok szkieletu (opcja single 6).

RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)

RiMatrix S wersja instalowana w budynku — RiMatrix S - wersja instalowana w budynku

RiMatrix S it security room — RiMatrix S - wersja instalowana w bezpiecznym pomieszczeniu IT security room.

I poniżej zdjęcia przedstawiające wersję kontenerową, które zostały zrobione podczas wspomnianego roadshow we Wrocławiu.

RiMatrix S w kontenerze - widok od boku.

RiMatrix S w kontenerze - widok z autorem wpisu

System zapewnia obsługę maksymalnej moc 1o kW na jedną szafę serwerową. Jako główne zalety producent wymienia:

Niższe koszty inwestycji.
Gwarantowany wskaźnik PUE = 1.1.
Znacznie uproszczona i skrócona faza projektowania.
Niższe koszty serwisowania.
Krótki termin dostawy z produkcji seryjnej.
Pełna dokumentacja, testy systemu, certyfikowane moduły TÜV Rheinland wg PN-EN 50600-1; VDE 0801-600-1:2012-01.

Należy pamiętać, że konieczne jest - niezależnie od wersji - zapewnienia miejsca dla jednostek zewnętrznych systemu klimatyzacji oraz ewentualnego systemu zasilania rezerwowanego.

Co do kosztów i czasu realizacji, jak zawsze zależy do czego porównać...

Bezpieczne pomieszczenie serwerowni – IT security room

sicd.pl22 maja 201412 czerwca 2014

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji"). Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41 — Widok na wejście główne.

RemtechModuSec5 — Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.

RemtechModuSec2 — W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.

RemtechModuSec4 — Widok od góry. Można po tym skakać...

RemtechModuSec6 — Przejścia kablowe, szczelne i bezpieczne jak wszystko.

RemtechModuSec7 — Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1 — Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.

RemtechModuSecOut2 — Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
wodę gaśniczą,
długotrwałe zalanie,
gazy korozyjne,
eksplozje,
wandalizm (można to zobaczyć na tym filmie)
nieuprawniony dostęp,
włamanie,
interferencję elektromagnetyczną,
kurz,
spadające elementy,
dźwięk (tłumienie),
mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

Wirtualny spacer po serwerowni Europejskiej Organizacji Badań Jądrowych

sicd.pl17 marca 20149 maja 2014

Tym razem prezentuję krótki, aczkolwiek treściwy materiał. Mianowicie Europejska Organizacja Badań Jądrowych (CERN) za pomocą systemu Google Street View udostępniła możliwość wirtualnego zwiedzania swojej serwerowni, w taki sam sposób jak ulice, które można podglądać na mapach Google.

CERN_Computer_room_2 — Przykładowy fragment widoku serwerowni CERN.

W omawianej serwerowni CERN utrzymuje komputery o dużej mocy obliczeniowej, która jest przeznaczona dla potrzeb naukowych. Sama budowa pomieszczenia nie cechuje się jakimiś nadzwyczajnymi rozwiązaniami i jest raczej standardowa, jednak możliwość zdalnego "wejścia" do niej jest interesująca.

Pracownicy Organizacji dodatkowo (być może dla zachęty tych, którym widok samej serwerowni nie sprawia większej satysfakcji) rozmieścili wewnątrz serwerowni 20 ludzików LEGO. Można spróbować je znaleźć. Mi się nie udało, ale zapewne dlatego, że nie poświęciłem na to odpowiednio dużo czasu. Wolałem oglądać infrastrukturę :)

Tak więc poniżej zamieszczam link bezpośrednio kierujący do systemu Google Street View i serwerowni Europejskiej Organizacji Badań Jądrowych w Szwajcarii oraz, dla zainteresowanych, na stronę Organizacji.
Wejście do serwerowni CERN.
Strona Europejskiej Organizacji Badań Jądrowych

Budowa centrum przetwarzania danych na przykładzie obiektu firmy SAP

sicd.pl5 lutego 20145 lutego 2014

Budowa centrum przetwarzania danych, czyli z jakich części składa się data center? Wyjaśniam na kolejnym przykładzie. Kolejnym, ponieważ zagadnienie podziału data center poruszyłem przy okazji pisania mojej definicji centrum danych oraz analizy różnicy pomiędzy serwerownią a centrum danych.

Mimo, iż jestem zwolennikiem używania pojęcia "centrum danych" zamiast "centrum przetwarzania danych" (moje uzasadnienie), wygląda na to, że to drugie staje się bardziej popularne od pierwszego. Jestem przez to zmuszony do używania również nazwy "centrum przetwarzania danych", ponieważ w świecie Google'a mój blog może być pominięty dla osób szukających wiedzy pod taką frazą. Wspomnę tylko szybko, że w obu przypadkach piszę o tym samych, czyli o data center.

Tak więc tym razem przedstawiam podział funkcjonalny - budowę centrum przetwarzania danych na przykładzie modelu obiektu firmy SAP [1], bez powtarzania informacji, które można znaleźć w powyżej podlinkowanych treściach.

Jak zawsze, do omawiania budowy centrum przetwarzania danych najlepiej posługiwać się modelem komputerowym, ponieważ nie sposób wykonać zdjęcia przekroju istniejącego centrum danych. Poniżej przedstawiam obraz takiego modelu. Dodatkowo zostały na nim opisane poszczególne systemy i części funkcjonalne, które są umiejscowione w osobnych pomieszczeniach, co jest podstawową cechą profesjonalnego (modelowego) data center.

Głównym i najważniejszym pomieszczeniem centrum przetwarzania danych jest serwerownia (server room). To tutaj cały proces przetwarzania (i nie tylko) ma miejsce. Tutaj w odpowiednich warunkach klimatycznych i fizycznych pracują urządzenia IT. Poniżej zdjęcie wykonane w jednym z rzędów pomiędzy szafami IT (szafami "rack").

Aby sprzęt IT w serwerowni mógł niezawodnie, ciągle i bezpiecznie pracować niezbędny jest odpowiednio zaprojektowany system zasilania. Oprócz zasilania z sieci elektroenergetycznej (na niezawodność której, nie mamy wpływu) niezbędne jest wyposażenie centrum przetwarzania danych w zasilacze bezprzerwowe UPS (zabezpieczające min. przed chwilowymi skokami i zanikami napięcia) oraz generatory prądotwórcze, które w przypadku braku zasilania z sieci zapewnią źródło prądu (tutaj już jak najbardziej mamy wpływ na niezawodność i ciągłość zasilania). Poszczególne elementy systemu zasilania profesjonalnego centrum przetwarzania danych powinny być zlokalizowane w osobnych pomieszczeniach. Więcej o zasilaniu pisałem na stronie Zasilanie serwerowni w dziale Praktyka.

Poniżej zdjęcie zespołu generatorów prądotwórczych...

... oraz baterii zasilaczy UPS.

Do schłodzenia dużej ilości ciepła generowanej przez urządzenia IT potrzebny jest wysoko wydajny system chłodzenia - standardowo oparty o klimatyzację precyzyjną. Z reguły jednostki wewnętrzne znajdują się w pomieszczeniu serwerowni (szczególnie w coraz częściej stosowanych klimatyzatorach rzędowych) lub w pomieszczeniu bezpośrednio przylegającym do serwerowni.

Poniżej zdjęcie wymienników ciepła zlokalizowanych na dachu omawianego centrum przetwarzania danych firmy SAP. Zgodnie z zamieszczonym na stronie źródłowej opisem, w przypadku wysokich temperatur zewnętrznych, wymienniki widoczne na zdjęciu są spryskiwane wodą w celu zwiększenia wydajności chłodzenia.

Dalsza część systemu chłodzenia - zbiorniki buforowe (6 sztuk po 50 tysięcy litrów, razem 300 tysięcy litrów wody lodowej o temperaturze 4°C), które w przypadku awarii jednostek zewnętrznych (pokazanych na zdjęciu powyżej) zapewnią przez pewien czas źródło chłodu systemu. Zbiorniki takie również znajdują się w specjalnie do tego przeznaczonym pomieszczeniu.

Nawet system gaszenia gazem w profesjonalnym centrum przetwarzania danych powinien mieć swoją, wydzieloną przestrzeń. W przypadku większego obiektu ilość środka gaśniczego, a co za tym idzie butli, będzie znacząca. Poniżej zdjęcie obrazujące tą kwestię.

Pomieszczenie telekomunikacyjne jest miejscem gdzie świat zewnętrzny (Internet) łączy się za pomocą zaawansowanych routerów itp. ze światem wewnętrznym - urządzeniami i systemami informatycznymi obsługiwanymi przez centrum przetwarzania danych. Poniżej zdjęcie takiego pomieszczenia, w tym przypadku odpowiednio podzielonego zgodnie z potrzebami firmy SAP.

Teren wokół centrum danych powinien być monitorowany, tak aby ochrona stale miała "oko" na to co się dzieje poza jego murami.

Nad prawidłową pracą wszystkich elementów centrum przetwarzania danych stale musi pracować obsługa, która musi mieć do tego odpowiednie warunki. Stąd konieczność zapewnienia pomieszczenia, które tutaj nazwane zostało "stacją kontroli". W przeciwieństwie do serwerowni, klimat tutaj musi być przyjazny dla człowieka.

Przedstawiona tutaj budowa (podział funkcjonalny) centrum przetwarzania danych jest jedną z możliwości jakie można zastosować. Jest on bliski modelowi przedstawionemu w normie ANSI/TIA-942. Zasadność poszczególnych pomieszczeń i systemów oraz podziałów funkcjonalnych musi być każdorazowo analizowana na etapie projektowania data center pod kątem jego przeznaczenia (cloud computing, kolokacja itp.), wymaganego poziomu dostępności i niezawodności lub konkretnej klasy TIER.

Materiał zdjęciowy:

[1]. The SAP Data Center
http://www.sapdatacenter.com/
http://www.sapdatacenter.com/article/data_center_functionality/#!

Modularne centrum danych – propozycja HP

sicd.pl2 stycznia 20142 lutego 2014

Kontynuujące tematykę modularnego centrum danych (wpis dotyczący propozycji Microsoft) przedstawiam tym razem propozycję firmy Hawlett-Packard o nazwie HP Performance Optimized Datacenter (POD).

Jeden moduł tego typu jest w stanie pomieścić 44 szafy o wysokości 50U i nośności 1,5 t. Średnie obciążenie cieplne każdej z szaf może się wahać w granicach 30 kW. Zapewnia wydajność około 1,2 MW mocy IT i zajmuje tylko 90 m2. [1]

Symulacja komputerowa jednego modułu. [2]

Symulacja procesu rozbudowy, krok 1. [2]

Symulacja procesu budowy, krok 2. [2]

Symulacja procesu budowy, krok 3. [2]

Symulacja procesu budowy, krok 4. [2]

Symulacja przepływu powietrza. [3]

Poniżej przedstawiam zdjęcia wykonane podczas rzeczywistej dostway modułu centrum danych HP POD 240a. Zdjęcia zaczerpnąłem ze strony Uniwersytetu w Michigan, który zaopatrzył się w takie rozwiązanie w celach badawczo-naukowych.

Jedna z częsiu modułu w transporcie. [4]

Rozładunek dźwigiem do ciężkich zadań. [4]

Widok tyłu szaf serwerowych w module. [4]

Montaż górnej części modułu. [4]

Kompletny moduł centrum danych. [4]

Widok wnętrza modułu - strefa chłodu. przód szaf serwerowych. [4]

Widok wnętrza modułu - strefa ciepła pomiędzy tyłami szaf serwerowych. [5]

Źródło

[1]. HP Performance Optimized Datacenter (POD) 240a QuickSpec;
http://h18004.www1.hp.com/products/servers/solutions/datacentersolutions/pod240a/index.html
[2]. http://www.youtube.com/watch?v=7pzQ_V4BaS4
[3]. http://www.youtube.com/results?search_query=Rethink+Your+Data+Center-HP+POD+240a+&sm=3
[4]. https://sites.google.com/a/umich.edu/university-of-michigan-modular-data-center-mdc/home/documents
[5]. http://www.datacenterknowledge.com/archives/2011/06/07/hp-unveils-updated-ecopod-modular-design/

Modularne centrum danych – propozycja Microsoft

sicd.pl11 grudnia 20132 lutego 2014

Modularne centrum danych jest to centrum danych składające się z pewnej liczby niezależnych i kompletnych modułów (np. kontenerów) - będących de facto w takim układzie serwerowniami, które wystarczy podłączyć do infrastruktury centrum danych (zasilanie, sieć komputerowa, źródło chłodu - opcjonalnie) w celu zwiększenia mocy obliczeniowej obiektu bez konieczności wykonywania prac budowlanych a nawet instalacyjnych.

W tradycyjnym modelu data center jest obiektem budowanym do docelowej, zaplanowanej wielkości i pojemności z kompletną infrastrukturą fizyczną zapewniającą odpowiednie warunki środowiskowe oraz bezpieczne i niezawodne zasilanie serwerowni. Z czasem szafy serwerowe zapełniane są odpowiednią ilością urządzeń IT. Jednak w momencie wypełnienia serwerowni, jedyną możliwością zwiększenia pojemności centrum danych będzie zaprojektowanie i wykonanie prac budowlanych mających na celu zwiększenie rozmiarów obiektu. Taka inwestycja trwa stosunkowo długo (nawet kilka lat), wymaga zaangażowania firm wykonawczych i może wiązać się z przestojami istniejącego systemu.

W przypadku modularnego centrum danych w obiekcie planuje się odpowiednio dużą przestrzeń (hala lub utwardzony teren) na moduły, które w miarę potrzeb są dostarczane w formie kompletnego, fabrycznego systemu (serwerownia wraz z instalacjami i urządzeniami IT).

Poniżej przedstawiam różne przykłady różnie zaprojektowanych i wykonanych modułów centrów danych, które są własnością firmy Microsoft.

Najpierw zdjęcia symulacji komputerowej.

Na początek zaplanowano centrum danych składające się z dwóch modułów. [1]

Z czasem dodano kolejne dwa, co bezpośrednio wynikało z bieżącego zapotrzebowania.
Czas realizacji - 2 miesiące od zamówienia. [1]

Obiekt stale się rozrastał, co nie było związane z wykonywaniem prac budowlanych. Dla zwiększenia efektywności chłodzenia zastosowano ograniczenie strefy i wyrzut ciepłego powietrza ponad wysokością modułów. [1]

I zdjęcia realnych przykładów.

Transport modułu. [2]

Realne zdjęcie przykładowego modułu zewnętrznego wraz z przyłączami. [3]

Obrazek pokazujący przepływ powietrza przez moduł. [4]

Pokazane powyżej moduły są w pełni chłodzone powietrzem zewnętrznym z zastosowaniem systemu ewaporacyjnego. Zgodnie z zaleceniami Microsoft, takie rozwiązanie można stosować w regionach gdzie temperatura zewnętrzna nie spada poniżej 10°C i nie wzrasta powyżej 32°C, przy czym dzienne wahanie temperatur nie może przekroczyć 10°C. [5] Także rozwiązanie nie nadaje się do zastosowania w Polsce i większości Europy.

W częściach Świata, gdzie trudno o takie warunki można po prostu moduły instalować w zamkniętej hali, gdzie stworzymy takie warunki. Mniej więcej taki model przedstawiają poniższe obrazki.

Przykład hali centrum danych z modułami serwerowni. [1]

Wnętrze jednego z przedstawianych modułów. [1]

Widok przyłączy źródła chłodu. [1]

Przykład hali centrum danych z bardziej skomplikowanymi - kilkuczęściowymi - modułami serwerowni wykorzystującymi chłodzenie powietrzem otoczenia (hali). [1]