Kontynuując cykl dotyczący modularnych centrów danych i modularnych serwerowni przedstawiam propozycję firmy Rittal o nazwie RiMatrix S. Tak się szczęśliwie złożyło, że firma ta zorganizowała w ostatnim czasie roadshow po Polsce z przykładową wersją kontenera i miałem okazję zobaczyć produkt od środka. Wydarzenia miało miejsce w czerwcu 2014 roku. Poniżej przedstawiam krótkie streszczenie omawianego rozwiązania.

RiMatrix S to zestaw szaf serwerowych, sieciowych, systemu zasilania, chłodzenia itp. zdefiniowany przez producenta i określony katalogowymi parametrami tworzący jako całość modularne data center, które na życzenie klienta może zostać zainstalowana w jednej z trzech opcji.

  1. Wersja kontenerowa - posadowienie na zewnątrz budynku.
  2. Wersja wewnętrzna podstawowa - instalacja systemu w jednym z pomieszczeń budynku.
  3. Wersja wewnętrzna w bezpiecznym pomieszczeniu IT Security Room wewnątrz budynku.

System oraz opcje instalacji przedstawiam na poniżej zamieszczonych obrazkach zaczerpniętych ze strony producenta oraz z materiałów udostępnionych mi przez firmę Rittal.

Dwa pierwsze obrazki przedstawiają podstawowy moduł systemu, który może być skalowany poprzez dostawianie kolejnych modułów w miarę potrzeb.

System RiMatrix S bez obudowy
System RiMatrix S bez obudowy (opcja single 6).

 

System RiMatrix S - widok szkieletu (opcja single 6)
System RiMatrix S - widok szkieletu (opcja single 6).

 

RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)
RiMatrix S - opcja double (podwójny zestaw szaf serwerowych i systemów wspomagających (zasilanie, chłodzenie itp.)

 

RiMatrix S wersja instalowana w budynku
RiMatrix S - wersja instalowana w budynku

 

RiMatrix S it security room
RiMatrix S - wersja instalowana w bezpiecznym pomieszczeniu IT security room.

I poniżej zdjęcia przedstawiające wersję kontenerową, które zostały zrobione podczas wspomnianego roadshow we Wrocławiu.

RiMatrix S w kontenerze
RiMatrix S w kontenerze

 

RiMatrix S w kontenerze - widok od boku.
RiMatrix S w kontenerze - widok od boku.

 

RiMatrix S w kontenerze - widok z autorem wpisu
RiMatrix S w kontenerze - widok z autorem wpisu

System zapewnia obsługę maksymalnej moc 1o kW na jedną szafę serwerową. Jako główne zalety producent wymienia:

  • Niższe koszty inwestycji.
  • Gwarantowany wskaźnik PUE = 1.1.
  • Znacznie uproszczona i skrócona faza projektowania.
  • Niższe koszty serwisowania.
  • Krótki termin dostawy z produkcji seryjnej.
  • Pełna dokumentacja, testy systemu, certyfikowane moduły TÜV Rheinland wg PN-EN 50600-1; VDE 0801-600-1:2012-01.

Należy pamiętać, że konieczne jest - niezależnie od wersji - zapewnienia miejsca dla jednostek zewnętrznych systemu klimatyzacji oraz ewentualnego systemu zasilania rezerwowanego.

Co do kosztów i czasu realizacji,  jak zawsze zależy do czego porównać...

Zazwyczaj serwerownie wykonuje się w istniejącym pomieszczeniu, które wcześniej było biurem, magazynem lub czymkolwiek innym. Wymaga to szeregu kompromisów pomiędzy możliwościami obiektu a pożądaną funkcjonalnością i bezpieczeństwem infrastruktury. Znacznie lepszą sytuację mamy, gdy planowane centrum danych będzie budowane od początku (nowy, odpowiednio zaprojektowany budynek). Zarówno w jednym jak i w drugim przypadku zastosowanie standardowych materiałów i zasad budowlanych może nie spełnić najbardziej restrykcyjnych wymogów bezpieczeństwa fizycznego danych. Rozwiązaniem, zapewniającym najwyższy możliwy poziom odporności fizycznej serwerowni, jest zastosowanie technologii "bezpiecznego pomieszczenia".

Bezpieczne pomieszczenie serwerowni (ang. IT security room) jest to pomieszczenie wykonane ze specjalnych modułów, które razem połączone spełniają odpowiednie wymogi norm bezpieczeństwa, odporności itp. (głównie EN 1047-2, która została przetłumaczona na język polski i nosi nazwę "Pomieszczenia i urządzenia do przechowywania wartości -- Klasyfikacja i metody badań odporności ogniowej -- Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji").  Obiekty takie można wykonać zarówno w istniejącym budynku (pomieszczenie w pomieszczeniu) jak i w opcji wolnostojącej, zewnętrznej konstrukcji.

Wspomniane moduły (elementy ścian, podłoża, sufitu) są wykonane ze specjalnej kombinacji materiałów posiadających bardzo wysoką odporność ogniową. Mimo znacznie mniejszej wagi (np. 20 kg/m2) od tej samej wielkości elementów stalowych czy murowanych, moduły takie posiadają większą wytrzymałość na wstrząsy, obciążenia (nawet 60 t/m2) czy próby zniszczenia mechanicznego.

Specjalne łączenia systemowe elementów zapewniają, że zbudowany z nich obiekt jest niezwykle wytrzymały i odporny również na długotrwałe zalanie (powódź) jak i akcje gaśnicze itp. Dodatkowo wysoka szczelność zapewnia odpowiednią ochronę przed przedostawaniem się kurzu i pyłu a także doskonale tłumi uciążliwy szum serwerów.

Poniżej przedstawiam przykładowe zdjęcia bezpiecznego pomieszczenia serwerowni zaczerpnięte ze strony angielskiego producenta www.remtech.com, gdzie możecie znaleźć sporo przykładów takich realizacji.

Najpierw przypadek bezpiecznego pomieszczenia serwerowni o powierzchni 200 m2 w istniejącym pomieszczeniu murowanym.

RemtechModuSec41
Widok na wejście główne.
RemtechModuSec5
Widok na ścianę boczną. Zapewne widoczne jest drugie wejście.
RemtechModuSec2
W trakcie budowy. Widać stalowy szkielet, do którego są mocowane moduły.
RemtechModuSec3
Kilka godzin później.
RemtechModuSec4
Widok od góry. Można po tym skakać...
RemtechModuSec6
Przejścia kablowe, szczelne i bezpieczne jak wszystko.
RemtechModuSec7
Czyste i estetyczne wnętrze serwerowni wewnątrz IT security room.

 

Następnie bezpieczne pomieszczenie serwerowni poza budynkiem, na zewnątrz.

RemtechModuSecOut1
Konstrukcja pod pomieszczenie usadowiona bezpośrednio na parkingu.
RemtechModuSecOut2
Prawie gotowe zewnętrzne, bezpieczne pomieszczenie serwerowni. Zapewne powstanie jeszcze dach, ale nie znalazłem kolejnego zdjęcia...

Podsumowując, główne cechy bezpiecznego pomieszczenia serwerowni (co de facto odróżnia go od standardowego pomieszczenia) to odporność na:

  • ogień (znacznie większa odporność od standardowo murowanych ścian, nawet REI 120),
  • wodę gaśniczą,
  • długotrwałe zalanie,
  • gazy korozyjne,
  • eksplozje,
  • wandalizm (można to zobaczyć na tym filmie)
  • nieuprawniony dostęp,
  • włamanie,
  • interferencję elektromagnetyczną,
  • kurz,
  • spadające elementy,
  • dźwięk (tłumienie),
  • mechaniczny dostęp (rozwiercenie itp.)

Jest kilku producentów bezpiecznych pomieszczeń w Europie. Stosują oni nieco inne rozwiązania. Każdy chwali się, że jego jest najlepsze. Nie mam kompetencji ocenić tego.Cena takiego rozwiązania jest jednak znacząca, przez co niewiele mamy takich realizacji w Polsce. No ale wszystko przed nami, w końcu rynek data center się ciągle rozwija.

 

 

 

 

 

Tym razem prezentuję krótki, aczkolwiek treściwy materiał. Mianowicie Europejska Organizacja Badań Jądrowych (CERN) za pomocą systemu Google Street View udostępniła możliwość wirtualnego zwiedzania swojej serwerowni, w taki sam sposób jak ulice, które można podglądać na mapach Google.

CERN_Computer_room_2
Przykładowy fragment widoku serwerowni CERN.

W omawianej serwerowni CERN utrzymuje komputery o dużej mocy obliczeniowej, która jest przeznaczona dla potrzeb naukowych. Sama budowa pomieszczenia nie cechuje się jakimiś nadzwyczajnymi rozwiązaniami i jest raczej standardowa, jednak możliwość zdalnego "wejścia" do niej jest interesująca.

Pracownicy Organizacji dodatkowo (być może dla zachęty tych, którym widok samej serwerowni nie sprawia większej satysfakcji) rozmieścili wewnątrz serwerowni 20 ludzików LEGO. Można spróbować je znaleźć. Mi się nie udało, ale zapewne dlatego, że nie poświęciłem na to odpowiednio dużo czasu. Wolałem oglądać infrastrukturę :)

Tak więc poniżej zamieszczam link bezpośrednio kierujący do systemu Google Street View i serwerowni Europejskiej Organizacji Badań Jądrowych w Szwajcarii oraz, dla zainteresowanych, na stronę Organizacji.
Wejście do serwerowni CERN.
Strona Europejskiej Organizacji Badań Jądrowych

Kontynuujące tematykę modularnego centrum danych (wpis dotyczący propozycji Microsoft) przedstawiam tym razem propozycję firmy Hawlett-Packard o nazwie HP Performance Optimized Datacenter (POD).

Jeden moduł tego typu jest w stanie pomieścić 44 szafy o wysokości 50U i nośności 1,5 t. Średnie obciążenie cieplne każdej z szaf może się wahać w granicach 30 kW. Zapewnia wydajność około 1,2 MW mocy IT i zajmuje tylko 90 m2. [1]

hpod2Symulacja komputerowa jednego modułu. [2]

hpod4Symulacja procesu rozbudowy, krok 1. [2]

hpod5Symulacja procesu budowy, krok 2. [2]

hpod6Symulacja procesu budowy, krok 3. [2]

hpod7Symulacja procesu budowy, krok 4. [2]

hpod1Symulacja przepływu powietrza. [3]

Poniżej przedstawiam zdjęcia wykonane podczas rzeczywistej dostway modułu centrum danych HP POD 240a. Zdjęcia zaczerpnąłem ze strony Uniwersytetu w Michigan, który zaopatrzył się w takie rozwiązanie w celach badawczo-naukowych.

hpod10Jedna z częsiu modułu w transporcie. [4]

hpod11Rozładunek dźwigiem do ciężkich zadań. [4]

hpod12Widok tyłu szaf serwerowych w module. [4]

hpod13Montaż górnej części modułu. [4]

hpod14Kompletny moduł centrum danych. [4]

hpod15Widok wnętrza modułu - strefa chłodu. przód szaf serwerowych. [4]

Ecopod-HotAisle-470Widok wnętrza modułu - strefa ciepła pomiędzy tyłami szaf serwerowych. [5]

 

Źródło

[1]. HP Performance Optimized Datacenter (POD) 240a QuickSpec;
http://h18004.www1.hp.com/products/servers/solutions/datacentersolutions/pod240a/index.html
[2]. http://www.youtube.com/watch?v=7pzQ_V4BaS4
[3]. http://www.youtube.com/results?search_query=Rethink+Your+Data+Center-HP+POD+240a+&sm=3
[4]. https://sites.google.com/a/umich.edu/university-of-michigan-modular-data-center-mdc/home/documents
[5]. http://www.datacenterknowledge.com/archives/2011/06/07/hp-unveils-updated-ecopod-modular-design/

 

 

Modularne centrum danych jest to centrum danych składające się z pewnej liczby niezależnych i kompletnych modułów (np. kontenerów) - będących de facto w takim układzie serwerowniami, które wystarczy podłączyć do infrastruktury centrum danych (zasilanie, sieć komputerowa, źródło chłodu - opcjonalnie) w celu zwiększenia mocy obliczeniowej obiektu bez konieczności wykonywania prac budowlanych a nawet instalacyjnych.

W tradycyjnym modelu data center jest obiektem budowanym do docelowej, zaplanowanej wielkości i pojemności z kompletną infrastrukturą fizyczną zapewniającą odpowiednie warunki środowiskowe oraz bezpieczne i niezawodne zasilanie serwerowni. Z czasem szafy serwerowe zapełniane są odpowiednią ilością urządzeń IT. Jednak w momencie wypełnienia serwerowni, jedyną możliwością zwiększenia pojemności centrum danych będzie zaprojektowanie i wykonanie prac budowlanych mających na celu zwiększenie rozmiarów obiektu. Taka inwestycja trwa stosunkowo długo (nawet kilka lat), wymaga zaangażowania firm wykonawczych i może wiązać się z przestojami istniejącego systemu.

W przypadku modularnego centrum danych w obiekcie planuje się odpowiednio dużą przestrzeń (hala lub utwardzony teren) na moduły, które w miarę potrzeb są dostarczane w formie kompletnego, fabrycznego systemu (serwerownia wraz z instalacjami i urządzeniami IT).

Poniżej przedstawiam różne przykłady różnie zaprojektowanych i wykonanych modułów centrów danych, które są własnością firmy Microsoft.

Najpierw zdjęcia symulacji komputerowej.

msdcm9Na początek zaplanowano centrum danych składające się z dwóch modułów. [1]

msdcm10Z czasem dodano kolejne dwa, co bezpośrednio wynikało z bieżącego zapotrzebowania.
Czas realizacji - 2 miesiące od zamówienia. [1]

msdcm11Obiekt stale się rozrastał, co nie było związane z wykonywaniem prac budowlanych. Dla zwiększenia efektywności chłodzenia zastosowano ograniczenie strefy i wyrzut ciepłego powietrza ponad wysokością modułów. [1]

I zdjęcia realnych przykładów.

msdcm12Transport modułu. [2]

msdcm8Realne zdjęcie przykładowego modułu zewnętrznego wraz z przyłączami. [3]

msdcm6Obrazek pokazujący przepływ powietrza przez moduł. [4]

Pokazane powyżej moduły są w pełni chłodzone powietrzem zewnętrznym z zastosowaniem systemu ewaporacyjnego. Zgodnie z zaleceniami Microsoft, takie rozwiązanie można stosować w regionach gdzie temperatura zewnętrzna nie spada poniżej 10°C i nie wzrasta powyżej 32°C, przy czym dzienne wahanie temperatur nie może przekroczyć 10°C. [5] Także rozwiązanie nie nadaje się do zastosowania w Polsce i większości Europy.

W częściach Świata, gdzie trudno o takie warunki można po prostu moduły instalować w zamkniętej hali, gdzie stworzymy takie warunki. Mniej więcej taki model przedstawiają poniższe obrazki.

msdcm1Przykład hali centrum danych z modułami serwerowni. [1]

msdcm4Wnętrze jednego z przedstawianych modułów. [1]

msdcm2Widok przyłączy źródła chłodu. [1]

msdcm3Przykład hali centrum danych z bardziej skomplikowanymi - kilkuczęściowymi - modułami serwerowni wykorzystującymi chłodzenie powietrzem otoczenia (hali). [1]

msdcm7Widok szaf serwerowych i serwerów umieszczonych w module kilkuczęściowym, od którego odsunięto korytarz obsługi i filtrowania powietrza. [1]

msdcm5 UPSDla przykładu również moduł zasilania centrum danych. Ta sama idea, tylko inna zawartość. [1]

Źródło

[1]. Microsoft GFS Datacenter Tour
http://www.youtube.com/watch?v=hOxA1l1pQIw
[2]. Microsoft’s ITPAC – A Perfect Fit for Off-the-Grid Computing Capacity
[3]. EXECUTIVE STRATEGY BRIEF Modular Data Centers
[4]. Microsoft ITPAC http://www.youtube.com/watch?v=S3jd3qrhh8U

[5]. Server Design for Microsoft’s Cloud Infrastructure

Tym razem prezentuję filmiki zamieszczone przez firmę SoftLayer przedstawiające ich dwa centra danych oraz proces kablowania szaf serwerowych i montażu w nich serwerów. Materiał ten jest bardzo ciekawy ponieważ pokazuje różne części cdata center z wieloma detalami. Ponadto przybliża on idee podziału centrum danych na tzw. POD-y. Żeby nie wrzucać po prostu linku filmów opatrzyłem je swoim komentarzem wyjaśniającym wiele kwestii.

Pierwszy film - centrum danych znajdujące się w Dallas (USA).

Pod filmem zamieściłem mój komentarz, który może wyjaśnić nieco spraw widocznych na filmie.

http://www.youtube.com/watch?v=YQERVf9ibzY

Zgodnie z tym, co mówi nasz przewodnik centrum to składa się z 4 POD-ów o łącznej pojemności 18 - 20 tysięcy serwerów (5 tysięcy na jeden POD).

Czym jest POD? Jest to wydzielona część centrum danych oraz jego infrastruktura, która jest niezależna od pozostałej części zarówno pod względem lokalizacji fizycznej (inna lub inne części tego samego budynku) jak i zasobów infrastrukturalnych (zasilanie, chłodzenie, przestrzeń serwerowni itp.). Taki podział pozwala na lepsze zarządzanie procesem stopniowego doposażania serwerowni urządzeniami IT (mocą obliczeniową) czy nawet umożliwia wynajęcie jednej części data center konkretnemu klientowi, który nie chce aby ktokolwiek inny przetwarzał i przechowywał swoje dane w tym samym miejscu i w tej samej infrastrukturze. Niestety nie udało mi się znaleźć rozwinięcia skrótu POD. Chyba, że jest to po prostu wyraz "pod" oznaczający strąk...

Analizując materiał po kolei (czas - komentarz):

0:48 -  widok przez szybę na jeden z POD-ów.
1:08 - omawiany jest system kontroli dostępu (karta zbliżeniowa plus odcisk palca).
1:29 - wejście do serwerowni pierwszego POD-a.
1:31 - informacja o tej samej budowie każdego z POD-ów.

1:56 - widok przodu szafy serwerowej wyposażonej w serwery 1U, 2U i 4U. Zauważyć można, że nie wyposażono szaf w drzwi czołowe.

2:32 - widok tyłu szaf oraz okablowania sieciowego serwerowni (dosyć specyficzne podejście stosowane we wszystkich serwerowniach firmy SoftLayer). Każdy serwer wyposażony jest w 5 aktywnych połączeń sieciowych (5 przyłączonych kabli) - 2 połączenia sieci prywatnej, 2 publicznej i 1 na potrzeby zarządzania serwerem. Dla łatwiejszego zarządzania dla każdej sieci stosowany jest inny kolor kabla. Połączenia o przepustowości 1 Gb (2 x 1 Gb dla podwójnych połączeń). Kable doprowadzone są do switchy zamontowanych w tej samej szafie. Również one są redundantne (1+1).

2:59 - listwy zasilające, każda szafa wyposażona jest w dwa zestawy listew, każdy serwer połączony jest dwoma kablami do dwóch różnych listew zasilanych z dwóch różnych źródeł.

3:27 - "remote power panel" - zdalny panel zasilania lub rozdzielnica zdalna (lokalna?). Każdy panel posiada dwa źródła zasilania. Każda szafa jest zasilana podwójnie z panela znajdującego się w danym rzędzie.

3:44 - widok PDU - punktu dystrybucji energii, do którego podłączone są ww. panele zasilania.

4:08 - chłodzenie - "CRACs units" (Computer Room Air Conditioning units - jednostki klimatyzacji serwerowni, jednostki klimatyzacji precyzyjnej). Zgodnie z wypowiedzią przewodnika jednostki dobrane są nadmiarowo i wyłaczenie którejkolwiek nie stanowi zagrożenia dla systemu. Klimatyzacja nawiewa chłodne powietrze pod podłogę podniesioną. Ciepłe zaciąga górą. Dzięki wyposażeniu jednostek w widoczne rękawy (od góry) powietrze zasysane jest z wyższych partii serwerowni. Dostępne są w Internecie badania (np. Google'a), które wykazują znaczącą korzyść takiego rozwiązania w kontekście kosztów utrzymania odpowiedniej temperatury oraz redukcji części mankamentów wynikających z braku zabudowy stref pomiędzy szafami rack.

4:46 - PoP - Point of Presence - pomieszczenie łączności telekomunikacyjnej centrum danych z siecią Internet- niestety ściśle tajne i niedostępne nawet dla VIP-ów...

4:58 - Staging area - powiedzmy, że magazyn. Widzimy w środku duże ilości nowego sprzętu IT gotowego do zainstalowania zgodnie z zapotrzebowaniem klienta.

6:00 - Network Operation Center (NOC) - dosłownie Centrum Operacyjności Sieciowej (jeśli można tak powiedzieć) lub chyba bardziej poprawnie Centrum Zarządzania Siecią. Z wypowiedzi wynika, że jest to jedyny NOC w Dallas (ze strony www.softlayer.com wynika, że w Dallas firma ma 7 centrów danych). Czyli rozwiązano to w taki sposób, że jedno Centrum Zarządzania Siecią wystarczy dla kilku obiektów data center umiejscowionych w niedalekiej odległości. W NOC-u pracują administratorzy, którzy za pomocą zautomatyzowanych mechanizmów kontrolują i zarządzają siecią, urządzeniami i zdarzeniami jakie mają miejsce. Obsługują też zgłoszenia klientów. Technicy dostępni są 24 godziny na dobę.

6:48 - na zewnątrz, w pobliży agregatów chłodniczych i prądotwórczych. Wszystko nadmiarowo . Dla jednego POD-a chłód gwarantują dwa agregaty pracując naprzemiennie. Zasilanie zabezpieczone jest agregatami prądotwórczymi - po jednym na POD, plus jeden nadmiarowy dostępny dla wszystkich POD-ów. Każdy o mocy 2 MW.

Drugi film - centrum danych zlokalizowane w Amsterdamie.

Infrastruktura tego data center jest bardzo podobna do poprzedniego, dlatego nie będę już męczył zbędnymi treściami. Zapraszam do oglądania.

http://www.youtube.com/watch?v=uOMIg9lggiI

Trzeci film - kablowanie szaf serwerowych.

Bardzo fajny filmik przedstawiający proces ustawiania szaf rack (a raczej samych ram szaf, bo niby po co drzwi i panele boczne - strata kasy i utrudnienia przy zarządzaniu), montowania switchy (zgodnie z powyższym opisem SoftLayer stosuje 5 sztuk na każdą szafę) oraz żmudny i długi czas montażu okablowania. Na szczęście wszystko w przyśpieszonym tempie i z pozytywną muzyczką.

http://www.youtube.com/watch?v=jLgvDValxFE

Czwarty filmik - dostawa i montaż serwerów.

Szafy okablowane, infrastruktura gotowa - można montować serwery. Ale najpierw dostawa i wypakowywanie. Dużo kartonów, spore zamówienie, producent urządzeń pewnie świętował kilka dni po takim dealu :)

http://www.youtube.com/watch?v=kvPKpZtcwDw

Piąty filmik - dalsza część montażu serwerów.

Ten film nie wnosi już nic nowego, ale myślę że będzie ciekawy dla chcących więcej.

http://www.youtube.com/watch?v=lQwt6F_jbcU

Podsumowanie

Firma SoftLayer jest globalnym dostawcą mocy obliczeniowej. Posiada obecnie 13 obiektów data center na świecie. Wszystkie są jednak wykonywane według tych samych wytycznych i własnego standardu. Sprawia to, że każdy z nich od środka wygląda bardzo podobnie, a sama serwerownia nawet identycznie. Na pewno przyśpiesza to proces realizacji kolejnych centrów danych oraz łatwość zarządzania. Miło, że SoftLayer udostępnia materiały wideo pokazujące wnętrze data center, co w mojej opinii (oprócz reklamy) stanowi znaczną wartość edukacyjną, szczególnie dla krajów, które jeszcze raczkują w tej tematyce...