Kontynuujące tematykę modularnego centrum danych (wpis dotyczący propozycji Microsoft) przedstawiam tym razem propozycję firmy Hawlett-Packard o nazwie HP Performance Optimized Datacenter (POD).
Jeden moduł tego typu jest w stanie pomieścić 44 szafy o wysokości 50U i nośności 1,5 t. Średnie obciążenie cieplne każdej z szaf może się wahać w granicach 30 kW. Zapewnia wydajność około 1,2 MW mocy IT i zajmuje tylko 90 m2. [1]
Symulacja komputerowa jednego modułu. [2]
Symulacja procesu rozbudowy, krok 1. [2]
Symulacja procesu budowy, krok 2. [2]
Symulacja procesu budowy, krok 3. [2]
Symulacja procesu budowy, krok 4. [2]
Symulacja przepływu powietrza. [3]
Poniżej przedstawiam zdjęcia wykonane podczas rzeczywistej dostway modułu centrum danych HP POD 240a. Zdjęcia zaczerpnąłem ze strony Uniwersytetu w Michigan, który zaopatrzył się w takie rozwiązanie w celach badawczo-naukowych.
Jedna z częsiu modułu w transporcie. [4]
Rozładunek dźwigiem do ciężkich zadań. [4]
Widok tyłu szaf serwerowych w module. [4]
Montaż górnej części modułu. [4]
Kompletny moduł centrum danych. [4]
Widok wnętrza modułu - strefa chłodu. przód szaf serwerowych. [4]
Widok wnętrza modułu - strefa ciepła pomiędzy tyłami szaf serwerowych. [5]
Modularne centrum danych jest to centrum danych składające się z pewnej liczby niezależnych i kompletnych modułów (np. kontenerów) - będących de facto w takim układzie serwerowniami, które wystarczy podłączyć do infrastruktury centrum danych (zasilanie, sieć komputerowa, źródło chłodu - opcjonalnie) w celu zwiększenia mocy obliczeniowej obiektu bez konieczności wykonywania prac budowlanych a nawet instalacyjnych.
W tradycyjnym modelu data center jest obiektem budowanym do docelowej, zaplanowanej wielkości i pojemności z kompletną infrastrukturą fizyczną zapewniającą odpowiednie warunki środowiskowe oraz bezpieczne i niezawodne zasilanie serwerowni. Z czasem szafy serwerowe zapełniane są odpowiednią ilością urządzeń IT. Jednak w momencie wypełnienia serwerowni, jedyną możliwością zwiększenia pojemności centrum danych będzie zaprojektowanie i wykonanie prac budowlanych mających na celu zwiększenie rozmiarów obiektu. Taka inwestycja trwa stosunkowo długo (nawet kilka lat), wymaga zaangażowania firm wykonawczych i może wiązać się z przestojami istniejącego systemu.
W przypadku modularnego centrum danych w obiekcie planuje się odpowiednio dużą przestrzeń (hala lub utwardzony teren) na moduły, które w miarę potrzeb są dostarczane w formie kompletnego, fabrycznego systemu (serwerownia wraz z instalacjami i urządzeniami IT).
Poniżej przedstawiam różne przykłady różnie zaprojektowanych i wykonanych modułów centrów danych, które są własnością firmy Microsoft.
Najpierw zdjęcia symulacji komputerowej.
Na początek zaplanowano centrum danych składające się z dwóch modułów. [1]
Z czasem dodano kolejne dwa, co bezpośrednio wynikało z bieżącego zapotrzebowania.
Czas realizacji - 2 miesiące od zamówienia. [1]
Obiekt stale się rozrastał, co nie było związane z wykonywaniem prac budowlanych. Dla zwiększenia efektywności chłodzenia zastosowano ograniczenie strefy i wyrzut ciepłego powietrza ponad wysokością modułów. [1]
I zdjęcia realnych przykładów.
Transport modułu. [2]
Realne zdjęcie przykładowego modułu zewnętrznego wraz z przyłączami. [3]
Obrazek pokazujący przepływ powietrza przez moduł. [4]
Pokazane powyżej moduły są w pełni chłodzone powietrzem zewnętrznym z zastosowaniem systemu ewaporacyjnego. Zgodnie z zaleceniami Microsoft, takie rozwiązanie można stosować w regionach gdzie temperatura zewnętrzna nie spada poniżej 10°C i nie wzrasta powyżej 32°C, przy czym dzienne wahanie temperatur nie może przekroczyć 10°C. [5] Także rozwiązanie nie nadaje się do zastosowania w Polsce i większości Europy.
W częściach Świata, gdzie trudno o takie warunki można po prostu moduły instalować w zamkniętej hali, gdzie stworzymy takie warunki. Mniej więcej taki model przedstawiają poniższe obrazki.
Przykład hali centrum danych z modułami serwerowni. [1]
Wnętrze jednego z przedstawianych modułów. [1]
Widok przyłączy źródła chłodu. [1]
Przykład hali centrum danych z bardziej skomplikowanymi - kilkuczęściowymi - modułami serwerowni wykorzystującymi chłodzenie powietrzem otoczenia (hali). [1]
Widok szaf serwerowych i serwerów umieszczonych w module kilkuczęściowym, od którego odsunięto korytarz obsługi i filtrowania powietrza. [1]
Dla przykładu również moduł zasilania centrum danych. Ta sama idea, tylko inna zawartość. [1]
Tym razem prezentuję filmiki zamieszczone przez firmę SoftLayer przedstawiające ich dwa centra danych oraz proces kablowania szaf serwerowych i montażu w nich serwerów. Materiał ten jest bardzo ciekawy ponieważ pokazuje różne części cdata center z wieloma detalami. Ponadto przybliża on idee podziału centrum danych na tzw. POD-y. Żeby nie wrzucać po prostu linku filmów opatrzyłem je swoim komentarzem wyjaśniającym wiele kwestii.
Pierwszy film - centrum danych znajdujące się w Dallas (USA).
Pod filmem zamieściłem mój komentarz, który może wyjaśnić nieco spraw widocznych na filmie.
Zgodnie z tym, co mówi nasz przewodnik centrum to składa się z 4 POD-ów o łącznej pojemności 18 - 20 tysięcy serwerów (5 tysięcy na jeden POD).
Czym jest POD? Jest to wydzielona część centrum danych oraz jego infrastruktura, która jest niezależna od pozostałej części zarówno pod względem lokalizacji fizycznej (inna lub inne części tego samego budynku) jak i zasobów infrastrukturalnych (zasilanie, chłodzenie, przestrzeń serwerowni itp.). Taki podział pozwala na lepsze zarządzanie procesem stopniowego doposażania serwerowni urządzeniami IT (mocą obliczeniową) czy nawet umożliwia wynajęcie jednej części data center konkretnemu klientowi, który nie chce aby ktokolwiek inny przetwarzał i przechowywał swoje dane w tym samym miejscu i w tej samej infrastrukturze. Niestety nie udało mi się znaleźć rozwinięcia skrótu POD. Chyba, że jest to po prostu wyraz "pod" oznaczający strąk...
Analizując materiał po kolei (czas - komentarz):
0:48 - widok przez szybę na jeden z POD-ów.
1:08 - omawiany jest system kontroli dostępu (karta zbliżeniowa plus odcisk palca).
1:29 - wejście do serwerowni pierwszego POD-a.
1:31 - informacja o tej samej budowie każdego z POD-ów.
1:56 - widok przodu szafy serwerowej wyposażonej w serwery 1U, 2U i 4U. Zauważyć można, że nie wyposażono szaf w drzwi czołowe.
2:32 - widok tyłu szaf oraz okablowania sieciowego serwerowni (dosyć specyficzne podejście stosowane we wszystkich serwerowniach firmy SoftLayer). Każdy serwer wyposażony jest w 5 aktywnych połączeń sieciowych (5 przyłączonych kabli) - 2 połączenia sieci prywatnej, 2 publicznej i 1 na potrzeby zarządzania serwerem. Dla łatwiejszego zarządzania dla każdej sieci stosowany jest inny kolor kabla. Połączenia o przepustowości 1 Gb (2 x 1 Gb dla podwójnych połączeń). Kable doprowadzone są do switchy zamontowanych w tej samej szafie. Również one są redundantne (1+1).
2:59 - listwy zasilające, każda szafa wyposażona jest w dwa zestawy listew, każdy serwer połączony jest dwoma kablami do dwóch różnych listew zasilanych z dwóch różnych źródeł.
3:27 - "remote power panel" - zdalny panel zasilania lub rozdzielnica zdalna (lokalna?). Każdy panel posiada dwa źródła zasilania. Każda szafa jest zasilana podwójnie z panela znajdującego się w danym rzędzie.
3:44 - widok PDU - punktu dystrybucji energii, do którego podłączone są ww. panele zasilania.
4:08 - chłodzenie - "CRACs units" (Computer Room Air Conditioning units - jednostki klimatyzacji serwerowni, jednostki klimatyzacji precyzyjnej). Zgodnie z wypowiedzią przewodnika jednostki dobrane są nadmiarowo i wyłaczenie którejkolwiek nie stanowi zagrożenia dla systemu. Klimatyzacja nawiewa chłodne powietrze pod podłogę podniesioną. Ciepłe zaciąga górą. Dzięki wyposażeniu jednostek w widoczne rękawy (od góry) powietrze zasysane jest z wyższych partii serwerowni. Dostępne są w Internecie badania (np. Google'a), które wykazują znaczącą korzyść takiego rozwiązania w kontekście kosztów utrzymania odpowiedniej temperatury oraz redukcji części mankamentów wynikających z braku zabudowy stref pomiędzy szafami rack.
4:46 - PoP - Point of Presence - pomieszczenie łączności telekomunikacyjnej centrum danych z siecią Internet- niestety ściśle tajne i niedostępne nawet dla VIP-ów...
4:58 - Staging area - powiedzmy, że magazyn. Widzimy w środku duże ilości nowego sprzętu IT gotowego do zainstalowania zgodnie z zapotrzebowaniem klienta.
6:00 - Network Operation Center (NOC) - dosłownie Centrum Operacyjności Sieciowej (jeśli można tak powiedzieć) lub chyba bardziej poprawnie Centrum Zarządzania Siecią. Z wypowiedzi wynika, że jest to jedyny NOC w Dallas (ze strony www.softlayer.com wynika, że w Dallas firma ma 7 centrów danych). Czyli rozwiązano to w taki sposób, że jedno Centrum Zarządzania Siecią wystarczy dla kilku obiektów data center umiejscowionych w niedalekiej odległości. W NOC-u pracują administratorzy, którzy za pomocą zautomatyzowanych mechanizmów kontrolują i zarządzają siecią, urządzeniami i zdarzeniami jakie mają miejsce. Obsługują też zgłoszenia klientów. Technicy dostępni są 24 godziny na dobę.
6:48 - na zewnątrz, w pobliży agregatów chłodniczych i prądotwórczych. Wszystko nadmiarowo . Dla jednego POD-a chłód gwarantują dwa agregaty pracując naprzemiennie. Zasilanie zabezpieczone jest agregatami prądotwórczymi - po jednym na POD, plus jeden nadmiarowy dostępny dla wszystkich POD-ów. Każdy o mocy 2 MW.
Drugi film - centrum danych zlokalizowane w Amsterdamie.
Infrastruktura tego data center jest bardzo podobna do poprzedniego, dlatego nie będę już męczył zbędnymi treściami. Zapraszam do oglądania.
Trzeci film - kablowanie szaf serwerowych.
Bardzo fajny filmik przedstawiający proces ustawiania szaf rack (a raczej samych ram szaf, bo niby po co drzwi i panele boczne - strata kasy i utrudnienia przy zarządzaniu), montowania switchy (zgodnie z powyższym opisem SoftLayer stosuje 5 sztuk na każdą szafę) oraz żmudny i długi czas montażu okablowania. Na szczęście wszystko w przyśpieszonym tempie i z pozytywną muzyczką.
Czwarty filmik - dostawa i montaż serwerów.
Szafy okablowane, infrastruktura gotowa - można montować serwery. Ale najpierw dostawa i wypakowywanie. Dużo kartonów, spore zamówienie, producent urządzeń pewnie świętował kilka dni po takim dealu :)
Piąty filmik - dalsza część montażu serwerów.
Ten film nie wnosi już nic nowego, ale myślę że będzie ciekawy dla chcących więcej.
Podsumowanie
Firma SoftLayer jest globalnym dostawcą mocy obliczeniowej. Posiada obecnie 13 obiektów data center na świecie. Wszystkie są jednak wykonywane według tych samych wytycznych i własnego standardu. Sprawia to, że każdy z nich od środka wygląda bardzo podobnie, a sama serwerownia nawet identycznie. Na pewno przyśpiesza to proces realizacji kolejnych centrów danych oraz łatwość zarządzania. Miło, że SoftLayer udostępnia materiały wideo pokazujące wnętrze data center, co w mojej opinii (oprócz reklamy) stanowi znaczną wartość edukacyjną, szczególnie dla krajów, które jeszcze raczkują w tej tematyce...
Kontynuując tematykę zabezpieczeń przeciwpożarowych serwerowni zamieszczam odnośnik do krótkiego filmiku prezentującego montaż Stałego Urządzenia Gaśniczego. Co prawda przedstawiony montaż odbywa się w pomieszczeniu archiwum, niemniej jednak sposób wykonywania instalacji jest adekwatny do przypadku serwerowni. Oczywiście szczegóły projektowe i elementy instalacji (szczególnie prowadzenie rur i lokalizacja czujek) będą się różniły, choćby ze względu na obecność technicznej podłogi podniesionej, sufitu podwieszanego czy zabudowy przestrzeni pomiędzy szafami (strefy chronione).
Materiał jest własnością firmy Pliszka i dobrze, że został przez nią umieszczony w Internecie, ponieważ brakuje takich przykładów realizacji w Polsce, wykonywanych przez polskie firmy.
Test szczelności pomieszczenia serwerowni jest niezbędnym badaniem określającym możliwość spełnienia swojego zadania przez system gaszenia gazem. Gazowy środek gaśniczy (o czym pisałem w artykule dotyczącym ochrony przeciwpożarowej centrum danych , oraz wspominam w dziale praktyka) jest w stanie ugasić pożar pod warunkiem jego obecności w gaszonym pomieszczeniu w odpowiedniej ilości, przekraczającej wartość minimalnego stężenia gaszącego. Ponadto stężenie takie musi utrzymać się przez odpowiedni czas retencji. W tym wpisie pokrótce przedstawiam metodę badania szczelności pomieszczenia serwerowni oraz podstawowych zagadnień z tym związanych.
Istnieją dwie metody sprawdzenia szczelności pomieszczenia serwerowni. Pierwszą jest wyładowanie środka gaśniczego oraz rzeczywisty pomiar wartości jego stężenia w stosunku do czasu - podejście bardzo kosztowne i raczej nie stosowane w praktyce. Drugim sposobem jest omawiana metoda wykorzystująca wentylatory drzwiowe - znacznie tańsza i bezpieczniejsza od pierwszej. Technika ta wywodzi się ze sposobu badania szczelności budynków w celu eliminacji strat ciepła. Poniżej załączam film dostępny na portalu Youtube przedstawiający proces montażu zestawu testowego w drzwiach budynku mieszkalnego, co jest analogiczne w przypadku serwerowni.
Na rynku dostępne są również zestawy pozwalajace na szybszy montaż w drzwiach - przykład przedstawiam na poniższym zdjęciu.
Przykład zestawu do badania szczelności pomieszczenia serwerowni oraz obsługującego go technika.
Tak jak można zobaczyć na zdjęciu i na filmie do wykonania testu niezbędne jest szczelne zamontowania w futrynie pomieszczenia serwerowni wentylatora. Wynikiem testu będzie wielkość określająca sumę nieszczelności (rozmiar sumarycznego otworu nieszczelności), dlatego ważny jest staranny montaż zestawu. Badanie polega na wytworzeniu nadciśnienia i podciśnienia w analizowanym pomieszczeniu za pomocą pracującego wentylatora (obracającego się najpierw w jedną, następnie w drugą stronę). Badanie analizuję strumień przepływającego przez wentylator powietrza, co przy znanych wartościach ciśnieni wewnątrz i na zewnątrz serwerowni powala (przy wsparciu elektroniki, w którą jest wyposażony zestaw) na wyliczenie odpowiednich wartości nieszczelności.
W przypadku wielkości nieszczelności, które nie zapewnią utrzymania stężenia gazu na poziomie powyżej zadanego minimum ("stężenie gaszące", np. 6,6%) w określonym "czasie retencji" (czas, w którym stężenie gazu pozostanie na poziomie uniemożliwiającym powstanie wtórnego pożaru, np. 10 minut) należy je uszczelnić. Oczywiście test nie wskazuje miejsc obecności nieszczelności w serwerowni i może być ich wiele - w zależności od jakości wykończenia pomieszczenia. Szczególnie dużo występuje ich w pomieszczeniach adaptowanych na serwerownię, gdzie w ścianach mogą znajdować się najróżniejsze przejścia i otwory, które były niestarannie wykończone podczas wcześniejszych remontów. W przypadku nowobudownego pomieszczenia serwerowni takich nieszczelności - przy odpowiedniej staranności - może praktycznie nie być. W praktyce poszukiwanie nieszczelności polega na wizualnych oględzinach ścian, stropów, przejść kablowych itp. Jeśli jednak taka metoda okaże się nieskuteczna, można spróbować wykorzystać dym chemiczny, który powinien przedostać się przez nieszczelności do sąsiednich pomieszczeń, co będzie można zaobserwować gołym okiem.
Na skuteczność testu szczelności pomieszczenia serwerowni wpływ może mieć wiele czynników, dlatego badanie wymaga indywidualnego podejścia dla każdego obiektu. Na pewno znacząca będzie obecność sufitu podwieszanego oraz podniesionej podłogi technicznej, co należy odpowiednio uwzględnić. Ponadto przy wykonywaniu badania należy wziąć pod uwagę przyjętą wysokość zabezpieczenia oraz odpowiedni dopływ i odpływ powietrza do pomieszczeń sąsiednich, tak aby np. nie wydmuchiwać z pomieszczenia serwerowni powietrza do zamkniętego, niedużego korytarza, gdzie wytworzy się nadciśnienie mające wpływ na wynik analizy.
Wpis ten jest jedynie zarysem problematyki szczelności pomieszczenia serwerowni oraz jej badania. Osoby chcące uzyskać bardziej szczegółową wiedzę oraz projektantów systemu gaszenia gazem odsyłam do opracowania autorstwa specjalistów Szkoły Głównej Służby Pożarniczej pod nazwą "Badanie szczelności pomieszczenia - alternatywa dla wyładowania gazu gaśniczego".
Artykuł przedstawia przykład modelowania chłodzenia serwerowni, wykonanego za pomocą specjalistycznego oprogramowania typu CFD (ang. computational fluid dynamics), w celu przeanalizowania poprawności projektowanego systemu chłodzenia urządzeń w pomieszczeniu serwerowni.
Omawiany przypadek modelowania wykonano na potrzeby związane z projektowaniem serwerowni znajdującej się centrum danych, którego użyłem jako przykładu w innym moim artykule, do przeczytania którego namawiam.
Dla przypomnienia, analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.
Klimatyzacja pomieszczenia serwerowni i UPS-owni
Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.
Przy projektowaniu systemu klimatyzacji serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza (modelowanie chłodzenia serwerowni) przy użyciu programu typu CFD. Badania te pomogły ocenić efektywność systemu i poprawić wskazane błędy na etapie, kiedy jest to najłatwiejsze i najmniej kosztowe, czyli na etapie projektowania centrum danych. Poniżej przedstawiam kilka symulacji dla opisywanej serwerowni. Były one przeprowadzane dla pełnego obciążenia mocy przeznaczonej dla sprzętu IT.
Poniższy rysunek nr 1 przedstawia zrzut ekrany programu w trakcie wykonywania symulacji trójwymiarowej obiegu powietrza w omawianej serwerowni. Przedstawia on jak na uchwyconej wysokości nad podłogą techniczną rozmieszczone jest powietrze o zróżnicowanej temperaturze. Wyraźnie widać, że w strefie pomiędzy szafami jest chłodniej niż poza nimi. Po kliknięciu w rysunek widoczna będzie jego większa i bardziej czytelna wersja.
Rys.1. Symulacja pozioma, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rysunek nr 2 przedstawia fragment symulacji trójwymiarowej, pionowej, na której widać w innej perspektywie rozmieszczenie powietrza i jego temperatury.
Rys.2. Symulacja pionowa, trójwymiarowa rozkładu temperatury powietrza w serwerowni.
Rysunek nr 3 przedstawia już nieco inny model symulacji, w którym to sprawdzane są potencjalne przebiegi prądów powietrza. Zostało to przedstawione przez oprogramowanie jako swoiste sznurki symbolizujące płynące powietrze. Również tutaj kolory oznaczają odpowiednie przedziały temperaturowe zgodne z legendą.
Rys.3. Symulacja trójwymiarowa dróg przepływu powietrza w serwerowni.
Poniższy rysunek nr 4 przedstawia to samo, co wcześniejszy z tym, że w widoku 2D.
Rys.4. Symulacja pozioma dróg przepływu powietrza w serwerowni.
I powtórzenie sytuacji z rysunku nr 1 w wersji dwu wymiarowej. Bardzo ładnie na nim widać, gdzie będą panowały wyższe temperatury oraz gdzie niższe. Można również dostrzec na rysunku strzałki, które wskazują obliczone kierunki przepływu powietrza.
Rys.5. Symulacja pozioma różnic temperatury serwerowni.
Rysunki 1, 2 i 5 przedstawiają symulację obiegu powietrza systemu chłodzenia serwerowni zależną od wysokości badanej warstwy powietrza, natomiast rysunki 3 i 4 przedstawiają obieg powietrza zależny od czasu.
Przedstawione powyżej obrazy są jedynie fragmentami modelowania, które domyślnie jest realizowana przez program jako animacja, którą można zapisać w formacie filmu wideo i dowolnie analizować sytuację dla różnych wysokości nad podłogą, różnych czasów pracy sprzętu IT czy jego obciążenia.
Podsumowanie
Komputerowe modelowanie chłodzenia serwerowni (obiegu powietrza) jest jedynym sposobem na sprawdzenie poprawności zaprojektowanego rozwiązania, ponieważ odwzorowuje ono w miarę dokładnie rzeczywiste warunki. Nie jest to jednak rozwiązanie zalecane do badania łatwych przypadków, kiedy to doświadczenie projektanta jest wystarczającym pewnikiem poprawności zaprojektowanego systemu. Modelowanie takie jest dosyć kosztowne ze względu na konieczność posiadania odpowiedniej licencji programowej oraz umiejętności wykorzystania systemu.
Symulacja komputerowa jednego modułu. [2]
Symulacja procesu rozbudowy, krok 1. [2]
Symulacja procesu budowy, krok 2. [2]
Symulacja procesu budowy, krok 3. [2]
Symulacja procesu budowy, krok 4. [2]
Symulacja przepływu powietrza. [3]
Jedna z częsiu modułu w transporcie. [4]
Rozładunek dźwigiem do ciężkich zadań. [4]
Widok tyłu szaf serwerowych w module. [4]
Montaż górnej części modułu. [4]
Kompletny moduł centrum danych. [4]
Widok wnętrza modułu - strefa chłodu. przód szaf serwerowych. [4]
Widok wnętrza modułu - strefa ciepła pomiędzy tyłami szaf serwerowych. [5]
Transport modułu. [2]
Obrazek pokazujący przepływ powietrza przez moduł. [4]
Widok przyłączy źródła chłodu. [1]
