Przykład centrów danych firmy SoftLayer

Tym razem prezentuję filmiki zamieszczone przez firmę SoftLayer przedstawiające ich dwa centra danych oraz proces kablowania szaf serwerowych i montażu w nich serwerów. Materiał ten jest bardzo ciekawy ponieważ pokazuje różne części cdata center z wieloma detalami. Ponadto przybliża on idee podziału centrum danych na tzw. POD-y. Żeby nie wrzucać po prostu linku filmów opatrzyłem je swoim komentarzem wyjaśniającym wiele kwestii.

Pierwszy film - centrum danych znajdujące się w Dallas (USA).

Pod filmem zamieściłem mój komentarz, który może wyjaśnić nieco spraw widocznych na filmie.

Zgodnie z tym, co mówi nasz przewodnik centrum to składa się z 4 POD-ów o łącznej pojemności 18 - 20 tysięcy serwerów (5 tysięcy na jeden POD).

Czym jest POD? Jest to wydzielona część centrum danych oraz jego infrastruktura, która jest niezależna od pozostałej części zarówno pod względem lokalizacji fizycznej (inna lub inne części tego samego budynku) jak i zasobów infrastrukturalnych (zasilanie, chłodzenie, przestrzeń serwerowni itp.). Taki podział pozwala na lepsze zarządzanie procesem stopniowego doposażania serwerowni urządzeniami IT (mocą obliczeniową) czy nawet umożliwia wynajęcie jednej części data center konkretnemu klientowi, który nie chce aby ktokolwiek inny przetwarzał i przechowywał swoje dane w tym samym miejscu i w tej samej infrastrukturze. Niestety nie udało mi się znaleźć rozwinięcia skrótu POD. Chyba, że jest to po prostu wyraz "pod" oznaczający strąk...

Analizując materiał po kolei (czas - komentarz):

0:48 -  widok przez szybę na jeden z POD-ów.
1:08 - omawiany jest system kontroli dostępu (karta zbliżeniowa plus odcisk palca).
1:29 - wejście do serwerowni pierwszego POD-a.
1:31 - informacja o tej samej budowie każdego z POD-ów.

1:56 - widok przodu szafy serwerowej wyposażonej w serwery 1U, 2U i 4U. Zauważyć można, że nie wyposażono szaf w drzwi czołowe.

2:32 - widok tyłu szaf oraz okablowania sieciowego serwerowni (dosyć specyficzne podejście stosowane we wszystkich serwerowniach firmy SoftLayer). Każdy serwer wyposażony jest w 5 aktywnych połączeń sieciowych (5 przyłączonych kabli) - 2 połączenia sieci prywatnej, 2 publicznej i 1 na potrzeby zarządzania serwerem. Dla łatwiejszego zarządzania dla każdej sieci stosowany jest inny kolor kabla. Połączenia o przepustowości 1 Gb (2 x 1 Gb dla podwójnych połączeń). Kable doprowadzone są do switchy zamontowanych w tej samej szafie. Również one są redundantne (1+1).

2:59 - listwy zasilające, każda szafa wyposażona jest w dwa zestawy listew, każdy serwer połączony jest dwoma kablami do dwóch różnych listew zasilanych z dwóch różnych źródeł.

3:27 - "remote power panel" - zdalny panel zasilania lub rozdzielnica zdalna (lokalna?). Każdy panel posiada dwa źródła zasilania. Każda szafa jest zasilana podwójnie z panela znajdującego się w danym rzędzie.

3:44 - widok PDU - punktu dystrybucji energii, do którego podłączone są ww. panele zasilania.

4:08 - chłodzenie - "CRACs units" (Computer Room Air Conditioning units - jednostki klimatyzacji serwerowni, jednostki klimatyzacji precyzyjnej). Zgodnie z wypowiedzią przewodnika jednostki dobrane są nadmiarowo i wyłaczenie którejkolwiek nie stanowi zagrożenia dla systemu. Klimatyzacja nawiewa chłodne powietrze pod podłogę podniesioną. Ciepłe zaciąga górą. Dzięki wyposażeniu jednostek w widoczne rękawy (od góry) powietrze zasysane jest z wyższych partii serwerowni. Dostępne są w Internecie badania (np. Google'a), które wykazują znaczącą korzyść takiego rozwiązania w kontekście kosztów utrzymania odpowiedniej temperatury oraz redukcji części mankamentów wynikających z braku zabudowy stref pomiędzy szafami rack.

4:46 - PoP - Point of Presence - pomieszczenie łączności telekomunikacyjnej centrum danych z siecią Internet- niestety ściśle tajne i niedostępne nawet dla VIP-ów...

4:58 - Staging area - powiedzmy, że magazyn. Widzimy w środku duże ilości nowego sprzętu IT gotowego do zainstalowania zgodnie z zapotrzebowaniem klienta.

6:00 - Network Operation Center (NOC) - dosłownie Centrum Operacyjności Sieciowej (jeśli można tak powiedzieć) lub chyba bardziej poprawnie Centrum Zarządzania Siecią. Z wypowiedzi wynika, że jest to jedyny NOC w Dallas (ze strony www.softlayer.com wynika, że w Dallas firma ma 7 centrów danych). Czyli rozwiązano to w taki sposób, że jedno Centrum Zarządzania Siecią wystarczy dla kilku obiektów data center umiejscowionych w niedalekiej odległości. W NOC-u pracują administratorzy, którzy za pomocą zautomatyzowanych mechanizmów kontrolują i zarządzają siecią, urządzeniami i zdarzeniami jakie mają miejsce. Obsługują też zgłoszenia klientów. Technicy dostępni są 24 godziny na dobę.

6:48 - na zewnątrz, w pobliży agregatów chłodniczych i prądotwórczych. Wszystko nadmiarowo . Dla jednego POD-a chłód gwarantują dwa agregaty pracując naprzemiennie. Zasilanie zabezpieczone jest agregatami prądotwórczymi - po jednym na POD, plus jeden nadmiarowy dostępny dla wszystkich POD-ów. Każdy o mocy 2 MW.

Drugi film - centrum danych zlokalizowane w Amsterdamie.

Infrastruktura tego data center jest bardzo podobna do poprzedniego, dlatego nie będę już męczył zbędnymi treściami. Zapraszam do oglądania.

Trzeci film - kablowanie szaf serwerowych.

Bardzo fajny filmik przedstawiający proces ustawiania szaf rack (a raczej samych ram szaf, bo niby po co drzwi i panele boczne - strata kasy i utrudnienia przy zarządzaniu), montowania switchy (zgodnie z powyższym opisem SoftLayer stosuje 5 sztuk na każdą szafę) oraz żmudny i długi czas montażu okablowania. Na szczęście wszystko w przyśpieszonym tempie i z pozytywną muzyczką.

Czwarty filmik - dostawa i montaż serwerów.

Szafy okablowane, infrastruktura gotowa - można montować serwery. Ale najpierw dostawa i wypakowywanie. Dużo kartonów, spore zamówienie, producent urządzeń pewnie świętował kilka dni po takim dealu :)

Piąty filmik - dalsza część montażu serwerów.

Ten film nie wnosi już nic nowego, ale myślę że będzie ciekawy dla chcących więcej.

Podsumowanie

Firma SoftLayer jest globalnym dostawcą mocy obliczeniowej. Posiada obecnie 13 obiektów data center na świecie. Wszystkie są jednak wykonywane według tych samych wytycznych i własnego standardu. Sprawia to, że każdy z nich od środka wygląda bardzo podobnie, a sama serwerownia nawet identycznie. Na pewno przyśpiesza to proces realizacji kolejnych centrów danych oraz łatwość zarządzania. Miło, że SoftLayer udostępnia materiały wideo pokazujące wnętrze data center, co w mojej opinii (oprócz reklamy) stanowi znaczną wartość edukacyjną, szczególnie dla krajów, które jeszcze raczkują w tej tematyce...