Każdy, kto zarządza serwerownią lub całym centrum danych wie, że największym kosztem utrzymania jest koszt prądu. Najwięcej prądu - na co nie mamy zbyt dużego wpływu - zużywa sprzęt IT. Drugim w kolejności jest system chłodzenia serwerowni i data center - tutaj mamy już wpływ. Jak to zrobić? Np. zwiększając temperaturę jaka ma być utrzymana wewnątrz pomieszczenia, lub zmieniając konfigurację współpracy całego układu chłodzenia.
Dodam tylko, że przekładając na pieniądze wyliczone oszczędności prądu (podane artykule w MWh, uśredniając koszt MWh do około 400-500 pln) dają ogromne sumy. I tak dla drugiej fazy testów oszczędność wynosiłaby nawet 40 000 - 50 000 pln rocznie, natomiast dla trzeciej 60 000 - 75 000 pln rocznie.
Myślę, że warto wykonać takie ćwiczenie w swoim centrum danych. Oczywiście musimy mieć na uwadze cały czas (jak zauważa słusznie autor badania) bezpieczeństwo i niezawodność data center.
OpenStack jest otwartym oprogramowaniem umożliwiającym kontrolowanie dużych zasobów obliczeniowych (serwery, storage) i sieciowych znajdujących się w centrum danych i tworzących razem chmurę obliczeniową. Zarządzanie odbywa się za pomocą panelu obsługi (dashboard) lub interfejsu programistycznego aplikacji (OpenStack API). I co najważniejsze - oprogramowanie jest darmowe.
Chmura obliczeniowa zbudowana jest z wielu serwerów, macierzy dyskowych, urządzeń sieciowych itp. Wszystko to znajduje się zazwyczaj w profesjonalnej serwerowni w centrum danych. Tak duża ilość sprzętu obliczeniowego, który ma ze sobą ściśle współpracować, dzielić zasoby i tworzyć jednolitą strukturę clouda jest nie lada wyzwaniem dla administratorów.
Zadaniem chmury jest połączenie i udostępnianie wszystkich dostępnych zasobów obliczeniowych i przydzielanie ich na żądanie dla konkretnych instancji (podsystemów, logicznych fragmentów mocy obliczeniowej - wirtualnych serwerów, macierzy lub ich zbiorów). Idąc od podstaw, budując clouda najpierw jest serwer i przydzielone mu zasoby dyskowe. W tym przypadku wystarczy nam oprogramowanie do wirtualizacji (np. Microsoft Hyper-V, VMwaer vSphere czu Cytrix XenServer) i możemy przydzielać zasoby według uznania (np. utworzyć na nim 4 wirtualne maszyny, każda z innym systemem operacyjnym i inną funkcjonalnością). Problem zaczyna się komplikować kiedy zamiast jednego będziemy mieli już wiele serwerów, wiele macierzy i kilka urządzeń sieciowych i zechcemy wszystko połączyć w jeden duży zasób obliczeniowy. Jeszcze trudniej będzie, kiedy urządzenia będą pochodziły od różnych producentów i do tego zastosujemy różne rozwiązanie wirtualizacyjne. Może się wtedy okazać, że zarządzanie całością i łączenie w jedną spójną chmurę obliczeniową będzie bardzo trudne.
Tutaj właśnie może nam pomóc oprogramowanie OpenStack, którego funkcjonalność pozwala na połączenie wszystkich zasobów obliczeniowych (różnych producentów, różnych technologii) centrum danych w jedną całość (chmurę obliczeniową), którą można w miarę łatwo zarządzać. Oprogramowanie poprzez panel obsługi pozwala na tworzenie w obrębie skonfigurowanego i połączonego zasobu wirtualne maszyny, wykonywać ich kopie czy zarządzać użytkownikami.
Jak można wyczytać na stronie OpenStack.org wiele firm już wdrożyło to rozwiązanie do zarządzania własną chmurą obliczeniową. W Polsce również możemy znaleźć kilka przykładów. Biorąc pod uwagę młody wiek rozwiązania, wygląda to całkiem dobrze i rokuje jeszcze lepiej.
Open Compute Project (dosłownie "otwarty projekt obliczeniowy) to przedsięwzięcie inżynierów Facebooka mające na celu opracowanie otwartych i ogólnie dostępnych dla wszystkich standardów budowy centrum danych i jego wyposażenia, które przy najniższych kosztach inwestycji zapewnią najwyższą efektywność energetyczną i moc obliczeniową.
Open CloudServer
Grupa inżynierów Facebooka spędziła ostatnie kilka lata nad sprostaniem zadania - w jak rozbudować swoją infrastrukturę obliczeniową w najbardziej efektywny i ekonomiczny sposób. Pracując najpierw na środowisku testowym stworzyła założenia, które udało się wdrożyć w wybudowanym od podstaw, zgodnie z pierwszymi wytycznymi projektu data center w Prineville w stanie Oregon (USA). Oprócz odpowiednio zaprojektowanego budynku i układu pomieszczeń (co miało na celu stworzenie maksymalnie efektywnego sposobu chłodzenia) obiekt został wyposażony w opracowane przez zespół serwery wykonane z komponentów komputerów PC, zasilacze UPS, szafy rackowe i system bateryjnego podtrzymania zasilania. Grupa zaczęła wszystkie prace nad projektem od zera, dlatego mógła sobie pozwolić na całkowicie indywidualne podejście do każdego aspektu i zaplanowanie wszystkiego od początku, pomijając wszelkie dostępne, opracowane przez wielkie korporacje informatyczne i infrastrukturalne rozwiązania.
W oparciu o wytyczne OCP powstały już dwa centra danych, jedno - jako pierwsze - wspomniany wyżej obiekt w Prineville w USA oraz drugi w miejscowości Lulea w Szwecji, który to przedstawiłem tutaj. Krótko tylko przypomnę, że obiekt ten wykorzystuje w 100% zewnętrzne powietrze do chłodzenia całej serwerowni. We wspomnianym wpisie skupiłem się jedynie na kwestii budowy data center. OCP jednak obecnie posiada znacznie większy zakres i przedstawia wytyczne:
Poniżej przedstawiam fragment specyfikacji dotyczącej budowy serwera nazwanego Open CloudServer (zdjęcie powyżej).
Efekt stosowania opisanych w projekcie rozwiązań (na przykładnie centrum danych w Prineville) to redukcja kosztów inwestycji o 24%, kosztów utrzymania o 34% i osiągnięcie rekordowo niskiego wskaźnika PUE na poziomie 1,07 w skali roku.
Zapraszam do analizy tego wyniku w udostępnionej przez Facebook aplikacji wizualizującej zależność PUE od temperatury zewnętrznej oraz wilgotności. Poniżej zrzut ekranu i wyniki przedstawiane przez aplikację w momencie pisania tej treści.
Open Compute Project przez kilka lat swojego istnienia mocno się rozwiną i obecnie jest to już zestaw wielu dokumentów i specyfikacji, których samo przeczytanie wymaga poświęcenia dużej ilości czasu. Wszelkie informacje i specyfikacje można znaleźć na stronie projektu www.OpenCompute.org.
Moim celem tutaj było jedynie zasygnalizowanie, że istnieje takie przedsięwzięcie, dotyczy wielu aspektów i jest ogólnie dostępne. Czy ktoś z tego zrobi pożytek to już inna sprawa. Chętnie podejmę się takiego zadania jeśli znajdzie się odpowiednio szalony (w pozytywnym tego słowa znaczeniu) inwestor :) .
Tym razem chcę poruszyć temat testów obciążeniowych serwerowni / centrum danych, który ma na celu zbadanie poprawności zaprojektowanych i wykonanych instalacji klimatyzacji i zasilania serwerowni oraz prawidłowego funkcjonowania tych systemów dla docelowej, maksymalnej wartości obciążenia energetycznego.
Obciążnice w szafach serwerowych
W trakcie projektowania centrum danych i serwerowni dobierane są odpowiednie rozwiązania z zakresu klimatyzacji i zasilania, które często wynikają z solidnych obliczeń i doświadczenia projektanta bądź w wyniku sprawnych działań handlowca reprezentującego konkretnego producenta. W projekcie wszystko może wyglądać dobrze, ale czy tak będzie w rzeczywistości? Jest to już zagadka, która zazwyczaj rozwiązuje się zbyt późno - kiedy już system IT został wdrożony i każda minuta przestoju jest dramatyczna. Często jest jednak tak, że do maksymalnej, projektowanej mocy elektrycznej serwerownia zostanie obciążona dopiero po długim czasie, kiedy to już trudno będzie rościć pretensje do projektanta lub firmy wykonawczej, która również mogła przyczynić się do niewłaściwego rezultatu wykonując coś nie tak jak zostało to zaprojektowane.
Inną kwestią jest odpowiednia konfiguracja systemów chłodzenia i zasilania w tym zasilania gwarantowanego i rezerwowanego. Co z tego, że nasz system zasilaczy UPS wraz z dużą ilością baterii podtrzyma urządzenia IT nawet na 15 minut, jeśli klimatyzacja w tym czasie nie będzie działała, lub jeśli uruchomi się zbyt późno, kiedy zbyt wysoka temperatura spowoduje samoczynne wyłączanie się sprzętu IT. Co jeśli zaplanowano, że klimatyzatory tylko na chwilę się wyłączą lub będą podtrzymane zasilaniem gwarantowanym, jeśli nie będzie to zapewnione dla agregatów wody lodowej, które po zaniku napięcia potrzebują kilku minut na wznowienie działania... Tego typu pytań będzie znacznie więcej zależnie od konkretnego przypadku.
Aby uniknąć takich sytuacji należałoby wykonać testy obciążeniowe centrum danych przed odebraniem prac od wykonawcy. Tylko jak takie testy wykonać nie mając jeszcze zapełnionej serwerowni urządzeniami IT? Można to zlecić odpowiedniej firmie, która się takimi rzeczami zajmuje i posiada odpowiednią ilość obciążnic, które zasymilują działanie i wytwarzanie ciepła serwerów dla projektowanej mocy. Nie mam tutaj na myśli pojedynczej, dużej obciążnicy, która będzie stała na zewnątrz i sprawdzi poprawność jedynie instalacji zasilania, ale takich obciążnic, które zostaną zamontowane w szafach rack odpowiednio i równomiernie dla całej serwerowni.
Badanie stanu baterii UPS-a w czasie zaniku zasilania z sieci i dużego obciążenia gwarantowanych odbiorów centrum danych
Takie urządzenia, przy kontrolowanym zaniku zasilania z sieci, pozwolą na bezpieczne zbadanie wydajności klimatyzacji oraz tego, czy została ona odpowiednio dobrana dla projektowanego obciążenia, czy utrzyma bezpieczną temperaturę do czasu przejęcia zasilania przez agregat prądotwórczy, czy agregaty prądotwórcze wystartują w planowanym czasie, czy w ogóle wystartują, czy zasilacze UPS poradzą sobie z taką awarią, czy baterie wytrzymają zadany czas podtrzymania na pełnym obciążeniu itd., itp.
Z mojego doświadczenia wynika, że coś może być nie tak zaprojektowane lub wykonane, albo po prostu urządzenie lub jego element miał wadę fabryczną. To coś, w produkcyjnym środowisku byłoby bardzo poważną usterkę i miałoby negatywny wpływ na wizerunek firmy, której system nagle przestałby działać na czas nieokreślony. Dużo łatwiej i praktycznie bezkosztowo dla inwestora (wady naprawia wykonawca) można problem wyeliminować zanim będzie za późno. Dlatego też polecam dołożyć do kosztorysu inwestorskiego taki element (testy obciążeniowe centrum danych) i zlecić te prac bezpośrednio odpowiedniej firmie, która nie będzie związana z wykonawcą testowanego centrum danych, co zapewni rzetelność badania.
Analizator jakości energiiObciążnice RACK-owe symulujące pracę serwerów w ich docelowych lokalizacjach w serwerowniObciążnica większej mocy
Zapraszam serdecznie na konferencję organizowaną przez Centrum Promocji Informatyki, którą będę miał przyjemność prowadzić oraz wygłosić swoją prelekcję! Informacje o miejscu i dacie wydarzenia.
Dzięki uprzejmości organizatora otrzymałem specjalny link zapewniający darmową możliwość rejestracji na wydarzenie dla czytelników mojego bloga. Zapraszam więc do zapisywania się za 0 zł!
