Tak jak pisałem we wcześniejszym artykule o systemie gaszenia gazem, ochronę przeciwpożarową serwerowni oraz centrów danych realizuje się na dwa sposoby – poprzez wczesną detekcję dymu oraz automatyczne gaszenie pożaru gazowym środkiem gaśniczym, przy czym mogą one istnieć osobno (mniejsza skuteczność) lub stanowić jeden system, zapewniający wysoki poziom bezpieczeństwa i zadziałania. Tym razem omówię system wczesnej detekcji dymu serwerowni.
Przykład instalacji wczesnej detekcji dymu w serwerowni
W celu szybszego wykrycia zarzewia pożaru w serwerowniach zaleca się stosowanie detektorów wczesnej (ultraczułej) detekcji dymu, nazywanych ogólnie systemami ASD (ang. Aspirating Detection System), które znacznie wcześniej potrafią wykryć cząstki spalających się substancji - w stosunku do czujek konwencjonalnych są ponad 100 razy czulsze.
W przeciwieństwie do standardowych czujek ppoż., instalacja zbudowana jest z sieci rurek zasysających, przez które stale przetłaczane jest powietrze pochodzące z wybranych przestrzeni monitorowanego pomieszczenia. Powietrze to jest analizowane przez wysokoczułą głowicę znajdującą się w urządzeniu detekcyjnym, pozwalającą na wykrycie nawet najdrobniejszych cząstek dymu. Wszelkie zanieczyszczenia (np. kurz) filtrowane są przed podaniem powietrza na głowicę detektora, co zapobiega występowaniu fałszywych alarmów.
Rurki detektorów wczesnej detekcji dymu umieszcza się, podobnie jak czujki pożarowe, we wszystkich przestrzeniach serwerowni - pod podłogą technologiczną, nad sufitem podwieszanym oraz w przestrzeni głównej. Ilość detektorów, umiejscowienie rurek, ilości otworów zasysających oraz ich rozmieszczenie, wykonuje się zgodnie z obowiązującymi normami oraz zaleceniami producenta – w serwerowniach zgodnie z klasą A wg normy EN 54-20, zarówno pod kątem detekcji wtórnej (badanie powietrza w całym pomieszczeniu) jak i pierwotnej (badanie powietrza pochodzącego bezpośrednio z urządzeń).
W celu określenia odpowiedniej ilości detektorów (urządzeń, rurek ssących, otworów, itp.) konieczne jest wcześniejsze wykonanie projektów wykonawczych instalacji.
Wykrycie dymu przez detektor wczesnej detekcji może być wykorzystane do wywołania alarmu I stopnia dla systemu automatycznego gaszenia lub stanowić indywidualne powiadomienie dla użytkownika (podłączenie detektora do systemów BMS (ang. Building Management System) lub monitoringu parametrów środowiskowych i stanu pracy urządzeń - dzięki czemu będzie on mógł zareagować na zdarzenie odpowiednio wcześniej (przed uruchomieniem akcji gaśniczej).
Podsumowują, system wczesnej detekcji dymu serwerowni zapewnia uzyskanie informacji nt. zarzewia pożaru z dużym wyprzedzeniem w stosunku do systemu detekcji standardowej (w ramach automatycznego gaszenia pożaru). Pozwala to na znacznie wcześniejszą reakcję użytkownika i możliwość eliminacji źródła pożaru w początkowym jego etapie, czyli w momencie kiedy jest to najłatwiejsze.
Artykuł ten przedstawia opisowy przykład centrum danych z serwerownią o mocy elektrycznej sprzętu IT równej 180 kW zaplanowanym w istniejącym budynku. Obiekt ma znaczenie krytyczne dla funkcjonowania biznesu jego właściciela, dlatego projekt wymagał zastosowania odpowiednio niezawodnych rozwiązań, które pokrótce tutaj opiszę.
Analizowane centrum danych powstało na potrzeby instytucji, dla której system informatyczny jest warunkiem istnienia i każda chwila przestoju niesie za sobą ogromne straty finansowe, dlatego całość musiała zostać tak zaprojektowana, aby można było wykonywać wszelkie prace związane z rozbudową systemu bez konieczności wyłączania elementów systemu. Ponadto ciągłość działania musiała być zapewniona nawet w przypadku długotrwałej awarii elektrowni energetycznej będącej źródłem prądu.
Data center, w tym przypadku, składa się z kilku pomieszczeń funkcjonalnych: UPS-ownia, pomieszczenie dystrybucji energii, pomieszczenie agregatu prądotwórczego, pomieszczenie techniczne oraz najważniejsze – serce układu – serwerownia. Całość została wykonana w istniejącym budynku, którego część została odpowiednio zaadoptowana. Wymagało to wykonania szeregu prac konstrukcyjno-budowlanych, instalacji przyłączy energetycznych i przystosowania sąsiedniego budynku garażowego na potrzeby wytwarzania zasilania rezerwowanego (agregat prądotwórczy).
Główne parametry omawianego centrum danych:
Powierzchnia całego centrum danych: około 200 m2
Powierzchnia serwerowni: 110m2
Moc elektryczna przeznaczona na sprzęt IT: 180 kW
Podział gęstości mocy: 2 strefy
Zabudowy chłodnych korytarzy
Klimatyzacja rzędowa
Aranżacja pomieszczenia serwerowni i UPS-owni
Ze względu na posiadane przez Inwestora specyficzne macierze dyskowe pomieszczenie serwerowni wymagało podziału na dwie strefy (zabudowy/układu szaf i klimatyzacji), co było ułatwione przez jego kształt. Powierzchnia całkowita wynosiła 110m2. Główna strefa zbudowana z 24 szaf serwerowych o łącznej mocy 130 kW oraz 9 klimatyzatorów rzędowych w układzie N+2 dostarczających stale około 150 kW chłodu. Szafy i klimatyzatory podzielone zostały na dwa rzędy z zabudowaną strefą chłodu pomiędzy nimi (zabudowa stała, wejście do strefy przez drzwi). Tak samo została zorganizowana druga strefa zbudowana z 10 dużych macierzy dyskowych oraz 4 klimatyzatorów rzędowych. Moc elektryczna dla sprzętu IT tej części to 50kW i moc chłodu to 58kW przy założeniu trzech stale działających klimatyzatorów. Ze względu na niestandardowe wymiary szaf macierzowych wykonano zabudowę modularną (elastyczne pasy, bez dedykowanych drzwi). Dokoła szaf wykonano trasy kablowe dedykowane dla okablowania strukturalnego i połączeń sieciowych pomiędzy urządzeniami instalowanymi w szafach. Poniższy rysunek przedstawia rzut pomieszczenia serwerowni w wersji projektowej.
Rzut serwerowni wchodzącej w skład analizowanego centrum danych (węższe szafy to klimatyzatory rzędowe).
Pomieszczenie UPS-owni o powierzchni 50m2 ma za zadanie utrzymać odpowiednie warunki dla dwóch równoległych układów zasilaczy UPS w konfiguracji N+1 o stale dostępnej mocy 180kW każdy. Zaplanowano w nim klimatyzację precyzyjną typu InRoom chłodzącą całe pomieszczenie.
Instalacje elektryczne
Instalacje elektryczne centrum danych o znaczeniu krytycznym oraz tej wielkości mocy to już ciekawe zagadnienie inżynieryjne. Ogromna ilość odpowiednio dobranych przewodów, zarówno o małych jak i dużych przekrojach, skonfigurowanych i połączonych w odpowiednich konfiguracjach tworzy interesujący system. Do budynku doprowadzono zasilanie redundantne z dwóch niezależnych źródeł. Docelowo zaplanowano zasilanie wszystkich szaf dwutorowo dla zwiększenia niezawodności oraz umożliwienia ewentualnych prac serwisowych jednego z torów zasilania.
Dla kontroli poziomu obciążenia elektrycznego szaf serwerowych oraz ilości mocy dostępnej dla danego obwodu zastosowano analizatory sieci zasilania każdej szafy rack, całego układu klimatyzacji (jednostki wewnętrzne i jednostki zewnętrzne), obwodów zasilania itp. Rozwiązanie takie zapewniło również możliwość pomiaru realnej wartości mocy używanej w danej chwili lub w pewnym okresie przez np. układ klimatyzacji.
Klimatyzacja pomieszczenia serwerowni i UPS-owni
Dla zapewnienia odpowiednich warunków pracy sprzętu IT zastosowano w serwerowni systemy separacji chłodu i ciepła oraz klimatyzację rzędową jako bardziej wydajne i skuteczne oraz mniej stratne, eliminujące wiele dotychczas występujących problemów w serwerowniach rozwiązanie.
Całość chłodzenia serwerowni oparta została o technologię wody lodowej wraz z opcją freecoolingu, która w naszej strefie klimatycznej daje duże oszczędności kosztów jej zasilania przez sporą część roku. Oszczędność ta, dla okresu o temperaturze zewnętrznej poniżej 1oC, będzie wynosiła nawet 100% dla zastosowanych agregatów.
W pomieszczeniu UPS-owni zastosowano trzy szafy precyzyjne chłodzące całe pomieszczenie z nawiewem chłodu pod podłogę techniczną.
Przy projektowaniu systemu chłodzenia serwerowni stale opierano się na symulacjach komputerowych obiegu powietrza przy użyciu programu typu CFD. Więcej o tym napisałem w odrębnym artykule.
System zasilania gwarantowanego oraz rezerwowanego
W pomieszczeniu UPS-owni zainstalowano dwa układy zasilaczy UPS. Każdy układ zbudowany z 4 x UPS 80 kVA pracujących w układzie N+1. Każdy z układów posiada moc wystarczającą do zasilenia wszystkich szaf serwerowych o pełnej mocy czyli około 180 kW. Każda szafa rack została wyposażona w podwójny układ listew PDU z czego jeden zasilany jest z jednego natomiast drugi z drugiego toru UPS-ów. Założono tutaj, że każdy sprzęt serwerowy instalowany w szafach wyposażony będzie w dwa zasilacze. Ze względu na krótki czas rozruchu agregatu prądotwórczego system klimatyzacji nie wymagał podłączenia do zasilania gwarantowanego, co w przeciwnym wypadku miałoby znaczny wpływ na koszt inwestycji. Zasilaniem rezerwowym jest agregat prądotwórczy, który przejmie zasilanie całego centrum danych w krótkim czasie po zaniku dwóch źródeł zasilania obiektu.
Systemy bezpieczeństwa.
KD – Kontrola dostępu
System kontroli dostępu ma za zadanie zabezpieczenie pomieszczeń centrum danych przed dostępem osób nieuprawnionych. Dostęp do określonych pomieszczeń kontrolowany jest przez system czytników linii papilarnych, kart zbliżeniowych i kodu PIN. Autoryzacja przebiega dwustronnie (wejście/wyjście). Wszystkie wejścia i wyjścia personelu do pomieszczeń są zapisywane w pamięci systemu.
SSWiN – System sygnalizacji włamania i napadu
System SWiN ma za zadanie sygnalizowania każdego przypadku naruszenia zabezpieczeń pomieszczeń centrum danych. Zastosowanymi elementami odpowiedzialnymi za wykrywanie intruzów są czujki dualne zapewniające analizę warunków otoczenia w pełnym zakresie częstotliwości prędkości ruchu pozwalając na wykrywanie intruzów przy równoczesnej eliminacji czynników środowiskowych i wynikających z nich fałszywych alarmów. Czujki ponadto posiadają funkcję „antymaskingu”, która gwarantuje jej ochronę przed niepożądanym zbliżaniem się do niej i próbami jej maskowania w odległości 0,8 m i bliżej.
CCTV – System telewizji przemysłowej
System telewizji przemysłowej oparty został o zestaw odpowiednio rozmieszczonych cyfrowych, megapikselowych kamer dookólnych. Całość obrazu (tylko w przypadku wykrycia ruchu) jest rejestrowana na odpowiednim rejestratorze cyfrowym o dużej pojemności, dzięki czemu archiwizowany obraz zapewnia możliwość odtworzenia zdarzeń sprzed wielu miesięcy. Stały podgląd jak i odtwarzanie zarejestrowanego obrazu dostępne są z dowolnej lokalizacji z dostępem do sieci Internet.
System przeciwpożarowy
Serwerownia została zabezpieczona systemem wykrywania pożaru i gaszenia gazem, natomiast pomieszczenie UPS i techniczne tylko systemem wykrywania pożaru. Całość jest kontrolowana przez jedną zaawansowaną centralę ppoż.
Dodatkowo w pomieszczeniu serwerowni zastosowano system bardzo wczesnej detekcji dymu, który dużo wcześniej potrafi wykryć cząstki dymu niż konwencjonalny system wykrywania pożaru reagujący dopiero w momencie sporego nagromadzenia się dymu. Ma to szczególnie znaczenie w serwerowni, gdzie powietrze jest stale mieszane i nagromadzenie się większej ilości dymu dotyczy całej kubatury pomieszczenia. W standardowym systemie czujki wykrywające rozmieszczone są w kilku miejscach. Tutaj natomiast zainstalowana jest sieć rur ssących, przez które stale przetłaczane jest powietrze dzięki pompce ssącej znajdującej się w centrali.
Szafy sererowe
Dla kompletności i możliwości wykonania zabudowy zastosowano jednolite szafy RACK producenta, który również oferuje systemy zabudowy korytarzy pomiędzy szafami. Dostarczone szafy posiadają wymiary 42U x 800mm x 1100mm, nośność 1000kg. Ze względu na zamykane wejście do zabudowy oraz bezpieczne wejście do serwerowni tylko dla autoryzowanych pracowników, instalację drzwi do każdej z szaf uznano za zbędną. Zasilanie jest realizowane przez cztery listwy (po dwie na stronę) po 20 slotów, o długości 90cm, zainstalowane pionowo z tyłu szaf.Wszystkie wolne miejsca w szafach, gdzie jeszcze nie zainstalowano sprzętu serwerowego, zostały zaślepione panelami maskującymi w celu wyeliminowania efektu mieszania się chłodu z ciepłem oraz uszczelnienia zabudowy. Zastosowane szafy zostały wyposażone we wzmocnione profile, charakteryzujące się dużą obciążalności. Profile te wyposażone są w dodatkowe 3 pola 19” 1U co dało 6 dodatkowych pól 19” 1U pozwalających na montaż dodatkowych urządzeń lub paneli pionowo po bokach szafy.
Trasy kablowe
Trasy podwieszane nad szafami serwerowymi tworzą bardzo funkcjonalne i praktyczne możliwości prowadzenia okablowania pomiędzy sprzętem serwerowo-sieciowym w serwerowni. W bardzo łatwy sposób umożliwiają rozbudowę okablowania w każdym momencie bez otwierania płyt podłogowych i przeciągania po kawałku kabli. Dodatkowo trasy takie tworzą ciekawie wygląd pomieszczenia.
Monitoring warunków środowiskowych i stanu pracy urządzeń (SMS)
Całe centrum danych składała się z dużej ilości urządzeń, systemów i instalacji. Jest bardzo ważne, aby mieć nad tym wszystkim kontrolę, co najmniej na poziomie informacji o stanie. W środowisku tak rozbudowanym awaria bez odpowiednio wczesnego powiadomienia może zakończyć się niebezpiecznie lub w ogóle zostać wykryta po dłuższym czasie. Dlatego też zainstalowano monitoring warunków środowiskowych i stanu pracy urządzeń (SMS –Security Management System). Do systemu podpięte zostały wszystkie urządzenia, które mogą zgłaszać swój stan. Dodatkowo np. na obwodach zasilania zostały zainstalowane specjalne przekaźniki informujące o stanie zabezpieczenia. Analizatory sieci wysyłają dane również do tego systemu. Wszystkie te informacje (około 310 sygnałów dla analizowanego centrum danych) dostępne są za pośrednictwem zainstalowanego Web serwera przez przeglądarkę internetową, a wybrane, uznane za krytyczne, aby natychmiast informowały o zagrożeniu są wysyłane za pomocą wiadomości SMS.
Podsumowanie
Opisywane centrum danych, a w szczególności serwerownia zostały dokładnie przeanalizowane w fazie projektowej. Dzięki użycie modelowania komputerowego wyeliminowano wszelkie możliwe nieefektywności chłodzenia zanim w ogóle system klimatyzacji został wykonany. Dodatkowo zastosowanie zabudowy chłodnych korytarzy pomiędzy szafami serwerowymi w pomieszczeniu serwerowni oraz wykorzystanie technologii feree coolingu zapewni znaczne zmniejszenie kosztów zasilania systemu. Warto też zauważyć fakt, że dobrze przemyślana organizacja systemów, typu i sposobu prowadzenia tras kablowych, rozmieszczenia szaf itp., to duże ułatwienie w codziennej pracy związanej z instalacją i fizyczną obsługą sprzętu serwerowego itp.
Wpis przedstawia proces adaptacji pomieszczenia biurowego na serwerownię (centrum danych) w budynku biurowym, w którym na etapie projektowania nie przewidziano takiego pomieszczenia. Materiał, który tutaj przedstawiam, oparty jest o autentyczną realizację, przy której uczestniczyłem. Jego celem jest ogólne przedstawienie procesu takiej realizacji, co może ułatwić Inwestorowi podjęcie decyzji dotyczących takiego przedsięwzięcia. Przedstawione prace były konieczne dla tego konkretnego przypadku. W każdym innym będą one nieco różne.
Budowana serwerownia ma 50m2, moc 40kVA. Realizację przeprowadzono w 2009 roku.
Stan istniejący przed realizacją. Dotychczasowe pomieszczenie serwerowe (przedstawione na fotografii obok) znajdowało się na 3 piętrze budynku. Nie było ono odpowiednio przygotowane do pełnienia swojej roli. Ilość hostowanego sprzętu przerosła możliwości wykonanych wewnątrz, nieprofesjonalnych instalacji.
1. Potrzeba. W związku z powyżej opisanym mankamentem i wynikającym z niego realnym zagrożeniem dla stabilności pracy sprzętu serwerowego oraz planowaną rozbudową systemu IT zaistniała konieczność wybudowania prawdziwej serwerowni spełniającej konkretne wymagania.
2. Wybór odpowiedniego pomieszczenia. W związku faktem, iż w dotychczasowa serwerownia była również głównym punktem dystrybucyjnym sieci komputerowej skupiono się na pomieszczeniach bezpośrednio sąsiadujących z obecnym. Wybrano pomieszczenie o powierzchni 50m2 (fotografia poniżej).
3. Przygotowanie koncepcji. Zaproszone do rozmów firmy miały przedstawić swoją koncepcje rozwiązania problemu oraz przedstawienia szacunku kosztowego dla proponowanego rozwiązania (sprzęt, instalacja itp.).
4. Projektowanie. Po wyborze jednej koncepcji zlecono wykonanie dokumentacji wykonawczej. Projektanci z odpowiednimi uprawnieniami wykonali projekty branżowe zgodnie z wytycznymi Prawa Budowlanego. Po zaakceptowaniu projektów przez Inwestora można było przejść do kolejnego etapu.
5. Uzyskanie pozwolenia na budowę. Na etapie projektowania okazało się, że inwestycje będzie wymagała uzyskania pozwolenia na budowę, ponieważ: a) wybrane pomieszczenie było wcześniej pomieszczeniem biurowym natomiast nowe będzie pomieszczeniem technicznym dlatego też zaistniała potrzeba zmiany sposobu użytkowania tego pomieszczenia b)system gaszenie gazem oznaczał zmianę zabezpieczeń ppoż. części budynku i wymagał uzgodnienia z rzeczoznawcą do spraw ppoż. c) w trakcie ekspertyzy konstrukcyjnej okazało się, że strop pod część urządzeń (klimatyzatory) wymaga konstrukcji wsporczej. Zgłoszony projekt budowlany po paru tygodniach odleżenia w Urzędzie Miasta dostał pozytywną opinię i można było rozpocząć realizację.
6. Prace budowlane. Prace rozpoczęto od całkowitego opróżnienia pomieszczenia. Zdemontowano wykładziny i ścianę, którą projektant zalecił wymienić na nową z odpowiednią odpornością ogniową. Wyniesiono poza pomieszczenie instalację CO tak aby nie dopuścić do niespodziewanego wycieku wody. Wymieniono drzwi na odpowiednio bezpieczne. Po wykonaniu konstrukcji wsporczej pod klimatyzację całe pomieszczenie doprowadzono do czystego i estetycznego efektu, gdzie na koniec tego etapu wykonano podłogę techniczną odpowiednio podniesioną zgodnie z zaleceniami projektanta instalacji klimatyzacji. Po pewnym czasie oczekiwania wymieniono okna na odpowiednio bezpieczne oraz oklejono je specjalną folią ograniczającą przenikanie promieni słonecznych oraz odpowiednimi roletami.
7. Instalacja klimatyzacji. Standardowo system klimatyzacji wymagał wyprowadzenia instalacji poza pomieszczenie serwerowni - przez korytarz i świetlik aż na dach budynku. Szafy klimatyzacji dobrano z nawiewem pod podłogę techniczną, dlatego ustawiono je na specjalnie przygotowanych ramach. Wykonano również wymaganą instalację odprowadzenia skroplin oraz doprowadzenia wody bieżącej do nawilżacza wbudowanego w klimatyzator.
8. Instalacje elektryczne. Instalacje elektryczne nie były za bardzo skomplikowane dla tego obiektu. Doprowadzono wewnętrzną linię zasilania do serwerowni z głównej rozdzielni budynkowej znajdującej się w piwnicy. Do pokonania były 3 kondygnacje, wykorzystano istniejący szacht instalacyjny na klatce schodowej. W pomieszczeniu wykonano rozdzielnię serwerowni oraz rozdzielnię UPS. Z trudem wniesiono i zainstalowano zasilacz awaryjny o mocy 40 kVA. Wykonano zasilanie szaf serwerowych.
9. System przeciwpożarowy. System przeciwpożarowy zbudowany został z trzech podsystemów. Pierwszy z nich to standardowa sygnalizacja pożaru kontrolowana przez centralkę alarmową, do której podłączono kilka konwencjonalnych czujek dymu. Drugi to system gaszenia gazem sterowany przez wspomnianą centralkę, zbudowany z butli z gazem oraz systemu rur rozprowadzających środek gaśniczy w odpowiednie miejsca. Trzeci - dla zwiększenia bezpieczeństwa - to bardzo szybki system wykrywania dymu i jego charakterystyczne, czerwone rurki oplatające pomieszczenie.
10. Instalacje systemów bezpieczeństwa. Dla zapewnienia większego poziomu bezpieczeństwa zaprojektowano i wykonano systemy kontroli dostępu (zwora elektromagnetyczna kontrolowana przez czytnik lini papilarnych), sygnalizacji włamania i napadu (czujki otwarcia drzwi, rozbicia szkła, ruchu itp.) oraz monitoring wizyjny (dwie kamery wewnątrz pomieszczenia i jedna na zewnątrz). Dla zapewnienia zdalnej kontroli warunków środowiskowych oraz kontroli parametrów pracy zainstalowanych urządzeń i systemów wykonano system BMS z interfejsem WWW oraz powiadomieniami SMS.
11. Migracja sprzętu serwerowego. Kiedy już wszystko uruchomiono i sprawdzono można było rozpocząć proces migracji sprzętu serwerowego ze starego pomieszczenia. Tradycyjnie już tego typu prace musiały być wykonane w weekend, kiedy to system jest mniej używany. Większość sprzętu była na gwarancji producenta, dlatego sprawa wymagała odpowiedniego zgłoszenia i wykupienia nadzoru gwarancyjnego. Wymontowano sprzęt ze starych szaf, wstawiono nowe do nowej serwerowni i zainstalowano w nich sprzęt. Sporo podłączania kabli i wszystko ruszyło. Kilka testów, wyłączenia zasilania, praca klimatyzatorów itp. Efekt końcowy był na tyle ciekawy, że nikt nie chciał iść do domu mimo późnej godziny sobotniej.
12. Zakończenie realizacji. Dla formalnego zakończenia inwestycji po paru dniach dostarczono dokumentację powykonawczą dokładnie odwzorowującą całość wykonanego zadania. Kilka drobnych zmian ustalonych z projktantami zostało odpowiednio naniesionych. Podpisano protokół zakończenia prac i wystawiono fakturę.
We wtorek 21 sierpnia 2013 r. miałem przyjemność uczestniczyć w konferencji organizowanej przez markę GigaCon pod tytułem Data Center & Private Cloud, która odbyła się w Łodzi. Wydarzenie było bardzo ciekawe i poruszono na nim sporo kwestii związanych z Cloud Computingiem i jego zastosowaniem w biznesie. Mniej czasu poświęcono samym obiektom data center, jednak nie zapominajmy, że bez centrów danych nie byłoby mowy w ogóle o przetwarzaniu w chmurze. Poniżej streszczam pokrótce część przeprowadzonych prelekcji.
IT as a Service – szanse i wyzwania dla współczesnych działów IT
Prelekcje prowadził przedstawiciel organizacji EuroCloud Polska - Pan Przemysław Fuks i opowiadał o przykładach wdrażania rozwiązań Cloud Computingu w różnych instytucjach (póki co zagranicznych) oraz potencjalnych możliwościach wykorzystania tego typu rozwiązań w polskiej administracji. Jeden ze słuchaczy jednak nieco przekreślił pomysł stwierdzając, że na zachodzi jest inna mentalność i u nas nie będzie łatwo. Mam nadzieję, mimo wszystko, że nie będzie tak źle i Pan Przemysław i jego organizacja wspomoże proces przemiany myślenia naszych instytucji. Potrwa to jednak jeszcze trochę, ponieważ kolejny ze słuchaczy w przerwie powiedział, że dostał właśnie polecenie przedstawienia zapotrzebowania na sprzęt serwerowy w swojej instytucji państwowej. Także, póki co sektor publiczny nie myśli o przetwarzaniu w chmurze i dalej inwestują w swój sprzęt...
Data Center – Cloud Services: nowy model świadczenia usług utrzymaniowych. Praktyczne doświadczenia firmy integratorskiej
W tej części przedstawiciel firmy Comarch mówił o swoich doświadczeniach związanych z dotychczas wdrażanymi rozwiązaniami chmurowymi oraz aspektami na jakie zwracają uwagę klienci. Dodatkowo poruszył kwestię bezpieczeństwa takich rozwiązań oraz omówił trend zwyżkowy popularności różnych modeli Cloud Computingu oraz zanikających potrzeb na hosting i kolokację sprzętu.
Zabezpieczenie zasilania Data Center - ekologia i modułowość
Prelekcja bardziej inżynieryjna związana z zabezpieczeniem energetycznym centrum danych w ekologicznym i modułowym wydaniu. Wikot Suliga omówił różne sposoby zasilania gwarantowanego i rezerwowego serwerowni oraz przedstawił różnice w typach zasilaczy UPS. Wszystko to w kontekście modułowości data center i możliwości łatwej rozbudowy. Proponowane przez niego rozwiązanie - zespół prądotwórczy NZ2 - zapewnia znaczne oszczędności w utrzymaniu systemu, który wykorzystując wirujące koło zamachowe nie marnuje tyle energii elektrycznej, co rozwiązanie z zastosowaniem tradycyjnych zasilaczy awaryjnych.
Architektura systemu jako konsekwencja wymagań czyli co pierwsze: wymagania czy chmura? Opis "cloud computing" z perspektywy wymagań pozafunkcjonalnych na oprogramowanie
Referat dotyczył kwestii odpowiedniego modelowania procesów biznesowych oraz funkcjonalności systemów IT zanim zostaną one stworzony i wrzucony do chmury. Prelegent poruszył również ciekawy temat zmian dotyczących licencjonowania oprogramowania i aplikacji, co bezpośrednio odniósł do sposobu rozliczania usług Cloud Computingu. Mianowicie kończy się era licencji za możliwość skorzystania z programu, jak np. w celu napisania dokumentu w MS Word raz w roku konieczne było posiadanie takiej samej licencję jaką posiada ktoś, kto korzysta z tego programu codziennie. Nadchodzi natomiast era licencjonowania za użycie, co stosowane jest w przetwarzaniu w chmurze, gdzie płacimy za faktyczne wykorzystanie przydzielonych zasobów, które łatwo można zmieniać w zależności od potrzeb.
Firma w chmurze prywatnej - nowa jakość, czy tylko nowe technologie
W tej części Pan Krzysztof Chełpiński omówił korzyści związane z wdrożeniem chmury w firmie oraz konieczność dostosowania firmy do nadejścia pracowników nowego pokolenia. Już nawet nie Y - osoby mniej więcej urodzone w latach 80-tych poprzedniego wieku, które wychowane są na grach komputerowych, komputerach i internecie, ale pokolenia Z - osoby urodzone po roku 1990, które nie wyobrażają sobie życia bez internetu i muszą być zawsze i wszędzie "online". Jeśli firma nie dostosuje się do takich osób i nie zapewni im odpowiednich warunków pracy, to po prostu ich nie przyciągnie. Dlatego referent proponuje wdrożenie mediów społecznościowych, odpowiedniej komunikacji (nie 1 do 1, tylko wielu do wielu) i wykorzystanie możliwości jakie daje chmura.
Przebić się przez chmury?
Prowadzący prelekcję poruszył tematykę centrów danych i przedstawił ich klasyfikację wg. generacji. Ponadto opisał rodzaje usług Cloud Computingu oraz zakres zarządzania w poszczególnych modelach (Private, IaaS, PaaS, SaaS) przez dostawcę usługi oraz użytkownika.
Wymogi prawne gromadzenia danych w bazach danych, ochrona baz danych i ich udostępnianie
Ostatnią prelekcja dotyczyła kwestii prawnych związanych z przechowywaniem i gromadzeniem danych. Radca prawny zwrócił uwagę na wiele aspektów z tym związanych oraz odpowiedzialnością karną w przypadku naruszenia prawa. Cenne były również uwagi dotyczące przechowywania i przetwarzania danych osobowych, które jak się okazuje mogą być praktycznie dowolną informacją umożliwiającą zidentyfikowanie osoby fizycznej, jak np. zdjęcie czy informacja o szkole, klasie i latach nauki...
Więcej szczegółów dotyczących konferencji, prelegentów oraz materiały (prezentacje) znajdziecie na stronie organizatora wydarzenia.
Casablanca INT, właściciel omawianej serwerowni, jest jednym z największych providerów kolokacyjnych w Czechach i posiada kilka centrów danych z przeznaczeniem na wynajem dostępnej w serwerowniach przestrzeni fizycznych (kolokacja). Omawia, HC8, została oddana do użytku pod koniec 2010 roku, a koszt jej budowy wyniósł ponad jeden milion Euro. Niniejszy dokument w skrócie przedstawia wdrożone rozwiązania, skupiając się przede wszystkim na opisaniu rzędowej organizacji szaf serwerowych oraz klimatyzacji i zabudowie powstałego w ten sposób zimnego korytarza.
Wewnątrz zabudowanego, chłodnego korytarza.
Nowa hala centrum danych o powierzchni ponad 200 m2, wyposażona została w 64 szafy produkcji firmy Conteg o wysokości 42U, szerokości 600 mm oraz głębokości 1000 mm. W celu dopasowania się do wymagań jak największej grupy klientów, zainstalowano 40 pełnowymiarowych szaf rackowych, 12 szaf dzielonych na pół oraz kolejne 12 z czterema wydzielonymi sekcjami, dzięki czemu uzyskano 112 indywidualnych miejsc kolokacyjnych dla różnych grup klientów.
Każda z sekcji posiada osobne drzwi przednie oraz tylne, które mogą być otwarte jedynie przez konkretnego klienta. Również przyłącza teleinformatyczne oraz elektryczne są doprowadzone indywidualnie do każdej z „półek” szafy, co znacznie podwyższa bezpieczeństwo i niezawodność danego rozwiązania. Wszystkie drzwi posiadają perforację zajmującą aż 83% ich powierzchni, dzięki czemu urządzenia umieszczone w szafach mogą zaciągać i wypuszczać swobodnie duże ilości powietrza. Każda z sekcji wyposażona jest dodatkowo w panele maskujące oraz ramę separującą, które zapobiegają mieszaniu się chłodnego i ciepłego powietrza w szafie.
Widok zewnętrzny zabudowanego, chłodnego korytarza.
W celu zapewnienia możliwie najlepszych warunków środowiskowych dla utrzymywanego w szafach sprzętu IT, zastosowano zabudowę zimnego korytarza, zapobiegającą mieszaniu się chłodnego i gorącego powietrza. Rozwiązanie to pozwoliło na znacznie efektywniejsze wykorzystanie urządzeń klimatyzacyjnych i generowanego przez nie chłodu (schłodzone powietrze zamiast rozchodzić się po całym pomieszczeniu pozostaje w przestrzeni ograniczonej szafami, podłogą techniczną oraz sufitem zabudowy korytarza do wysokości 2,3 m, obniżenie kosztów oraz umożliwienie osiągnięcia niższej wartości współczynnika PUE (ang. Power Usage Effectiveness). Optymalne wykorzystanie klimatyzacji ma tutaj bardzo duże znaczenie, ponieważ zakładana moc elektryczna serwerowni została zaprojektowana na 300 kW, z czego obciążenie każdej z szaf oszacowane zostało na 4 kW.
Biorąc pod uwagę ilość szaf, ich podział na sekcje oraz możliwość montażu urządzeń IT o wysokiej gęstości mocy, zastosowano klimatyzatory rzędowe (ang. Side Mount (In-Row) Cooling Units) firmy Conteg z wymiennikiem ciepła w postaci wody lodowej (podłączenie do istniejącej instalacji).
Widok na dzielone szafy serwerowe.
Ilość klimatyzatorów oraz ich moc dobrano zgodnie z warunkiem N+1 dla każdego z bloków korytarza. W pierwszym bloku zawierającym 40 standardowych szaf 42U zostało zainstalowanych 10 klimatyzatorów (w tym jeden redundantny), każdy o mocy 19,3 kW. Z kolei w drugim, składającym się z 24 szaf dzielonych - 8 klimatyzatorów (również z jednym redundantnym) o takiej samej mocy. Urządzenia posiadają
5 wentylatorów, których prędkość regulowana jest automatycznie w zależności od warunków środowiskowych od 0 do 100%. Obudowa klimatyzatorów jest dopasowana do zamontowanych szaf zarówno pod kątem stylistycznym jak i gabarytowym. Urządzenia zajmują jedynie 300 mm przestrzeni pomiędzy szafami (w porównaniu do 600 mm w standardowych rozwiązaniach innych producentów), dzięki czemu zaoszczędzone miejsce można było przeznaczyć na montaż większej ilości szaf.
Ilość zajmowanego miejsca została również zredukowana dzięki zastosowaniu specjalnych ram montażowych o szerokości 300 mm, zamiast standardowych szaf krosowniczych. Ramy te montowane są na końcach korytarza i pozwalają na organizację dużej ilość kabli teleinformatycznych oraz montaż urządzeń sieciowych w pozycji pionowej.
Zabudowa strefy chłodu pomiędzy szafami z zasilaczami UPS
Trzeci blok zimnego korytarza przeznaczony został na cztery szafy zapełnione modularnymi UPS-ami, zasilanymi z dwóch niezależnych źródeł energii. Każdy z UPS-ów jest w stanie dostarczyć do 120 kW mocy przy jednoczesnym wydzielaniu ciepła na poziomie 7 kW. Dostarczenie schłodzonego powietrza i odbiór 28 kW (max) gorącego powietrza zapewniony jest przez 2 klimatyzatory rzędowe (600 mm) połączone ze sobą w topologii N+1, z których każdy może pracować z wydajnością do 30 kW.
Przestrzeń zabudowy korytarza monitorowana jest przez ponad 100 czujników temperatury, wilgotności oraz zalania. Całe pomieszczenie serwerowni posiada wdrożony system monitoringu warunków środowiskowych, telewizji przemysłowej CCTV oraz kontroli dostępu.
Butle systemu gaszenia mgłą wodną.
W pomieszczeniu serwerowni zamontowany został system bardzo wczesnej detekcji dymu VESDA, który pozwala na wzbudzenie sygnalizacji alarmowej nawet przy bardzo niskim zadymieniu, dzięki czemu istnieje możliwość poinformowania pracowników o wystąpieniu zarzewia pożaru jeszcze przed momentem jego wykrycia przez system SAP. Centrala ppoż, połączona jest z systemem automatycznego gaszenia (stałym urządzeniem gaśniczym). W przypadku wykrycia pożaru, przestrzeń zimnych korytarzy zostanie wypełniona środkiem gaśniczym w postaci nieprzewodzącej mgły wodnej wyzwalanej pod bardzo wysokim ciśnieniem poprzez dysze zainstalowane w suficie zabudowy.
Projekt budowy nowej serwerowni został opracowany na początku 2010 roku, jej realizacja rozpoczęła się latem i trwała 90 dni, obejmując wykonanie prac z branż: budowlanej, elektrycznej, sanitarnej, ppoż, teletechnicznej oraz teleinformatycznej.
Ciągłość działania serwerowni, określana przez dostępność lub niezawodność jest jedną z kluczowych cech profesjonalnego centrum danych. Nawet najlepsze zabezpieczenia przed włamaniem, zniszczeniem, zalaniem wodą czy pożarem nie pomogą, jeśli obiekt przestanie działać. Aby uniknąć takich zdarzeń niezbędny jest odpowiedni serwis serwerowni - potwierdzony umową - zapewniający przeglądy okresowe instalacji i urządzeń mające na celu wyeliminowania możliwości wystąpienia awarii. W przypadku kiedy mimo wszystko jednak ona wystąpi, ma zapewnić gwarancję szybkiej naprawy.
Kiedy już przejdziemy długi proces przygotowywania się do wybudowania centrum danych czy tylko serwerowni, zaakceptujemy najlepszą koncepcję, wybierzemy najlepsze zabezpieczenia i wreszcie uruchomimy wszystko i usłyszymy ten szum urządzeń oraz poczujemy chłód powietrza emocje na pewno będą duże i bardzo pozytywne. Ale co dalej? Wszystko działa, jest zabezpieczone na wiele sposobów, więc można by pomyśleć, że już jest całkowicie bezpiecznie teraz wystarczy czerpać korzyści z nowej infrastruktury. Jednak to nie wszystko. Zakończyliśmy jedynie etap realizacji i rozpoczyna się faza utrzymania infrastruktury, która będzie trwała do końca funkcjonowania centrum danych. Duża liczba instalacji i systemów, i wszystko musi działać cały czas. Co będzie, jak nastąpi awaria klimatyzacji i wzrośnie temperatura? Co jeśli padnie system zasilania? Co mam zrobić jeśli np. centrala przeciwpożarowa zgłosi awarię? Jak zabezpieczyć się przed takimi sytuacjami, jak temu przeciwdziałać i jak to naprawiać? Skąd w ogóle wiedzieć czy wszystko działa jak powinno?
Serwis i utrzymanie centrum danych
Etap utrzymania centrum danych trzeba rozpocząć od zapewnienia odpowiedniego serwisu serwerowni gwarantującego bezpieczeństwo jego funkcjonowania, zapobiegającego wystąpieniom awarii, a w razie pojawienia się jej - szybkiej naprawy. Na wszystkie urządzenia i instalacje dostajemy gwarancję producenta lub wykonawcy na pewien okres. Samo utrzymanie tej gwarancji dla części systemów wymaga przeprowadzania okresowych przeglądów konserwacyjnych, co należy zaznaczyć w odpowiedniej umowie przeglądów serwisowych. Jest to zazwyczaj usługa płatna dodatkowo wliczona lub nie w ofertę, na podstawie której wybudowano centrum danych. Ustalenie takich warunków zapewnia naprawę awarii w czasie standardowej procedury gwarancyjnej czyli np. w dwa tygodnie. W zależności od stopnia redundancji instalacji serwerowni, w przypadku krytycznej awarii, kiedy nie działa system klimatyzacji i trzeba poczekać na części z fabryki, taki czas może okazać się zbyt długi.
Odpowiednia umowa
Zabezpieczeniem przed takim scenariuszem jest umowa z firmą świadczącą kompleksowe usługi serwisu serwerowni lub całego centrum danych z odpowiednio dobranymi parametrami SLA (ang. Service Level Agreement) określającymi poziom usług serwisowych. Umowa daje duże poczucie bezpieczeństwa osobie odpowiedzialnej za utrzymanie serwerowni. Dzięki takiej umowie, odpowiednio zdefiniowane usterki będą naprawiana na przykład w kilka godzin, jeśli jest taka konieczność. Jest to możliwe w tak krótkim czasie, ponieważ usługodawca związany umową nie tylko zapewnia sobie odpowiednie części zamienne i elementy, które mogę ulec awarii, ale również zatrudnia pracowników mogących usunąć szybko uszkodzenia. Oczywiście nie są to wszystkie części, ponieważ trudno sobie wyobrazić, aby doszło do zniszczenia na przykład obudowy szafy klimatyzacyjnej. Wszystko jednak jest przemyślane, aby zapewnić gwarancję naprawy w określonym czasie.
Jeśli jest to konieczne należy zabezpieczyć się w możliwość zgłaszania awarii 24/7/365, a najlepiej przekierowywania zgłoszeń krytycznych systemu monitoringu warunków środowiskowych oraz stanu pracy urządzeń i instalacji do obsługi serwisu. Jeśli tego rodzaju system nie był wykonany na etapie realizacji, należy zainstalować go teraz. Bez odpowiednio szybkiego, automatycznego powiadamiania o zdarzeniach może dojść do sytuacji, że minie trochę czasu zanim ktoś się zorientuje, że coś się zepsuło. Alternatywą dla takiego rozwiązania jest zatrudnienie kilku serwisantów (całodobowe czuwanie, zgodnie z prawem pracy wymaga to kilku osób). Zatrudnienie pracowników wiążę się również z potrzebą ich szkolenia. Osoby te muszą również zająć się realizacją umów z podwykonawcami itp. Niestety takie rozwiązanie jest droższe i mniej bezpieczne (jak wyciągnąć konsekwencje od pracownika w przypadku przestoju systemu?). Z tego też względu mało kto decyduje się na taki krok.
Odpowiednio dobrane parametry SLA
SLA jest sprecyzowaniem oczekiwań właściciela centrum danych wobec firmy świadczącej usługę serwisu serwerowni i utrzymania obiektu. Pomaga on zdefiniować relacje pomiędzy usługodawcą a usługobiorcą oraz przedstawia wszelkie ustalenia dotyczące zakresu i sposobu świadczenia usług takich jak min.:
poziom usług (dostępność serwisu, czas zgłoszeń, sposób zgłaszania usterek, scenariusz napraw),
zakres usług (określenie systemów objętych serwisem, poziom ich krytyczności),
jasne zdefiniowanie pojęć (usterka, awaria, awaria krytyczna itp.) dla każdego serwisowanego systemu,
ustalenie czasu reakcji, czasu naprawy lub zastosowania rozwiązania zastępczego,
określenie sposobu realizowania usług.
Dobrze przygotowane SLA powinno precyzować 5 kluczowych aspektów
Co zapewnia dostawca usług.
Jak dostawca w praktyce będzie realizował te usługi.
Kto i jak będzie kontrolował zapewnienie usług.
Co się stanie jeśli dostawca nie wywiąże się z zobowiązań.
Jak warunki SLA będą się zmieniały w czasie.
Jak to nie mamy umowy serwisowej dla naszej serwerowni!? Nie działa cały system! Co ja mam teraz zrobić?✖ Daniel Rehn / Foter / CC BY-NC-SA
Wszystkie warunki SLA powinny być jasne, łatwe do zmierzenia i możliwe do zapewnienia. Dokładne ich sprecyzowanie wymaga czasu i należy go poświęcić tak dużo jak będzie trzeba, aż obie strony umowy nie będą miały żadnych wątpliwości, co do możliwości realizacji zobowiązań oraz ich zasadności. Wszystkie ustalenia muszą dotyczyć istniejącej infrastruktury i nie mogą być dobierane bez jej profesjonalnej analizy np. w oparciu o domysły.
Im bardziej szczegółowe będą zapisy takiej umowy tym łatwiej będzie uniknąć niemiłych sytuacji, które mogą się nieprzewidzianie wydarzyć. Ponadto taka szczegółowość zapisów umownych pozwoli firmie serwisującej na większe skupienie się na tym, na czym naprawdę zależy właścicielowi serwerowni.
Jasne zdefiniowanie czym są usterka, awaria czy awaria krytyczna powinno być przeprowadzone dla każdego systemu z osobna. Należy jednak na tym etapie kierować się rozsądkiem i nie wymagać tego, co jest niepotrzebne. Każde skrócenie czasu naprawy, reakcji itp. pociąga za sobą odpowiednie koszty, które ostatecznie mogą być duże. Przy odpowiednio zaprojektowanej serwerowni, zawierającej wiele elementów nadmiarowych, należy rozważyć jak najdłuższy bezpieczny czas naprawy awarii. Różnica w kosztach naprawy w 3 dni, a w 2 tygodnie jest ogromna i często niepotrzebna.
Tak naprawdę o kosztach serwisu serwerowni i centrum danych oraz ich utrzymania należy myśleć już na etapie koncepcji i projektu. Odpowiednie zwielokrotnienie urządzeń i instalacji daje duże bezpieczeństwo, a prawdopodobieństwo wystąpienia awarii krytycznej maleje. W pewnej perspektywie czasu taniej jest dodać kolejne urządzenia jako nadmiar, niż zapewnienie szybkiego czasu naprawy przez cały ten okres. W procesie ustalania warunków SLA należy brać pod uwagę ewentualny koszt przestoju systemu dla biznesu. W niektórych branżach straty są tak duże, że zrozumiałe jest postawienie bardzo wygórowanych wymagań.
Przy ustalaniu warunków SLA zaleca się podział instalacji na krytyczne i niekrytyczne. Może nie mieć sensu ponoszenie kosztów utrzymania dodatkowej butli z gazem do systemu gaszenia, tak aby w razie akcji gaśniczej i wyzwolenia środka wymiana była możliwa w parę godzin. Na pewno krytyczne jest np. zasilanie i chłodzenie. Awaria krytyczna pierwszego (brak zasilania) wymaga bezwzględnie bardzo szybkiej reakcji (oczywiście awaria po stronie dostawcy energii wymaga po prostu cierpliwości i kontrolowania pracy agregatu prądotwórczego). Awaria krytyczna chłodzenia (stopniowy wzrost temperatury przy niewystarczającej ilości pracujących jednostek) jest również bardzo poważnym zagrożeniem.
Koszt utrzymania serwerowni czy centrum danych dla wysokich wymagań SLA jest bardzo duży. Jednak prosty bilans ewentualnych strat przestoju w stosunku do kosztów takiego serwisu może pokazać, że nie jest on wcale znaczący.
Weryfikacja bezpieczeństwa
Nawet największe kary za niedotrzymanie warunków umowy nie pokryją strat (być może częściowy koszt, ale nie dobre imię firmy). Niedopilnowanie i wynikający z tego przestój systemu może się źle skończyć dla obu stron. Dlatego lepiej, odsunąć nieco na bok prawne aspekty karne wynikające z umowy (również ważne) i upewnić się, że usługodawca jest w stanie się wywiązać z obietnic.
Serwis, np. systemu klimatyzacji czy systemów zasilania gwarantowanego (UPS-ów) szczególnie w okresie trwania gwarancji musi być prowadzony za pośrednictwem autoryzowanego serwisu. Firma świadcząca kompleksowy serwis centrum danych powinna mieć podpisaną umowę z takim serwisem, jeśli sama nie jest autoryzowana. Rozpoczynając współpracę można poprosić o możliwość wglądu do dokumentów lub nawet uzyskać potwierdzenie spełniania zawartych w umowach warunków przez wskazanego podwykonawcę. Zakres i różnorodność instalacji w centrach danych jest tak duży, że jest trudne (ale możliwe) aby jedna firma tylko i wyłącznie swoimi siłami świadczyła pełen zakres usług. Konieczna jest w tym wypadku duża wiedza na temat wszystkich systemów, organizowania serwisów, przeprowadzania przeglądów i zapobiegania awariom, dlatego też jest to najskuteczniejsze zapewnienie bezpieczeństwa funkcjonowania centrum danych.
Serwis serwerowni z odpowiednią umową oraz sprecyzowanymi parametrami SLA jest niemalże koniecznością dla każdego poważnego centrum danych. Ustalanie warunków w niej zapisanych powinno być przeprowadzone rozsądnie i zgodnie z realnymi warunkami. Dla nowo projektowanych obiektów można zwiększyć nadmiarowość i niezawodność instalacji jeszcze przed realizacją tak aby zmniejszyć koszty utrzymania. Dla istniejących systemów należy mądrze przeanalizować sprawę i wykonać wspomniany bilans ewentualnych strat. Po ustaleniu warunków i podpisaniu umowy można już odetchnąć z ulgą i bezpiecznie korzystać z uroków i możliwości jakie zapewniają nam serwerownie i centra danych.
