V čase, kedy píšem tento článok, moji kolegovia pripravujú všetko potrebné fyzické vybavenie pre novú sálu v našom dátovom centre Digitalis. Inštalujú klimatizácie, rack-y, elektrickú sieť a ďalšie potrebné komponenty pre funkčnosť dátového centra. Pre nás, sieťarov, to znamená, že o chvíľu prichádzame na rad s inštaláciou sieťovej infraštruktúry. Túto krátku chvíľu by som rád využil práve na opis toho, ako fyzicky umiestňujeme naše zariadenia, aké sú jednotlivé stratégie a ich výhody a nevýhody.
Ešte predtým, ako sa pustíme do samotných dizajnov fyzického umiestnenia switchov, by bolo dobré poznať, aké sú nároky na pripojenie v jednotlivých rack-och. Rack (alebo aj dátový rozvádzač) je štandardizovaná konštrukcia alebo kryt pre rôzne elektronické zariadenia. V dátových centrách slúži štandardne na umiestenie serverov, storage riešení a, samozrejme, aj sieťových komponentov ako switch, router alebo firewall. Do jedného rack-u môžeme umiestniť približne 20-40 zariadení. Toto číslo závisí od veľkosti rack-u, ale aj od veľkosti samotných zariadení. Konkrétne sa nám jedná o výšku zariadenia, ktorá je udávaná v hodnotách “Rack Unit“ (jednotka RU, alebo U). Výška rackmount zariadenia sa teda udáva v počte tzv. “ú-čiek“, čiže 1U, 2U, 4U a pod., pričom hodnota 1U je 4.445 cm (1 3⁄4 palca).
Každé zariadenie, ktoré je v rack-u umiestnené, je pripojené minimálne dvomi dátovými portami. Každý port ide do samostatného prístupového switcha. Samozrejmosťou sú dnes porty s rýchlosťami 1Gbps/10Gbps či už na optike alebo metalike. Pre lepšie pochopenie, prečo používame samostatné switche pre každý port a aké máme možnosti pripojenia, odporúčam tento článok.
Aby sme ale mali predstavu o požiadavkách na sieťové pripojenie v jednom rack-u, tak sú nasledovné:
- 2x prístupový switch
- cca 80 prepojov (jeden server môže mať aj viac ako 2 porty)
END OF ROW
Prvým dizajnom fyzického umiestnenia switchov v datacentrách je End of Row (EoR), alebo v preklade “na konci riadku“. Jedná sa o prípad, kedy máme celý riadok rack-ov, v ktorých sú umiestnené iba klientské zariadenia (pre jednoduchosť budem ďalej hovoriť iba o serveroch). Na konci takéhoto riadku je rack, ktorý obsahuje prístupové switche. V praxi to znamená nutnosť vybudovať kabeláž medzi rack-mi pre každý server samostatne. Servery sú lokálne v rack-u pripojené pomocou prepojovacích káblov do tzv. patch panelov (alebo prepojovacích panelov ak chete). Z patch panelu je ďalej ťahaná fixná kabeláž až do rack-u na konci riadku, kde sú switche. Na obrázku nižšie prikladám diagram, z ktorého je to asi najjednoduchšie pochopiteľné.
Výhoda takéhoto riešenia spočíva hlavne v tom, že máme menej zariadení. Z toho vyplýva, že je jednoduchší upgrade technológie (povedzme výmena switchov za iné) a zároveň je toto riešenie jednoduchšie na správu. Čím menej zariadení, tým jednoduchšia administratíva. Hlavnou nevýhodou tohto riešenia je množstvo prepojov, ktoré musia byť ťahané mimo jednotlivých klientských rack-ov. V tomto prípade máme viac káblov, ktoré sú podstatne dlhšie, ako pri použití nasledujúceho dizajnu.
TOP OF RACK
Druhým overeným dizajnom je tzv. Top of Rack (ToR), alebo v slovenčine “na vrchu rack-u“. Tentokrát sa prístupové switche nachádzaujú v každom rack-u. Uplink porty serverov, sú teda iba lokálne pre každý rack a nie je nutné ťahať káble ďalej do iných rack-ov. Z rack-u sú následne ťahané iba prepoje potrebné na pripojenie prístupových switchov do distribučnej časti siete. Takto značne znížime počet prepojov mimo jeden rack.
Hlavnou nevýhodou tohto riešenia je počet použitých switchov, ktorý je oveľa väčší ako pri EoR dizajne. Znamená to, že toto riešenie je výrazne drahšie a taktiež náročnejšie na administratívu a prípadný upgrade.
Naopak, výhoda tohto riešenia spočíva práve v značnej redukcii použitých prepojov mimo rack. Napriek tomu, že je toto riešenie náročnejšie na administratávu, ponúka podľa mňa ďalšiu obrovskú výhodu, a tou je prehľadnosť. V porovnaní s EoR máme naozaj krátke prepoje, štandardne sú pri prepojoch mimo rack použité rôzne pasívne patch-panely a pod. Toto výrazne ovplyvňuje dĺžku odstránenia poruchy, pretože technik musí fyzicky dohľadávať daný prepoj, čo trvá nejaký čas.
TOP OF RACK VS. END OF RACK
Pre úplnosť uvediem porovnanie týchto dvoch dizajnov v prehľadnejšej tabuľke:
| Top of Rack | End of Row |
| Náročnejšia administrácia | Jednoduchšia administrácia |
| Jednoduchšia kabeláž | Náročné na kabeláž |
| Lepšia prehľadnosť | Náročné na troubleshooting |
| Drahšie riešenie | Lacnejšie riešenie |
Aby sme si vedeli predstaviť o koľko cca vieme zredukovať kabeláž medzi rackmi, stačí sa pozrieť na nasledujúci obrázok. Treba ale povedať, že sám obrázok je len zjednodušením a ilustráciou reálneho stavu v datacentrách.
MIDDLE OF ROW
Ako už názov napovedá, dizajn Middle of Row (MoR) pozostáva z umiestnenia prístupových switchov v strede riadku rack-ov. Znova teda máme rack, kde sú umiestnené prístupové switche a z nich ide kabeláž do ostatných rack-ov obsahujúcich klientské servery. Ak ste doteraz pozorne čítali, určite vám neuniklo, že sa tento dizajn nápadne podobá na End of Row riešenie. Áno, skutočne sa v tomto prípade jedná o variant EoR dizajnu s tým rozdielom, že rack-y s prístupovými switchmi nie sú na konci riadku, ale v jeho strede. Toto riešenie sme sa rozhodli použiť aj my v datacentrách spoločnosti VNET z dvoch hlavných dôvodov, ktoré sú vysvetlené pod obrázkom.
Po prvé, MoR šetrí kabeláž v porovnaní s EoR. Je to veľmi jednoduché, umiestnením switchov do stredu riadku skrátime kabeláž presne o polovicu. Povedal by som, že je to jednoduchý a šikovný trik.
Druhým dôvodom sú kolokačné požiadavky našich klientov. Na začiatku článku píšem o tom, že v jednom rack-u môže byť až 40 zariadení, ktoré potrebujú pripojenie do siete. Toto je väčšinou prípad veľkých poskytovateľov cloudových služieb, tzv. content providerov a podobne. Spoločnosti ako Google, Amazon či Facebook majú často unifikované riešenia v rack-och. V jednom rack-u môže byť naozaj 40 rovnakých serverov a každý má pripojenie do switcha, pretože potrebujú byť v jednej LAN sieti. V tomto prípade je teda pravdepodobne lepšie použiť dizajn ToR.
Naši klienti však často vyžadujú menší počet pripojení do jedného rack-u. Prevládajú riešenia, kedy sú klientské zariadenia zapojené iba v lokálnej sieti klienta, a táto je následne pripojená do internetu pomocou firewall stacku, prípadne routra či switcha. Skrátka, klient môže mať 10-20 zariadení zapojených do svojich vlastných switchov lokálne v rack-u, ale do našej siete požaduje 2 či 4 prepoje. Vznikajú nám teda rádovo nižšie nároky na počet pripojených zariadení do našich switchov. V tomto prípade nie je optimálne mať prístupový switch v každom rack-u. Z tohto dôvodu sme sa rozhodli práve pre MoR dizajn.
Z iného uhla pohľadu sú naše prístupové switche pôdorysne umiestnené ako „Middle of Row“, avšak topologicky (vzhľadom na počet kabeláže ku klientom) slúžia ako „Top of Rack“ switche. Distribučná časť siete by pri veľkých cloudových riešeniach bola umiestnená ako „End of Row“. Pre naše kolokačné účely je však vhodnejšie umiestnenie na konci sály, alebo „End of Room“. Takto prispôsobené umiestnenie prístupových a distribučných switchov reflektuje požiadavky našich klientov a zároveň dáva výborný priestor pre nasadenie technológie Cisco FEX, ktorú opisujem nižšie.
CISCO FABRIC EXTENDER
Cisco Fabric Extender (FEX) architektúra je kombináciou spomínaných prístupov „Top of Rack“ a „End of Row“. Jedná sa o špeciálnu technológiu implementovanú na zariadeniach Cisco Nexus. Rozlišujeme v nej dva druhy switchov:
- Parent switch – umiestnenie: EoR, zariadenia rady: Nexus 5000, 7000 a 9000
- FEX modul – umiestnenie: ToR, zaradenia rady: Nexus 2000
Parent switch slúži ako EoR switch a zároveň riadi všetku komunikáciu. Z tohto zariadenia je vykonávaná konfigurácia všetkých pripojených FEX modulov.
FEX modul slúži ako prístupový switch ToR (v našom prípade MoR). Znamená to, že do tohto switcha sú pripojené klientské servery. Sám o sebe ale nedokáže fungovať nijako. Všetka konfigurácia je uložená na parent switchi, čiže na správne fungovanie je nutné FEX modul “spárovať“ s parent switchom.
To, že jedno zariadenie označujem ako switch a druhé ako modul nie je náhoda. FEX modul sa naozaj tvári ako zásuvný modul v parent switchi. Rozdiel oproti klasickému modulárnemu šasi je, že tieto majú zásuvný modul v podobe karty, ktorú môžem zasunúť do vopred určeného slotu. FEX modul je však samostatný switch modul a môžem ho umiestniť do ktoréhokoľvek rack-u mimo parent switcha. Vyzerá to napríklad takto:
Nevýhodou tohto riešenia je jednoznačne cena a počet zariadení. Taktiež celá komunikácia tečie cez parent switch, čo ale nepredstavuje žiadny problém, pretože traffic-flow v datacentrách je prevažne v smere nort-south (väčšinou “to tečie“ mimo datancentra a nie lokálne medzi servermi).
Výhody tohto riešenia sú oproti ToR a EoR architektúram značné, keďže spája ich dobré vlastnosti. Za prvé je to redukcia prepojov medzi rack-mi. Ďalej je to jednoduchá administrácia. Kompletná konfigurácia je vykonávaná iba na parent switchi. To zahŕňa aj ďalšiu výhodu – chybný FEX modul vieme vymeniť omnoho rýchlejšie, keďže ho nemusíme nijako konfigurovať, čiže je to plug&play záležitosť. Jednoduchšia administrácia prináša taktiež jednoduchší troubleshooting. FEX moduly nemusia byť klasické switch moduly, ale napríklad zásuvné moduly do tzv. “Blade chassis“, prípadne môžu byť virtualizované pre cloud networking.
V novej sále v DC Digitalis bude nasadená Cisco FEX architektúra rovnako, ako aj v každej inej sále všetkých datacentier spoločnosti VNET. Napriek cene sme sa rozhodli použiť túto technológiu, pretože uľahčuje život nám, technikom. S kolegami taktiež veríme, že našim zákazníkom prináša kvalitnejšie služby, čím spájame príjemné s užitočným.