A to co se povedlo a nepovedlo. To, co se povedlo, je jasné, postavili jsme to, ale to, co se nepovedlo, jsou věci, které nás potkali cestou. Jsou to věci, které se mohou stát i vám, na vašich projektech. Takže jsme se chtěli podělit, abychom si řekli, co se nám stalo, na co si dát pozor, abyste se toho vyvarovali, abyste neskončili ve stejné pasti a nemuseli řešit podobné problémy. A když nic jiného, tak vždycky cizí neštěstí potěší, takže předpokládám, že to aspoň bude zábava pro ty škodolibé.

Abychom vysvětlili, o čem projekt byl a některé problémy, které nás potom potkali, tak je třeba něco říct ne o společnosti, ale o tom, proč jsme to vlastně dělali a co ten projekt znamenal.

Společnost The Cloud Provider poskytuje služby výpočetního výkonu. Máme nějakou historii, ale jako firma jsme na trhu od roku 2020. Naše služby jsme zákazníkům poskytovali na pronajaté infrastruktuře a pronajatém řešení. Protože jsme se v průběhu času dostali do fáze, kdy jsme si spočítali, že pro nás bude výhodnější si tu infrastrukturu postavit a provozovat sami, tak jsme právě začali dávat dohromady tenhle projekt, jehož cílem bylo postavit cloudovou infrastrukturu pro poskytování virtuálního výpočetního výkonu an vlastním hardwaru.

Původně jsme počítali s tím, že tímto projektem rozšíříme zdroje, které jsme měli k dispozici, pronajaté, od našeho poskytovatele, a jen přidáme přidanou hodnotu v podobě novějších technologií, vyšší kapacity a větších rychlostí, atd. A bylo to pro nás i výhodnější řešení, než kdyby to pro nás připravoval tehdejší poskytovatel.

To byl tedy důvod, proč jsme to začali dělat. Projekt se začal vymýšlet koncem roku 2021, krásně jsme si to naplánovali, jako vždy to na papíru vycházelo. Chtěli jsme tedy začít v roce 2022 a v listopadu 2022 to mít hotové. Nepovedlo se to.

Z plánovaných jedenácti měsíců projektu – měli jsme už s takovým typem projektu zkušenosti, věděli jsme, co nás čeká – takže těch jedenáct měsíců mělo být v pohodě s rezervou, ale nepovedlo se to. Celkově ten projekt ve finále trval 16 měsíců. A dokončili jsme ho v podstatě v březnu 2023.

Některé ty problémy, které vznikly, se daly předvídat, většina z nich ne. Ty, co se daly předvídat a které nás trochu překvapily, jeden z největších byla nedostupnost hardwaru. Všichni víme, jak to v roce 2022 bylo, nebyly procesory, disky, paměti. Nicméně jsme věděli, že vstupujeme do projektu na pořízení hardwarové infrastruktury v době, která na to není úplně vhodná. Na druhou stranu jsme tu infrastrukturu stavěli s tím, co je dostupné a nechávali jsme si velkou volnost v tom, jakou technologii na to použijeme.

Naše společnost se snaží vyhýbat jakémukoli vendor lock-inu, ať už co se týče hardwarové nebo softwarové infrastruktury, takže jsme si udělali hezké výběrové řízení, poptali jsme všechny možné dodavatele a výrobce a nechali jsme v podstatě na nich, aby nám nabídli něco, co jsou schopni dodat a co se dát v nějakém rozumném termínu na tomm trhu sehnat. 

Kde to trošku neplatilo, není to, že bychom nemohli koupit nic jiného, ale naši technici, obzvláště ti síťoví, jsou zamilovaní do určité technologie, takže ji preferují, a z principu není důvod se jí zbavovat, takže v síťařině jsme to měli trochu složitější, protože tam jsme chtěli ne konkrétní prvky, byla tam samozřejmě nějaká volnost, ale chtěli jsme konkrétního vendora, kterého jsme zvyklí používat. Tam nás to přesně samozřejmě vypeklo – několikrát – ale řekneme, že na začátku, když jsme řešili ty termíny, tak poté, co jsme vybrali, jaké prvky to budou, tak nám dodavatel oznámil, že čekací doba je pouhých 340 dnů.

I tohle jsme přežili i na tohle se našlo řešení. Co je celkově takovou společnou nití těch našich problémů a jejich řešení je, že jsme si naštěstí vybrali dobré partnery, ať už dodavatele nebo zastoupení výrobců, že nám byli schopní v těch našich problémech pomoct a nějakým způsobem najít řešení, které ten projekt posunulo dál.

Když budeme konkrétní, než se budeme bavit konkrétně o těch technických problémech, tak bych rád zmínil ještě takové ty projektové problémy, zásadnější, protože ty pak měly dopad na to celkové řešení.

Když jsme tu infrastrukturu stavěli, připravovali to technické řešení infrastruktury, tak jsme vycházeli z nějakých našich zkušeností z předchozího provoz a samozřejmě jsme do toho promítly moderní technologie a trendy. Celkově jsme ale počítali s tím, že rozšiřujeme kapacitu stávajícího řešení, které máme, a přidáváme si tam v podstatě naše vlastní zdroje.

První velká změna byla v tom, že v průběhu realizace projektu došlo vedení k názoru, že by bylo lepší, kdyby se ten hardwarový stack nestavil jako součást stávajícího řešení, ale postavil by se jako samostatné řešení bez vazby na ten původní cloud. Pak bychom byli schopní nabídnout redundantní řešení v rámci zálohování, rozložení zátěže atd. Samozřejmě s tím přišli obchodníci, techniky by tohle nenapadlo. A vlastně to nápad špatný nebyl.

Pro nás to sice znamenalo předělání hardwarového stacku, především co se týče síťařiny. Síťaři si tam přidali spoustu nových hraček, přepočítalo se to, termíny dodání se nezkrátily, akorát jsme to museli hledat ještě i v jiných zemích už i mimo Evropu, ale bylo to řešitelné a akceptovatelné jak ze strany technické, tak ze ze strany managementu a obchodu.

Horší bylo, že čím se ten projekt posouval dál, tak tím se méně a méně dařila komunikace se stávajícím poskytovatelem těch našich služeb a úplně se mu nelíbilo, že si to děláme a ve výsledku byl konec takový, že vedení rozhodlo, že to nebudeme dělat ve stávající lokalitě a že to uděláme úplně sami a na úplně jiném místě. Na kterém? Vyberte si byla odpověď. Dejte si to kam chcete, hlavně, ať už to je. Jen pro představu, tohle rozhodnutí přišlo v říjnu, tedy měsíc před tím, než měl být původní termín spuštění. 

Hardware jsme měli po kupě přes výběrová řízení a přes nějaké problémy s dodávkami, které třeba u serverů nebyly až tak výrazné. Posunuli jsme se asi o nějakých 14 dní, u té síťové infrastruktury to bylo složitější. Ale našly se způsoby a řešení, jak to udělat, jak to postavit a mít ta zařízení k dispozici. A v podstatě, když jsme v polovině října měli všechen hardware pohromadě a začali jsme plánovat, jak se do toho kolegové o poledních dovolených pustí, tak přišlo rozhodnutí, ano, pusťte se do toho, ale ne v této lokalitě, najděte si jinou.

Takže se hledalo jiné datové centrum – asi si dokážete představit, co to všechno znamená. Měli jsme 70 uček, která jsme potřebovali sehnat v nějakém datovém centru, sehnat si na to energii, konektivitu, veřejné IP adresy, které jsme neměli a které nejsou, vyřešit si LIR. A tohle vše udělat tak rychle, aby ti klucí mohli někde začít montorvat a dávat dohromady ten hardware.

Tohle jsou ty největší problémy a starosti, které se týkaly mě – projektového manažera – které jsem měl na starosti já, abych zajistil podmínky k realizaci. Tohle byl tedy takový první balíček toho, co se nakonec povedlo, ale spíše těch komplikací, které v tom projektu přišly.

Že tam komplikace budou, to jsem věděl už na začátku, žádný projekt nikdy nejde podle naplánovaného harmonogramu, pokud jedete podle harmonogramu aspoň měsíc, tak je to zázrak. Obzvláště takhle dlouhý. S tím jsem tedy počítal. S tím, že se mi změní zadávací podmínky – dvakrát a ještě tímto způsobem, že se to celé bude muset přestavit – to jsem úplně neplánoval. Ale vyřešilo se to.

Podobný problém ovšem nastal v té technické části. Bohužel, bohudík, s technikama je to vždycky tak, že když jim dáte moc času nad věcí přemýšlet, oni vymyslí něco nového, lepšího, rychlejšího, atd. (Moderní technologie přece fungují líp). A jedenáct měsíců je na to hrozně dlouhá doba.

Takže v době, kdy jsme stanovili budget, vybrali dodavatele hardwaru, vybrali si infrastrukturu a čekali se, než přijde, tak se technici usnesli nad tím, že by možná nebylo špatné upravit hardwarovou infrastrukturu pro storage řešení.

Storage řešení jsme měli postavené na softwarově definovaných storagích technologie CEPH a původní myšlenka byla takové, že servery budou obsahovat disky prvního tieru, druhá skupina disky druhého tieru, každá bude mít samostatný CEPH, který bude připojený jednou redundantní 100 Gbps linkou. Dostatečné řešení.

Bohužel, než se to všechno dodalo a zrealizovalo, tak se přišlo s tím, že by bylo možná lepší, kdyby tam ty linky byly dvě v redundanci, takže 200 Gbps. Jako projekťák na to nemáte argument. Bude to rychlejší, bezpečnější, stabilnější a stojí to málo. Dobře. To byl ten menší problém.

Větší problém byl, že jsme je nechali opravdu moc dlouho nad tím přemýšlet, a v tu chvíli je napadlo, že by se vlastně to tierování diskových polí dalo řešit ne samostatnýma serverama pro každou kategorii, ale v rámci jednoho serveru rozdělit ty tiery, roztáhnout ten CEPH přes všechny servery. Zvýšily by se propustnosti, snížily by se latence. A při té příležitosti by se jim tam vešla nová hračka, se kterou do téhle doby neměli možnost si hrát, a to znamená NVMe pole směrem k zákazníkovi.

NVMe disky v našem řešení sice plánované byly, ale jako cache a vyrovnávací pole. A při té příležitosti přišli s tím, že se kdyby se to takhle přestavělo, tak by se ta infrastruktura právě dala povýšit o to, že bychom měli třetí tier – takže klasické HDD, SSD, ale přidat směrem k zákazníkům i superrychlé NVMe pole.

Co na to říct. Já jsem (neměl nic proti)… Ve chvíli, kdy někdo jiný rozhodl, že na to ten budget uvolní, neměl jsem co mít proti. Ono na tom vlastně nic není. To, že vám to kazí harmonogram, předělává hardware, musíte za dodavatelem sehnat další věcičky a komponentíčky a nejlépe ho dotlačit k tommu, aby to dodal ve stejném termíny jako ten zbytek, aby se to tam neválelo. To je technikům fuk, to je starost projekťáka. Prostě bude to lepší, větší, rychlejší, pro jistotu se v tomhle spikli ještě s obchoďákama, protože budeme mít něco, co jiní nemají, takže můžeme prodávat něco, co ostatní nemají nebo to mají hodně drahé. Takže jsem sklapl paty a šel jsem shánět.

To, že se to mění, to pro projekťáka problém je,  technicky to až takový problém není. Ten problém těch techniků je v tom, že tyhle změny se neřeší obvykle úplně do detailu s dopadem na veškerý hardware. Ve chvíli, kdy přišlo nové technické řešení a všechny servery byly osazené řadičem pro běžné disky a operační systém, speciálními řadiči pro NVMe, osazené HDD, SSD a NVMe, nacpané všechny PCI sloty, tak původně plánované Intely 4314 jaksi nezvládaly provoz na těch discích, nedokázaly to upočítat.

Dvou socketové řešení – nevím, do jaké míry tohle řešení znáte – jsou to Silver 4314 16-core s HT, 2,4 GHz a 64 linkami PCI express. V dual socketu krát dva. 120 linek. A ta změna, proč to zmiňuju ty řadiče, z původního řešení, kdy se PCI linkami nikdo moc nezabýval, tohle skvělé, úžasné a rychlé osazení způsobilo to, že tam byly dvě 100 Gbps síťovky, každá potřebovala PCI express 16, normální řadič, tomu stačila osmička, a dva speciální NVMe řadiče o dvou a čtyřech portech, takže dohromady 3, které potřebovaly šestnáctky. Takže celkově najednou ten konečný box potřeboval 80 PCI expressových linek. 64 – dvou socket – 128, po pořád vychází. Bohužel, ačkoli jsem příznivcem Intelu, mám ho rád, podle mě AMD nepatří úplně do serverového světa, i když na mě někdo bude plivat, prostě to tak mám zažité, ty Intely ve dvou socketu nezvládaly. Přišlo se na to při zahořování serverů při základních testech, ještě před instalací vlastní platformy, a teď co s tím?

V tomhle nám pomohli hodně dodavatelé a partneři, protože ve finále jsme vlastně ve spolupráci s nimi rychle přišli k variantě přeházet všechno, přestavět, zatížit a dospěli jsme k technickému řešení, kdy se dvou socket Intel vyměnil za jedno socket AMD. Epyc 7543 nám jako jedno socket zajišťoval stejný počet corů – je tam jen vyšší frekvence 2,8 GHz – a stejný počet PCI express linek, ale v jedno CPU řešení. Tohle při testech už nevykazovalo žádné problémy na PCI expressových linkách.

Takže se bavíme o tom, že u všech storagových serverů v tu chvíli musíme vyměnit CPU, desku, case a bohužel i vyměnit paměti, protože z dvou socketu jsme šli na jedno socket, takže z původní konfigurace 32 tek jsme museli jít na 64ky. Úplně nové servery.

K tomuhle bych měla netechnickou otázku a otázku, kterou technici nemají rádi – kolik to stálo?

Ptáš se na čas, nervy, vlasy, spánek, atd. Co se týče financí, vybrali jsme si na to skvělého partnera, a v důsledku konečně tato přestavba zůstala ve stejném budgetu, jako byl ten původní. Přiznám se, že do jisté míry nevím, jak to udělali, ale až na drobnou změnu v řádu jednotek tisíc jsme ty servery dostali za původní peníze.

Prozradíš nám, kdo je tento zázračný partner?

Dobře, my jsme to nechtěli dělat marketingové, ale samozřejmě to všude uvádíme. V rámci výběrového řízení, kdy jsme poptávali všechny možné technologie, jsme si nakonec z nabídek vybrali serverovou technologii značky Supermicro a tím dodavatelem pro nás byl Abacus. Tam nám klucí vyšli hodně vstříc, ať už technici, kteří nám v tu chvíli pomohli tím, že testovali různé hardwarové konfigurace v rámci komponent, které byly v tu dobu dostupné. Tam byl největší problém v tom, že se dalo vymyslet jiné řešení, ale komponenty musely být dostupné, abychom nečekali další 4 měsíce.

Ty klucí tedy vyzkoušeli různé konfigurace a přišli na tu, na které to bude fungovat. Zadruhé to postavili na komponentech, které byli schopni v tu dobu sehnat. Ta cena už je samozřejmě potom ne o technicích, aleo přístupu managementu společnosti. Ten nám také vyšel vstříc.

Je pravda, že s nimi spolupracujeme, co se týče hardwaru, dlouhodobě, takže ty zkušenosti s nimi dobré máme, nicméně tohle byl projekt, o který bojovali i ostatní vendoři, kterým se nebráníme, ale myslím si, že je to další plus, které nám vždy říká, že projekt není jen o penězích ale také o tom, co je vám ten partner schopný nabídnout, mimo to, že vám nabídne jen hezkou cenu. Tím neříkám, že ta cena od nich nebyla nejlepší. Kdyby nebyla, tak to přes management stejně neprojde. I v tomhle směru byli dobrý. Ale ta přidaná hodnota je nejenom v tom, že nám nabídnout dobrou cenu, což ti velcí vendoři umí udělat, ale ten přístup a spolupráce, když se něco děje, to byla zkušenost, kterou jsme měli prvně a myslím, že ta spolupráce zafungovala úplně výtečně. Můžeme tímto tedy poděkovat i Abacusu, že jsme to vůbec dali dohromady.

Další kapitola už je mnohem víc technická a už míň dopadala na moji hlavu, i když to taky není úplně pravda, protože všechno nakonec dopadalo na moji hlavu. Ale nemusel jsem se v tom tolik angažovat.

Ten problém nastal na síťové vrstvě, a proto tu mám síťaře, aby řekl, co se mu nelíbilo. to samozřejmě padlo na moji hlavu, ale dostali, co chtěli. Tak, co jste dostali a co jste vlastně nechtěli.

Dostali jsme moderní technologie. Jak jinak v novém projektu. A koupili jsme si pěkné optické rozplety. Samozřejmě všichni známo optiku, na jedné straně jeden kabel, na druhé straně druhý kabel. Natáhnu to z jednoho portu do druhého a všechno funguje v pořádku. Potomm, co kolegové namontovali všechny servery do racků, tak jsme tam s kolegou Honzou přijeli k serverům a začali jsme pěkně zapojovat rozplety. V kanceláři samozřejmě jsme se na ně nepodívali, vždyť je to sedmimetrový rozplet, zapojím a mám rozplet, dává to smysl. Tak jsme přijeli do datového centra, zapojili jsme optický rozplet a začali jsme zapojovat. A to nepěkné nás čekalo až teď, když jsme zjistili, že až ten poslední konec, těch 50 nebo 30 centimetrů, je rozpletených. A je problém, když potřebujete mít dva porty zapojené v jednom racku a dva porty ve druhém racku. Těch 50 cm jaksi nestačí.

Takže jsme museli honem improvizovat, protože jsme dostali, co jsme chtěli, to nejnovější a nejmodernější, takže jsme to tam měli a aniž bychom, přiznali, že je tam chyba, jsme to museli zapojit. Kabely byly drahé, na zakázku vyrobené v Německu, na rychlo dodávané, protože nebyly dostupné. Nemusím komentovat další projektové věci. Dostali, co chtěli, já jim to sehnal.

Takže jsme začali všechno zapojovat. Máme ten optický rozplet a kolega mi říká, abych jel podle dokumentace a on to bude zapojovat. Do všech šachet jsme nacvakali moduly, máme vše naflashovaný, firmwarem, který potřebujeme, udělali jsme cvak cvak, všechny servery jsme kompletně projeli, a s kolegou, s kterým jsme osazovali optické moduly do optických šachet, tak jsme jeli odshora dolů. Jenže máme dva casy.

Máme Intel case, kde máme síťovky – teď už to víme – vedle sebe a jsou i osazené moduly, takže na obrázku vidíte, že jsou vzhůru nohama. Bohužel když jsme osazovali moduly, tak jsme si téhle zvláštnosti nevšimli, takže jsme všechny osadili.

Nedali je obráceně, dali je správně. Ano, takto tam mají být, zkoušeli jsme je obráceně, a to nešlo. Ale vůbec nám to nepřišlo divné, cvak cvak, otočit, cvak cvak. Pak jsme přešli k AMD a tam byli síťové karty nad sebou. Tam jsou moduly úplně stejně v každé kartě. Taky nám to nepřišlo divný, prostě jsme to od shora dolů nacvakali.

Pak začala asi 6 nebo 8 hodinová práce s optickými rozplety, kdy jsme museli vymyslet, jak se stejným počtem optických rozpletů zapjit kommpletně dva racky v redundanci, abychom pak v produkci nemuseli nic přepojovat.

Redundance totiž byla jak na switchích, tak na síťovkách, a každá síťovka měla ještě dvě funkce, takže to bylo třeba rozhodit, aby když vám umře jedna strana, tak to stále bude funkční. Když vám umře síťovka, bude to funkční, přestane fungovat kabel, není problém. Všechno na obě dvě strany máme zapojené v pořádku.

Takže jsme si vše pěkně zapojili po 8 hodinách tvrdé práce, kde bylo tak 4é stupňů v teplé uličce, a odjeli jsme do kanceláře. Druhý den jsme začali zjišťovat, co a jak, předali jsme servery na instalaci platformy a říkáme si, že je všechno v pořádku, všechny namontovaný a nainstalovaný.

Po instalaci platformy, když se házela do testovací fáze, tak jsme chtěli zkoušet redundance. Když jsme k tomu dospěli, tak jsme začali zjišťovat, že LACPI, neboli bondy na síťovkách, když jsme je nakonfigurovali, tak se nám nechtějí složit. Začali jsme tedy zjišťovat proč, protože všechno bylo správně osazené – síťová infrastruktura až síťovky, moduly a porty. Začali jsme přicházet na to, proč se nám to stalo, a to jen na něčem. Spletli jsme se pouze někde a to umístění bylo nahodilé.

Šli jsme od A do Z, první jsme vzali Intel servery a dívali jsme se, co je tam kde špatně. Začali jsme si to i kreslit na tabuli – porty 1 0 1 0 – všechno v pořádku zleva do prava dává smysl. Pak jsme si podle fotek všimli, že máme moduly vzhůru nohama a že podle fotek jsou i ty síťové karty vzhůru nohama, takže 0 je 1 a 1 je 0. Udělali jsme na fyzické části kříž, kvůli čemu se nám LACPI nechtěly složit, protože tam neseděly ID. To jsme bohužel nevěděli.

Takže byl kolega vyslán do Prahy, aby to přepojil, abychom tam nemuseli jet zbytečně. Všechny průsery výdycky musí vyřešit projekťák, takže i přecvakat kabely jsem jel já.

Máte po 3 pracovních dnech pěkně nakreslený obrázek, jak je co zapojené, a máte udělané šipky a přesný postup, když tam přijdete, co se musí udělat. Tenhle postup jsme samozřejmě předali – já ho dodržel – přijel do datového centra a volal nám, že jde přepojit první server a jde udělat přesně to, co jsme mu řekli.

Já se dívám do switche a on začal cvakat ve dvou krocích. Přecvakal to a začali jsme zjišťovat, že dva kroky nestačí, protože se na té fyzické části prohazovaly kabely úplně jinak. Takže když jsme je tam s kolegou cvakali, tak jsme to neměli dělat svisle, ale různé prohazovat. Práce s optickými rozplety byla opravdu skvělá věc.

Udělejte si dopředu radši přípravu a vyzkoušejte si to železo, když vám leží v kanclu, a vyzkoušejte si minimálně, že to bude fungovat tak, jak si myslíte, že to bude fungovat. Nebude to ze začátku fungovat tak, jak si myslíte.

Každá nová technologie s sebou nese i určitá rizika a my jsme se pěkně spálili, ať už s rozplety nebo HW jako takovým, nevšimli jsme si, že síťovky jsou jinak. Naše chyba.

Když už jsme všechno změnili na těch switchích, tak se přišlo na to, že ty otočené síťovky jsou jenom na těch Intelech, ne na těch AMD. Takže se tam nejelo dvakrát, to přepíchnout, ale třikrát. Protože když se to všechno rozmalovalo a předělo, tak opět fungovala jenom půlka.

A teď když někdo potřebuje testovat tu platformu a vy chcete dělat testy a nemůžete to prostě jen všechno přepojit, protože to všechno umře a celá platforma se v tu chvíli může dělat znovu. Takže jsme museli hodně opatrně, abychom  i tu testovací část udrželi při životě.

Takže jsme tak byli trošku jako dráteníci, trošku ty kabely teď vypadají jako zapletené copánky místo hezkého vyvázání, ale funguje to. Pak už jsme tam byli jako doma, na recepci se na nás usmívali.

Do chatu nám přišel dotaz – byly následně nějaké problémy s migrací?

My jsme si rozdělili povídání o tomhle projektu a o věcech, které se nám po…kazily nebo nám ten projekt ztížily nebo zkomplikovaly, tak jsme to rozdělili na dva funkční celky – spíše ty hardwarové a projektové a pak ty deep side věci, co se týče konfigurací, komunikací, nastavení, protože to byl celý druhý balík problémů, které bylo třeba řešit.

Dneska jsme se věnovali více té fyzické části, a příště bychom se podívali na ty softwarové a konfigurační věci, a tam s tím ta migrace částečně souvisí. Samozřejmě jsme problémy neměli žádné, všechno bylo zalité sluncem, všechno proběhlo tak, jak jsme si to naplánovali, vůbec nic se nestalo, žádná data se neztratila, všechno bylo skvělé. A jak jsme to dokázali, to si řekneme příště.

Na vaši obranu, aby to nevyznělo, že to všechno šlo do kytek, tak musím říct, že i ten plán a ta očekávání, která jste měli, se ve spoustě ohledů naplnily tak, že byste to ani nečekali.

Ta migrace ve finále byla mnohem víc hektická právě kvůli tomu, že se posunul ten čas, takže plánovaný čas na migraci se musel zkrátit. Tlačilo se na to, aby se to udělalo co nejdřív. Byli jsme tlačeni časem vzhledem ke vztahům s původním poskytovatelem, takže v finále se migrace udělala bez problémů, žádný zákazník si nestěžoval, všude to prošlo, žádná data se skutečně neztratila, a stihlo se to za míň, jak poloviční čas, než to bylo v plánu. To už byla taková třešnička na dortu pro mě, jako pro projekťáka, pro síťaře to byl poslední kámen náhrobní a pak museli dostat volno a pár týdnů je nevidět. Nesměl jsem se jim ani ukazovat, protože nebyli schopný mě po ránu pomalu ani pozdravit. Tohle se ale zvládlo.

Detaily ale budou ještě víc vycházet z toho, co jsme řešili v té softwarové a konfigurační části, ta síť se totiž musela dost přenastavovat a dělat tam, řekněme, určité harakiri, aby se ty migrace daly udělat.

Je to za náma, je to hotové, a příští projekt bude bez problémů. 4as krát dva. Myslím, že ono se to vždycky po… S tím člověk musí počítat, ale to důležité je, že všechno je nějakým způsobem řešitelné a když jsou dobří lidé a je vůle, tak to ve finále nemusí stát tolik peněz navíc, tyhle průšvihy.