aktualizace je v řádu minut, což v IT je věčnost, stejná stránka je pro všechny shodná, tohle není žádná komplikace. Buď si napíšu cache sám nebo použiji cachující reverzní proxy s invalidací z backendu, používáme k těmhle účelům varnish.
Existuje řada optimalizačních technik, např. data vykresluji až v prohlížeči a z backendu jde statická stránka s js a data v jsonu. Backend renderuje každou stránku pouze jednou a vracím ji tisícům klientů, nedává smysl pro všechny požadavky renderovat to stejné znovu a znovu atd.
tvrdá data o útoku se nezveřejňují zpravidla nikdy, ať už kvůli oběmu, tak třeba kvůli tomu, že je nedokážu anonymizovat a odfiltrovat data běžných návštěv, anonymizovaná data zase nemají moc velký význam na zveřejnění... a pak by stejně fd o nich nejspíš tvrdil, že si je někdo vygeneroval a že nic nedokazují.
Útočníkům to je vesměs jedno, nejsou to chytří lidé a tyhle služby si najali, dnes zpravidla neútočí nikdo z oboru, ale třetí osoba, je to příliš rizikové dělat to sám.
Aha... Pokud máte jistotu, že vám stát nonstop a ve všem lže, pak už to zavání konspiračními teoriemi, o těch diskutovat nechci, omlouvám se. Ale ještě zareaguji na to, co jste napsal:
Ad první odstavec - mě to tak naopak nepřijde. Stát si často vybírá na práce firmy a ty se ho snaží ošidit a občas se vybírají firmy méně schopné a kompetentní (jako se ostatně stává i v soukromém). Takže s uvedeným procentem nesouhlasím, aniž bych si ale dovolil nastřelit nějaké vlastní.
Doložení tvrdými daty - jestli jsem to pochopil dobře, tak tvrdá data nemá ČSÚ, ale O2 a je dost možné, že to je nechce dát (např. proto, aby se vyhnulo nějakým sankcím nebo je minimalizovalo).(Což je i k tomu "stát vždy lže").
A ještě si trochu zaspekuluji (nejsem bezpečák, takže možná je to úplně mimo a tímto se bezpečákům omouvám): pokud by se zveřejnila plná data o útoku, je možné, že by z toho případní útočníci vyčetli, kde a jak byl útok odražen/chycen/vyřešen a do příště by se poučili a "optimalizovali."
Dokonce mě napadá, že já bych na místě ČSÚ útok nepřiznal vůbec, nechal bych to na "technické závadě." Pak by si mohli útočníci myslet, že jsme je neodhalili a příště by použili stejnou taktiku (na kterou by se snad dalo připravit).
Ono defakto, abychom se bavili o realite, tak pokud je vase sajta pretizena, a pokud kazdy zajemce stranku 10x realoaduje (viz o kousek vedle), tak vam to vsechny ty "magicke" krabice nahlasi jako ddos, obzvlaste pokud se takovou kratochvili zaobira milion zajemcu. Ten web totiz nefunguje setrvale jeste i nyni, jen jiz byly volby ukonceny, tutiz se pocet zajemcu limitne blizi nule.
Ovsem pozadavek na zobrazeni vysledku voleb nezni "dostupne online v ms intervalech". Procez se primitivne trivialne zcela libovolne (je uplne jedno zda pouzijete java/php/c/...) vygeneruje staticke html, ktere se 1x za rekneme 10 minut obnovi. Pokud pak server posila spravne a nikoli fake informace o stari dokumentu, zadny z beznych browseru nebude stranku obnovovati drive nez prave za tech 10 minut.
To "ohromne" mnoztvi stranek je mozna nekolik stovek, a to zvladne zcela libovolny i hodne letity HW vygenerovat do nekolika sekund. Pricemz to znamena o nekolik radu mene prace, nez delat totez v reakci na request zajemce.
Pro CSS pak plati, ze pri svepravne nastavenych informacich o cachovani si jej browser bude stahovati 1x mesicne.
problem je, ze ten server pro media (xml.datavolby.cz) maji u nich "Na padesatem" (viz smlouva) zrejme spolu s primarnim "volby.cz" (neovereno) takze ubiti posledni mile k nim do baraku odrizlo i media (viz CT, kde to snad v dobe vypadku datlovali po telefonu) coz je spatne:
cela "prezentacni vrstva" musi byt nekde venku
BTW: a vubec bych se nedivil ze kdyby byl postizen i sber dat od volebnich komisi, protoze ten konci taky v baraku a jede zrejme pres stejne "draty" (potvrdi to nejakej INSIDER?)
2Pavel Hradil: Pokud nekdo, specielne stat nebo libovolna statni organizace, tvrdi, ze za neco (naprosto cokoli) muze "nekdo jiny", je to s pravdepodobnosti 99,999% prosta lez. A vychazi to ze staletych empirickych zkusenosti.
V opacnem pripade by totiz dotycny nemel zadny problem dolozit sva tvrzeni tvrdymi daty.
Mozna se vam to zda OT https://www.novinky.cz/krimi/452780-dalik-muze-zacit-strihat-metr-do-6-listopadu-musi-nastoupit-do-vezeni.html, ale nevsiml jsem si, ze by si pan Dalik koupil nejake Pandury nebo o jejich nakupu rozhodoval, a tudiz naprosto nechapu, proc do veznice ma nastoupit prave pouze on, a ne cela vlada. Je to totiz zarny priklad vyse uvedeneho - muze za to on, ne my.
oni to nemaji zas tak spatne vymyslene: volbyhned.cz je redundantni loadbalancer s farmou webserveru servirujici staticky generovane html stranky v "Naganu". To taky celou dobu (s par resety https spojeni) IMHO fungovalo. (je to popsane v te vyse odkazovane smlouve)
co nefungovalo byly stranky volby.cz [spekulace] a tam mam podezreni ze tohle v zadnem datacentru neni a je to primo u nich "v baraku" [/spekulace], to pak zrusi kazde decko s par dolary...
bohuzel jako primarni byl vsude propagovan volby.cz a ne volbyhned.cz....
Mimochodem, pokud právě teď (9:34, 24.10.2007) otevřu v prohlížeči www.volby.cz, tak dostanu hlášení "server není dostupný". Po refreshi se bez prodlevy homepage načte ok, To vypadá na nějakou zapojenou ochranu na úrovni třeba IP a opakovaného přístupu?
Ale houby. Velké zpravodajské weby si berou data právě z té vyhrazené linky o které pár lidí nahoře píše a vůbec nepochopili, k čemu to slouží.
Velcí odběratelé (velké zpravodajské servery) si berou data na základě smlouvy přes vyhrazenou linku (jinak než běžná veřejnost), data zveřejňují u sebe a tím rozkládají zátěž, které by byl jinak vystavený veřejný web volby.cz.
Děje se to tak spoustu let a je to vcelku dobré řešení.
Už na škole jsme psali jednoduchý http server, který generované stránky cachuje v paměti.
Takže řešení je prosté. Pro každou stránku nastavit timeout třeba 5/10 minut a máte staticky vygenerované stránky, které se průběžně aktualizují. Odhaduji, že jde jen o pár řádek v konfigu.
A teď už budu úplně za blbého - jak jste poznal, že tam jsou obrázky? Když na to kliknu pravým, tak u obrázků to v kontextovém menu nabízí i "Zobrazit obrázek v samostatném okně/tabu" a "Stáhnout obrázek" a nic z toho to nenabídlo. A když jsem nechal zobrazit zdrojový soubor stránky, tak jsem dal hledat gif a nikde to tam nenašlo.
Jo, tohle zní jako rozumný agument.
Na druhou stranu - spousta lidí půjde na výsledky na své oblíbené weby - iDnes, aktualne,cz, českou televizi a kde všude to je. Sice adresa volby.cz je jasná a jednoduchá, ale pořád je jednodušší to najít na svém oblíbeném zpravodajském portálu. :-)
Já jsem weby nikdy nedělal (kromě nějaké osobní stránky v prehistorické době a nedávno rozchození wordpressu :-) ), tak se asi blbě zeptám: jak byste tedy principiálně řešil zobrazení výsledků, pokud jsou data někde v databázi, průběžně (prakticky nonstop) se mění a zobrazují se nejen hlavní výsledky (Strana X získala Y%), ale je možno se podívat na výsledky podle různých hledisek (stran, kandidátů, okrsků, neplatné hlasy a kdoví, co všechno tam ještě je) a uživatel má možnost se proklikat od nejvyšší úrovně (stát, kraj, ....) až po okrsek.
Já si myslím, že pokud by generovali jednotlivé stránky, které by pak strčili na server, museli by nonstop generovat ohromné množství stránek, které by pak uploadovali na web.
Pokud vezmu, že nekoukají furt všichni na každou poslední podstránku, tak bych si tipnul, že ta zátěž by mohla být u vašeho systému docela vyšší. Pravda, zatěžovaly by se jiné servery (ty co počítají, ne ty, co prezentují - ale ty by as vytěžovalo stálé I/O), ale je otázka, jak moc by to byla výhra.
Navíc - když má i blbý Wordpress cachovací plugin, je hodně fantasitcké předpokládat, že by měli nějakou podobnou technologii ve "velké" firemní verzi? Z toho by mi totiž vyšlo, že nejčastější stránky by skončili v cache a y méně obvyklé by se sice generovaly, ale pouze ty, o které by byl zájem.
Takže - v čem dělám ve své úvaze chybu?
Čtu pořádně. https://smlouvy.gov.cz/smlouva/soubor/20225/154_2013_S_Telefonica_smlouva.pdf
Technická specifikace je v příloze 1. Kvůli téhle smlouvě patrně vytahali z ústředen VDSL karty a narvali tam zpátky ADSL. Zálohu dělělali přes EDGE nebo CDMA, LTE je zakázáno. Komise komunikují mobilama Samsung 1081 (kde jich teď sehnali 500?). Běda, když někdo použije něco jinýho.
Na sčítání mají 1GB linku ve dvou nezávislých optikách, v tom VPNko.
Druhý VPNko je na jejich server pro média (podle smlouvy 10Mbps)
Servery pro volbyhned.cz jsou podle smlouvy v Naganu, pčipojení na ČSÚ 2Mbps.
Státní volební komise - VPN 0.5Mbps.
Propojení web serverů na internet min. 1Gbps, požadovaná dostupnost 99.99%. Web servery na CentOSu, statický HTML generovaný v Java aplikaci...
Mimochodem, mistře, pokud právě teď (19:33, 23.10.2007) otevřu v prohlížeči www.volby.cz, tak dostanu hlášení "Připojení bylo resetováno". To bude asi speciální DDoS, který trvá, i když ten web už nikoho nezajímá.
Ovšem na straně kyslíkářů. ČSÚ je má jako dodavatele a musí se spokojit s tím, co jim řeknou.
O2 přece nemůže veřejně přiznat, že jsou banda nenažraných pitomců. Že připojení k internetu k jejich podání není připojením k internetu, dokud s člověk pár stovek k cifře z reklamy nepřitlačí. Nemůžou přiznat veřejný tajemství, že hrana zákona pro ně není nejzašší zarážka, ale linie, ze které nikdy nesejdou. Nepřiznají, že tam mají bordel jak na poště. Nepřiznají, že pro ně tuhle akci dělali Harry a Lloyd...
Vůbec bych se po předchozích zkušenostech nedivil, kdyby zákazník objednal 5Gbps a oni tam v rámci úspor dali k serveru 100Mbps, protože to utáhne levnější switch. A po doporučení místního šamana, který věří, že pokud je uplink rychlejší než 10% downlinku, zasáhne zemi meteorit, ještě omezili uplink na 10Mbps. Ovšem za plnou cenu...
Třeba mají výsledky voleb na stejném stroji jako kvanta dalších dat a za ty 4 roky přírůstků už to ta mašina nedala. Na to stačí drobná neoptimálnost, která se projeví až s určitým množstvím dat. Takže se technicky nemusí nic měnit a přesto to může havarovat.
Ale pokud máte nějaké bližší informace o vnitřní architektuře, rád si je přečtu.
https://volby.cz jede bez problemu i po nekolika pokusech (neco pres 20) ani jeden vypadek
Měl bych pár kontrolních otázek:
- Byly podobné výpadky u předchozích voleb? Pokud ne, proč teď ano? Nečekal by člověk spíš, že se budou s časem učit?
- Proč myslíte, že DDoS na volby není pravděpodobný? Zvláště, pokud to byly takto emočně zjitřené, pokud už byly útoky na jiné státní úřady u nás (min. ministerstvo zahraničí) a pokud je podezření na pokusy o útok na volby i v jiných zemích?
A k tomu "... ale na Lupě tvrdě narazí" - no, pokud někdo bez znalostí, jen za základě tiskové zprávy, hned zaujímá rázná stanoviska a "jemu vše jasné"... Hm... čím se to vlastně má lišit od těch novinek.cz?
(Proto jen kladu otázky, ale nedovolím si napsat stanovisko.)
Myslite? volby.cz ...
The connection was reset
The connection to the server was reset while the page was loading.
The site could be temporarily unavailable or too busy. Try again in a few moments. ...
Asi ten dvouhodinovy ddos jeste 3 dny po volbach pokracuje (on se tedy ten stav popravde prubezne meni a pokud to zkusim 10x, tak se to mozna jednou z tech 10 pokusu i nacte).
CSU se vam zpovida, takze mate vite informaci nez kdokoliv dalsi? Tak zkuste jasne popsat co se stalo. Verit nepodlozenym vyjadrenim okolo IT kdejakemu prislusnikovi z bezpecnostnich slozek nebo statni spravy muze jen laik, ktery nevi kdo tam pracuje a jake jsou jejich fakticke znalosti a odborne schopnosti.
Nevidím důvod, proč by to letos nemělo ustát nápor uživatelů. V dřívějších letech web nápor uživatelů ustál, nemám žádné informace o tom, že by tentokrát bylo použité jiné řešení, ani si nemyslím, že by zájem uživatelů byl výrazně větší.
Ano, v diskusi na Lupě narazí, protože tady jsou odborníci na všechno, kteří vědí, že to bylo určitě jinak, než jak je napsáno v článku – což je ostatně jejich výchozí premisa, a cokoli se stane nebo napíše, tuto premisu jen potvrzuje. Vám připadá, že se tahle diskuse nějak zásadně odlišuje od diskuse na Novinkách?
Ale no tak přátelé.:-) Buďme Realisté :-))
Když velkoryse přehlédnu fakt, že jsem byl jedním z těch hackerů, který se chtěl podívat na výsledky (no ale já taky vyžaduji přísný trest! Já žádám trest smrti!!), tak nenechte cloumat prchlivost svým majestátem a uznejte, že v této digitální velmoci je zázrak, že tam nějaký tuzemský telekomunikační titán nenatáhl ISDN...:-)
Lidé začali na server chodit, jejich slabá infrastruktura to nedala a oni, aby nemuseli přiznat, že jsou to troubové, svedli to na DDoS
Njn, lidi to chtěli používat, to je sviňárna. Všechny zablokovat a je to vyřešeno. Viz Burešovic Božena. :-P
Co je to za produkt ten Anti DDoS Advanced? Chape vedeni CSU spravne vyznam slova "sofistikovany"? Co bylo skutecnou pricinou? Pretizeni linky, serveru, SYN flood, nebo co konkretne, a proc to nezvladl Anti DDoS advanced, ktery stal 180K CZK?
Rozhodne by me zajimaly detaily, protoze to vypada na klasickou ceskou bramboracku, kterou nejlepe vystihl pan Zlamalik.
Za výpadky webu může za prvé přímo ČSÚ, protože web má napsaný takovým způsobem, kdy dochází vzhledem k účelu - což je jen VEŘEJNÁ NÁSTĚNKA a hromadné sdělení nějaké informace veřejnosti k naprosto zbytečné zátěži serveru, kdy se hodně stránek GENERUJE.
ČSÚ mělo volby.cz udělat jenom jako čisté a minimalizované HTML + minimalizované CSS a nedělat takové prasečiny jako tam třeba barevný TEXT(!!!!!!!) "VOLBY.CZ" dávat jako GIF. Pokud očekávám takovou brutální zátěž, tak je nejlepší je zkrátka NIC NEGENEROVAT, nedávat tam ani žádné obrázky (pokud vyloženě nemusím), vše dělat statické a grafické ztvárnění dělat v CSS a i tam se moc "nerozšoupnout", protože každý kód navíc jsou data, která se musí stahovat...
Aktualizace už si pak mohli dělat na své straně čímkoliv, co jen přepíše údaje v HTML celý soubor pak aktualizuje přepsáním na serveru.
Samozřejmě, kdyby použili mozek, tak je ještě nejlepší dát dočasně průběžné celkové výsledky voleb (které lidi zajímají nejvíc), přímo na HLAVNÍ STRANU, protože tím se zátěž serveru a přenosů ještě sníží, jelikož nikdo nemusí už dál klikat a načítat třeba 2 další stránky zbytečně, ale většina lidí má přímo to, co hledá hned před sebou.
Server pak není nijak zatěžovaný, protože stránka se negeneruje, ale jenom se čistě stahuje.
V O2 to zase podělali rychlostí připojení! Rychlost připojení pak musí být nejrychlejší možná. Osobně bych to viděl minimálně na 1 Gbit/s a nejspíš by to chtělo udělat ty servery i zrcadlené, aby zátěž z celého světa nešla do jednoho místa.
Na web, který funguje jako množství mirrorů připojených gigabitem do různých sítích a jen se z něj stahuje HTML a CSS kód o velikosti do 300 kB se opravdu velice těžko dělá útok, protože nicnedělající server jenom těžko přetížíte a pořádně rychlou linku s takto malým přenosem taky nezahltíte.