Alla våra mobilsajter ligger hos Mobiletech och uppdateras via xml-flöden från de servrarna som nu är nere. Lyckligtvis har Mobiletech inte tömt sin cache ännu :-) Bra system!
Den ständiga frågan är om vi kan peka om sajterna snabbt till wordpress-lösningen. "Nej" säger IT-ansvariga, skapar kaos, hävdar de. Någon som testat med stor sajt?
Vissa kör ett system där man pekar till en "load balancer" pekad till en intern NS innanför sig med låg TTL. Alltså slår man en gång internt för att få reda på vilken server som skall servera, vilket inte belastar resten av nätet. Denna load balancer blir givetvis en "flaskhals" men kan ju hanteras utanför själva datorhallen som hostar publiceringsverktyg etc (det är ju ofta där saker rasar).
@erikjunesjo, @andersolofsson - angående DNS-ändring, i höstas när vi flyttade tyckte jag DNS-erna uppförde sig som förväntat. Vi drog ner TTL till fem minuter och ändringen slog igenom inom fem minuter (snittanvändaren byter sajt på 2.5 minuter). Mycket bättre resultat än för några år sedan när jag gjorde samma manöver. Verkar som TTL respekteras?! Borde inte vara så svårt att testa i full skala ifall man har några IP-nummer och lite tid.
@moonhouse: Exakt! Jag ville bara inte skylla på dom igen.... Att det går bättre nu än för några år sedan kan bero på att förhållandet mellan plattformar förändrats.
@troed: det där är knappast ett giltigt argument längre. Det har hänt en del sedan -96 i den frågan och idag är det knappast någon som blir hängd för en ttl på 300.
@crc: jag tycker det är en mindre bra lösning då du får en ny svag länk. Det gäller att plocka bort alla single point of failure och då är DNS ditt bästa bet.
@jocke: som sagt, en flaskhals men ofta läggs ju detta i just load balancern, och den har man ju redan; så då är det ingen "ny" länk. Men visst: Accepteras låg TTL så är det ju det bästa; om man även har redudans i DNSerna (vilket borde vara en självklarhet).
Nyss i sms från infochefen: Sajterna SvD.se och E24.se ska vara uppe inom kort. Tasteline kör sedan en halvtimme. Papperstidningen fortsätter producera på nödsättet under resten av kvällen. Det blir i alla fall tre delar, men många annonser saknas.
@jocke Nej det skulle nog inte ses som argument mot att göra det egentligen. Idag blir ingen hängd för dålig netikett :) Annat var det när .se styrdes enväldigt ...
Vi behöver gemensamt ta fram ett standardförfarande. Visa att det funkar och förklara betydelsen för utgivare och VD:ar.@erikjunesjo: Vi får börja snickra.
@andersolofsson Noah, en av våra utvecklare, har varit på Driften om att flytta den primära DNS:en ut ur huset i över ett år. Jag kommer att ta hand om detta redan i morgon. Vi är gärna med och tar fram en standard.
Nödsajt och DNS-trix? Javisst. Men hur gör vi om DNS:erna slås ut eller av någon anledning är oåtkomliga? Hur behåller vi trovärdigheten för det vi publicerar under exempelvis adressen sydsvenskan.wordpress.com. Hur ska läsarna veta att det verkligen är Sydsvenskan som skriver där?
Många frågor och tyvärr har jag få svar för stunden.
@nygren: genom att berätta det innan något händer. Allt handlar om att faktiskt vara proaktiv. Krishanteringen börjar inte när krisen inträffar utan under tiden när allt rullar på. Se exemplet på Mindpark där man faktiskt skapar scenarion och testar. Om man kommunicerar med sina läsare innan något händer att "om det händer något gå till xxx" finns det inget som skapar trovärdighetskris. Och vad gäller trovärdighet: att göra som SVD - gömma huvudet i sanden och skriva att "sorry något har hänt" och låta det vara så är knappast trovärdigt, att låta IT-nissarna styra möjligheterna att fortsätta att publicera även om huvudtekniken går ner är tjänstefel.
@deeped: Tack! Varje sajt borde förstås ha en länk i sin ordinarie sidfot med rubriken "Vid problem med NNN.se" som berättar mer om nödsajten. Men hur ska besökare som inte är trogna besökare, som därmed missat informationen, med trovärdighet läsa oss på exempelvis Wordpress? Kanske 30-35 procent kommer via sökmotorer. Många av dem kommer säkert aldrig i närheten av länken "Vid problem med NNN.se".
@nygren: det är inte antingen eller utan både och. Det man dels ska se till att göra är att SEOturbomata bloggen men också använda exempelvis Jaiku, större bloggar mm och be dem skjuta ut informationen. Google blir snabbare och snabbare på att plocka upp (fr a Jaiku) saker så - nej, jag ser det inte som ett problem. Och självklart - alla kommer inte hitta det. Men det är i sig en omöjlighet att alla ska hitta allt. Men att medvetet använda sig av viraliteten som finns inbyggd i den sociala webben innebär större möjligheter att faktiskt nå en högre kvantitet än att göra som hittills: en 404-sida (om ens det) som säger "det fungerarer inte"
@nygren: jag tycker du skjuter bredvid målet med flera av dina frågor. Tänk ett varv till, tänk smått, tänk NÖDlösning.
@alla: Det behövs ingen stor utredning och fet standard - alla verktygen finns i lådan och det handlar om att komma över de organisatoriska hinder som finns.
Morris och jag hade en bra promenad-diskussion i morse... Ska skriva mer på temat när jag är klar med den här dagens måsten.
@erikjunesjo: jag tycker inte alls det är viktigt att designen harmoniserar. Återigen. Vi snackar NÖDsajt. Minimal insats. Minimalt "projekt". Keep it simple och sortera bort allt som inte är absolut nödvändigt för att lösa den tillfälliga uppgiften - att få ut ett budskap i sin enklaste form.
Och när det gäller att få ut budskapet om en alternativ adress (då en del plattformar inte respekterar TTL i dns) så finns det också en pigg tanke. Mer sedan.
@jocke, @deeped: Jag är med på noterna. Förmodligen är vi på samma spår. Även om vi försöker hålla det simpelt och enkelt måste vi göra allt för att inte tumma på trovärdighet och ansvar. Att flytta till en annan domän skulle exempelvis kunna innebära problem för utgivarskapet/utgivarbevis/databasanmälan och såna saker. Möjligen har nöden ingen lag. Men frågorna är värda att lyfta innan nödsituationen knackar på dörren.
Från intranätet strax före lunch:
"Det var en plötslig överbelastning i kommunikationsutrustningen i vår datahall som orsakade gårdagens omfattade haveri. Det visar vår underleverantör Logicas första undersökning.
Analysarbetet pågår just nu för fullt för att klarlägga de närmare orsakerna bakom överbelastningen och vad som kan göras för att sådana här krissituationer ska kunna undvikas i framtiden."
@weekend68: vilken fascinerade liten utvikning. Här måste man ju ana ugglor i mossen. Hur kan saker och ting dö i flera timmar pga en överbelastning - och hur kunde överbelastningen helt plötlsigt upphöra så man kom tillbaks upp igen.
Vi vill tacka er alla för den fantastiska insatsen igår. När haveriet drabbade oss fylldes hela vårt hus med er kreativitet, med samarbete, gott mod, finurliga lösningar, snabba insatser och flygande usb-minnen.
En kväll att minnas, inte för att det gick åt skogen utan för att det gick så bra"
Nu kl 14 bjuds alla på tårta, blommor och var sitt 1Gb USB-minne!
58 comments so far
Hade inte räddat papperstidningen, men ändå: http://sydsvenskan.wordpress.com/
1 year, 1 month ago by jocke
mobil.svd.se går att nå
1 year, 1 month ago by oholah
Jo, men den går inte att uppdatera... mobil.e24.se funkar också, men mobil.tasteline.com är för databasintensiv - den startar inte...
1 year, 1 month ago by weekend68
Nej, det ser jag. Men ligger inte den servern hos logica?
1 year, 1 month ago by oholah
Alla våra mobilsajter ligger hos Mobiletech och uppdateras via xml-flöden från de servrarna som nu är nere. Lyckligtvis har Mobiletech inte tömt sin cache ännu :-) Bra system!
1 year, 1 month ago by weekend68
@jocke: Vet du fler som har liknande nödlösningar?
1 year, 1 month ago by oholah
Alla "mina" + morris tidningar.
1 year, 1 month ago by jocke
Den ständiga frågan är om vi kan peka om sajterna snabbt till wordpress-lösningen. "Nej" säger IT-ansvariga, skapar kaos, hävdar de. Någon som testat med stor sajt?
1 year, 1 month ago by AndersOlofsson
@jocke: Hur kommuniceras dessa till läsarna? Blir ju svårt när sajten är nere?
1 year, 1 month ago by oholah
Vi skiter i okunniga it-oansvariga och pekar om dns. Det går hur bra som helst
1 year, 1 month ago by jocke
Bloggar om upplägget ikväll.
1 year, 1 month ago by jocke
@jocke: Jag behöver exempel på när och var det är gjort. Hade varit kalas. Blir så förbannat frustrerad på allt som är "omöjligt".
1 year, 1 month ago by AndersOlofsson
@jocke: IT-avdelningarna är numera "nej-det-går-inte" överallt. Dags att lägga ner och bygga om...
1 year, 1 month ago by deeped
Kräver hyfsat kort TTL i DNS-en för bra resultat men isf är det enkelt.
1 year, 1 month ago by perkovich
Ett problem kan vara ett den primära DNSen också ligger hos Logica och är onåbar. Den sekundära finns hos Telia i Haninge.
1 year, 1 month ago by weekend68
Vi ville på Morris och Jockes inrådan dra ner TTL till en halvtimme-20 minuter när vi byggde reservsajten och gjorde scenarioövning i december.
1 year, 1 month ago by AndersOlofsson
Förhoppningsvis är orsaken inte samma som hos Bonnier :)
1 year, 1 month ago by perkovich
Jag kommer också blogga om IT-avdelningar som säger att "nej det går inte"
1 year, 1 month ago by deeped
Vi måste BEVISA vad som går att göra och inte göra. Dra igång på bloggen så kanske vi kan få spinn på detta Jocke.
1 year, 1 month ago by AndersOlofsson
Har också tänkt skriva nåt om IT avdelningar som lovar runt och hållrt tunnt!
1 year, 1 month ago by Cityrat59
@Cityrat59: GoGoGo!!!!
1 year, 1 month ago by AndersOlofsson
Senaste nytt från Logica, det kan vara ljus i tunneln. Nätverket håller på att etableras sakta men säkert.
1 year, 1 month ago by weekend68
Finns en postning på Researcher.se
1 year, 1 month ago by deeped
@erikjunesjo Det anses vara dålig netikett. http://www.faqs.org/rfcs/rfc1912.html I teorin skulle det orsaka en hel del onödig datatrafik om alla började sätta den till väldigt låga värden.
1 year, 1 month ago by troed
Vissa kör ett system där man pekar till en "load balancer" pekad till en intern NS innanför sig med låg TTL. Alltså slår man en gång internt för att få reda på vilken server som skall servera, vilket inte belastar resten av nätet. Denna load balancer blir givetvis en "flaskhals" men kan ju hanteras utanför själva datorhallen som hostar publiceringsverktyg etc (det är ju ofta där saker rasar).
1 year, 1 month ago by crc
@crc: Jag är inte teknikern i gänget, men det låter som en lösning i mina öron(?). @erikjunesjo: Ska vi klämma Leif om detta?
1 year, 1 month ago by AndersOlofsson
@erikjunesjo, @andersolofsson - angående DNS-ändring, i höstas när vi flyttade tyckte jag DNS-erna uppförde sig som förväntat. Vi drog ner TTL till fem minuter och ändringen slog igenom inom fem minuter (snittanvändaren byter sajt på 2.5 minuter). Mycket bättre resultat än för några år sedan när jag gjorde samma manöver. Verkar som TTL respekteras?! Borde inte vara så svårt att testa i full skala ifall man har några IP-nummer och lite tid.
1 year, 1 month ago by perkovich
@perkovich Det är väl känt att en del Microsoft-implementationer av DNS helt enkelt struntar i TTL och cachar som tycker är bäst?
1 year, 1 month ago by moonhouse
@moonhouse: Exakt! Jag ville bara inte skylla på dom igen.... Att det går bättre nu än för några år sedan kan bero på att förhållandet mellan plattformar förändrats.
1 year, 1 month ago by perkovich
@troed: det där är knappast ett giltigt argument längre. Det har hänt en del sedan -96 i den frågan och idag är det knappast någon som blir hängd för en ttl på 300.
@crc: jag tycker det är en mindre bra lösning då du får en ny svag länk. Det gäller att plocka bort alla single point of failure och då är DNS ditt bästa bet.
1 year, 1 month ago by jocke
@jocke: som sagt, en flaskhals men ofta läggs ju detta i just load balancern, och den har man ju redan; så då är det ingen "ny" länk. Men visst: Accepteras låg TTL så är det ju det bästa; om man även har redudans i DNSerna (vilket borde vara en självklarhet).
1 year, 1 month ago by crc
Nyss i sms från infochefen: Sajterna SvD.se och E24.se ska vara uppe inom kort. Tasteline kör sedan en halvtimme. Papperstidningen fortsätter producera på nödsättet under resten av kvällen. Det blir i alla fall tre delar, men många annonser saknas.
1 year, 1 month ago by oholah
@jocke Nej det skulle nog inte ses som argument mot att göra det egentligen. Idag blir ingen hängd för dålig netikett :) Annat var det när .se styrdes enväldigt ...
1 year, 1 month ago by troed
http://mindpark.se/2008/05/14/alla-borde-ha-en-nodsajt-tyvarr/
inte så stringent, hann inte skriva kort - men nu är det ju bara att börja lösa problemen...
1 year, 1 month ago by jocke
http://pr20.wordpress.com/2008/05/14/bo-hedin-utan-kommunikativ-strategi-under-haveriet/
1 year, 1 month ago by newsdesk
http://blogg.svd.se/svdse?id=7176 Sajterna har varit uppe igen sedan 23.30 - fortfarande en del problem med produktionen.
1 year, 1 month ago by weekend68
Vi behöver gemensamt ta fram ett standardförfarande. Visa att det funkar och förklara betydelsen för utgivare och VD:ar. @erikjunesjo: Vi får börja snickra.
1 year, 1 month ago by AndersOlofsson
@andersolofsson Noah, en av våra utvecklare, har varit på Driften om att flytta den primära DNS:en ut ur huset i över ett år. Jag kommer att ta hand om detta redan i morgon. Vi är gärna med och tar fram en standard.
1 year, 1 month ago by amo
Nödsajt och DNS-trix? Javisst. Men hur gör vi om DNS:erna slås ut eller av någon anledning är oåtkomliga? Hur behåller vi trovärdigheten för det vi publicerar under exempelvis adressen sydsvenskan.wordpress.com. Hur ska läsarna veta att det verkligen är Sydsvenskan som skriver där? Många frågor och tyvärr har jag få svar för stunden.
1 year, 1 month ago by nygren
@nygren: genom att berätta det innan något händer. Allt handlar om att faktiskt vara proaktiv. Krishanteringen börjar inte när krisen inträffar utan under tiden när allt rullar på. Se exemplet på Mindpark där man faktiskt skapar scenarion och testar. Om man kommunicerar med sina läsare innan något händer att "om det händer något gå till xxx" finns det inget som skapar trovärdighetskris. Och vad gäller trovärdighet: att göra som SVD - gömma huvudet i sanden och skriva att "sorry något har hänt" och låta det vara så är knappast trovärdigt, att låta IT-nissarna styra möjligheterna att fortsätta att publicera även om huvudtekniken går ner är tjänstefel.
1 year, 1 month ago by deeped
@amo: Kanon. Firma Olausson & Junesjö kan väl fortsätta sina härjningar också på detta område?
1 year, 1 month ago by AndersOlofsson
@deeped: Tack! Varje sajt borde förstås ha en länk i sin ordinarie sidfot med rubriken "Vid problem med NNN.se" som berättar mer om nödsajten. Men hur ska besökare som inte är trogna besökare, som därmed missat informationen, med trovärdighet läsa oss på exempelvis Wordpress? Kanske 30-35 procent kommer via sökmotorer. Många av dem kommer säkert aldrig i närheten av länken "Vid problem med NNN.se".
1 year, 1 month ago by nygren
@nygren: det är inte antingen eller utan både och. Det man dels ska se till att göra är att SEOturbomata bloggen men också använda exempelvis Jaiku, större bloggar mm och be dem skjuta ut informationen. Google blir snabbare och snabbare på att plocka upp (fr a Jaiku) saker så - nej, jag ser det inte som ett problem. Och självklart - alla kommer inte hitta det. Men det är i sig en omöjlighet att alla ska hitta allt. Men att medvetet använda sig av viraliteten som finns inbyggd i den sociala webben innebär större möjligheter att faktiskt nå en högre kvantitet än att göra som hittills: en 404-sida (om ens det) som säger "det fungerarer inte"
1 year, 1 month ago by deeped
Skrev en bit om haveriet och diskussionen på www.medievarlden.se
1 year, 1 month ago by axzl
@nygren: jag tycker du skjuter bredvid målet med flera av dina frågor. Tänk ett varv till, tänk smått, tänk NÖDlösning.
@alla: Det behövs ingen stor utredning och fet standard - alla verktygen finns i lådan och det handlar om att komma över de organisatoriska hinder som finns.
Morris och jag hade en bra promenad-diskussion i morse... Ska skriva mer på temat när jag är klar med den här dagens måsten.
1 year, 1 month ago by jocke
@erikjunesjo: jag tycker inte alls det är viktigt att designen harmoniserar. Återigen. Vi snackar NÖDsajt. Minimal insats. Minimalt "projekt". Keep it simple och sortera bort allt som inte är absolut nödvändigt för att lösa den tillfälliga uppgiften - att få ut ett budskap i sin enklaste form.
1 year, 1 month ago by jocke
Och när det gäller att få ut budskapet om en alternativ adress (då en del plattformar inte respekterar TTL i dns) så finns det också en pigg tanke. Mer sedan.
1 year, 1 month ago by jocke
@jocke, @deeped: Jag är med på noterna. Förmodligen är vi på samma spår. Även om vi försöker hålla det simpelt och enkelt måste vi göra allt för att inte tumma på trovärdighet och ansvar. Att flytta till en annan domän skulle exempelvis kunna innebära problem för utgivarskapet/utgivarbevis/databasanmälan och såna saker. Möjligen har nöden ingen lag. Men frågorna är värda att lyfta innan nödsituationen knackar på dörren.
1 year, 1 month ago by nygren
@erikjunesjo: Mitt exempel gick ut på att även DNS-n var ur spel. I det läget kan du inte ha sydsvenskan.se i URLn. Värsta tänkbara scenario alltså.
1 year, 1 month ago by nygren
Från intranätet strax före lunch: "Det var en plötslig överbelastning i kommunikationsutrustningen i vår datahall som orsakade gårdagens omfattade haveri. Det visar vår underleverantör Logicas första undersökning.
Analysarbetet pågår just nu för fullt för att klarlägga de närmare orsakerna bakom överbelastningen och vad som kan göras för att sådana här krissituationer ska kunna undvikas i framtiden."
1 year, 1 month ago by weekend68
@weekend68: vilken fascinerade liten utvikning. Här måste man ju ana ugglor i mossen. Hur kan saker och ting dö i flera timmar pga en överbelastning - och hur kunde överbelastningen helt plötlsigt upphöra så man kom tillbaks upp igen.
Vilken cliffhanger...
1 year, 1 month ago by jocke
ÖVerbelastning? För låg redundans?
1 year, 1 month ago by deeped
Broadcaststorm?
1 year, 1 month ago by bstark
Från chefred Lena K:
"Till världens bästa medarbetare!
Vi vill tacka er alla för den fantastiska insatsen igår. När haveriet drabbade oss fylldes hela vårt hus med er kreativitet, med samarbete, gott mod, finurliga lösningar, snabba insatser och flygande usb-minnen. En kväll att minnas, inte för att det gick åt skogen utan för att det gick så bra"
Nu kl 14 bjuds alla på tårta, blommor och var sitt 1Gb USB-minne!
1 year, 1 month ago by weekend68
@weekend68 Får hoppas USB-minnena är virusfria.
1 year, 1 month ago by moonhouse
USB-minne?! För att kunna sno med sig kundlistorna från annons?
1 year, 1 month ago by deeped
Fräck bild på http://blogg.svd.se/utvecklingsblogg.
"Stort hål i tillgängligheten på SvD.se"
1 year, 1 month ago by nollpunkt
Logica påstår, enligt rykten, att det kan bli störningar idag igen.
1 year, 1 month ago by ahnberg