Alla våra mobilsajter ligger hos Mobiletech och uppdateras via
xml-flöden från de servrarna som nu är nere. Lyckligtvis har
Mobiletech inte tömt sin cache ännu :-) Bra system!
Den ständiga frågan är om vi kan peka om sajterna snabbt till
wordpress-lösningen. "Nej" säger IT-ansvariga, skapar kaos,
hävdar de. Någon som testat med stor sajt?
WP-Vip lösningen är klockren, det gör det väldigt
frustrerande när driften säger nej. Är det någon som vet
varför det skulle vara en risk att dra ner TTL?
Vissa kör ett system där man pekar till en "load balancer"
pekad till en intern NS innanför sig med låg TTL. Alltså slår
man en gång internt för att få reda på vilken server som skall
servera, vilket inte belastar resten av nätet. Denna load balancer
blir givetvis en "flaskhals" men kan ju hanteras utanför själva
datorhallen som hostar publiceringsverktyg etc (det är ju ofta
där saker rasar).
@andersolofsson:
ja den här frågan är för viktig för att släppa. Rätta mig om
jag har fel men är det inte så att dnsändringar ofta slår
igenom relativt snabbt hos närliggande system även med
standardTTL?
@erikjunesjo,
@andersolofsson -
angående DNS-ändring, i höstas när vi flyttade tyckte jag
DNS-erna uppförde sig som förväntat. Vi drog ner TTL till fem
minuter och ändringen slog igenom inom fem minuter
(snittanvändaren byter sajt på 2.5 minuter). Mycket bättre
resultat än för några år sedan när jag gjorde samma manöver.
Verkar som TTL respekteras?! Borde inte vara så svårt att testa i
full skala ifall man har några IP-nummer och lite tid.
@moonhouse: Exakt! Jag
ville bara inte skylla på dom igen.... Att det går bättre nu än
för några år sedan kan bero på att förhållandet mellan
plattformar förändrats.
@troed: det där är
knappast ett giltigt argument längre. Det har hänt en del sedan
-96 i den frågan och idag är det knappast någon som blir hängd
för en ttl på 300.
@crc: jag tycker det är en
mindre bra lösning då du får en ny svag länk. Det gäller att
plocka bort alla single point of failure och då är DNS ditt
bästa bet.
@jocke: som sagt, en
flaskhals men ofta läggs ju detta i just load balancern, och den
har man ju redan; så då är det ingen "ny" länk. Men visst:
Accepteras låg TTL så är det ju det bästa; om man även har
redudans i DNSerna (vilket borde vara en självklarhet).
Nyss i sms från infochefen: Sajterna SvD.se och E24.se ska vara
uppe inom kort. Tasteline kör sedan en halvtimme. Papperstidningen
fortsätter producera på nödsättet under resten av kvällen. Det
blir i alla fall tre delar, men många annonser saknas.
@jocke Nej det skulle nog
inte ses som argument mot att göra det egentligen. Idag blir ingen
hängd för dålig netikett :) Annat var det när .se styrdes
enväldigt ...
Vi behöver gemensamt ta fram ett standardförfarande. Visa att
det funkar och förklara betydelsen för utgivare och VD:ar.
@erikjunesjo: Vi får
börja snickra.
@andersolofsson
Noah, en av våra utvecklare, har varit på Driften om att flytta
den primära DNS:en ut ur huset i över ett år. Jag kommer att ta
hand om detta redan i morgon. Vi är gärna med och tar fram en
standard.
Nödsajt och DNS-trix? Javisst. Men hur gör vi om DNS:erna
slås ut eller av någon anledning är oåtkomliga? Hur behåller
vi trovärdigheten för det vi publicerar under exempelvis adressen
sydsvenskan.wordpress.com. Hur ska läsarna veta att det verkligen
är Sydsvenskan som skriver där? Många frågor och tyvärr har
jag få svar för stunden.
@nygren: genom att
berätta det innan något händer. Allt handlar om att faktiskt
vara proaktiv. Krishanteringen börjar inte när krisen inträffar
utan under tiden när allt rullar på. Se exemplet på Mindpark
där man faktiskt skapar scenarion och testar. Om man kommunicerar
med sina läsare innan något händer att "om det händer något
gå till xxx" finns det inget som skapar trovärdighetskris. Och
vad gäller trovärdighet: att göra som SVD - gömma huvudet i
sanden och skriva att "sorry något har hänt" och låta det vara
så är knappast trovärdigt, att låta IT-nissarna styra
möjligheterna att fortsätta att publicera även om huvudtekniken
går ner är tjänstefel.
@deeped: Tack! Varje sajt
borde förstås ha en länk i sin ordinarie sidfot med rubriken
"Vid problem med NNN.se" som berättar mer om nödsajten. Men hur
ska besökare som inte är trogna besökare, som därmed missat
informationen, med trovärdighet läsa oss på exempelvis
Wordpress? Kanske 30-35 procent kommer via sökmotorer. Många av
dem kommer säkert aldrig i närheten av länken "Vid problem med
NNN.se".
@nygren: styr vi om dnsen
så står det ju sydsvenskan.se i urlen. Vi kommer också att jobba
med layouten så att den harmoniserar med huvudsajten. DNSerna ska
vara flera och oberoende av varandra.
@amo: vad har eran drift för
argument för att inte flytta ut DNSen?
@nygren: det är inte
antingen eller utan både och. Det man dels ska se till att göra
är att SEOturbomata bloggen men också använda exempelvis Jaiku,
större bloggar mm och be dem skjuta ut informationen. Google blir
snabbare och snabbare på att plocka upp (fr a Jaiku) saker så -
nej, jag ser det inte som ett problem. Och självklart - alla
kommer inte hitta det. Men det är i sig en omöjlighet att alla
ska hitta allt. Men att medvetet använda sig av viraliteten som
finns inbyggd i den sociala webben innebär större möjligheter
att faktiskt nå en högre kvantitet än att göra som hittills: en
404-sida (om ens det) som säger "det fungerarer inte"
@nygren: jag tycker du
skjuter bredvid målet med flera av dina frågor. Tänk ett varv
till, tänk smått, tänk NÖDlösning.
@alla: Det behövs ingen
stor utredning och fet standard - alla verktygen
finns i lådan och det handlar om att komma över de
organisatoriska hinder som finns.
Morris och jag hade en bra promenad-diskussion i morse... Ska
skriva mer på temat när jag är klar med den här dagens
måsten.
@erikjunesjo: jag
tycker inte alls det är viktigt att designen harmoniserar.
Återigen. Vi snackar NÖDsajt. Minimal insats. Minimalt "projekt".
Keep it simple och sortera bort allt som inte är absolut
nödvändigt för att lösa den tillfälliga uppgiften - att få ut
ett budskap i sin enklaste form.
Och när det gäller att få ut budskapet om en alternativ
adress (då en del plattformar inte respekterar TTL i dns) så
finns det också en pigg tanke. Mer sedan.
@jocke, @deeped: Jag är med på noterna.
Förmodligen är vi på samma spår. Även om vi försöker hålla
det simpelt och enkelt måste vi göra allt för att inte tumma på
trovärdighet och ansvar. Att flytta till en annan domän skulle
exempelvis kunna innebära problem för
utgivarskapet/utgivarbevis/databasanmälan och såna saker.
Möjligen har nöden ingen lag. Men frågorna är värda att lyfta
innan nödsituationen knackar på dörren.
@jocke: Med harmoniserad
design menar jag att man ska känna igen sig (färger, logga,
typsnitt), inte att navigering osv ska följa med. Det är ingen
stor insats och hjälper användaren att förstå att han/hon inte
hamnat fel.
@nygren: Sorry
missförstog dig där. Men det problemet löser man med att ha så
pass många DNSer att det inte gör något om några går ner.
Från intranätet strax före lunch: "Det var en plötslig
överbelastning i kommunikationsutrustningen i vår datahall som
orsakade gårdagens omfattade haveri. Det visar vår
underleverantör Logicas första undersökning.
Analysarbetet pågår just nu för fullt för att klarlägga de
närmare orsakerna bakom överbelastningen och vad som kan göras
för att sådana här krissituationer ska kunna undvikas i
framtiden."
@weekend68: vilken
fascinerade liten utvikning. Här måste man ju ana ugglor i
mossen. Hur kan saker och ting dö i flera timmar pga en
överbelastning - och hur kunde överbelastningen helt plötlsigt
upphöra så man kom tillbaks upp igen.
Vi vill tacka er alla för den fantastiska insatsen igår. När
haveriet drabbade oss fylldes hela vårt hus med er kreativitet,
med samarbete, gott mod, finurliga lösningar, snabba insatser och
flygande usb-minnen. En kväll att minnas, inte för att det gick
åt skogen utan för att det gick så bra"
Nu kl 14 bjuds alla på tårta, blommor och var sitt 1Gb
USB-minne!
63 comments so far
Hade inte räddat papperstidningen, men ändå: http://sydsvenskan.wordpress.com/
2 months, 3 weeks ago by jocke.
mobil.svd.se går att nå
2 months, 3 weeks ago by oholah.
Jo, men den går inte att uppdatera... mobil.e24.se funkar också, men mobil.tasteline.com är för databasintensiv - den startar inte...
2 months, 3 weeks ago by weekend68.
Nej, det ser jag. Men ligger inte den servern hos logica?
2 months, 3 weeks ago by oholah.
Alla våra mobilsajter ligger hos Mobiletech och uppdateras via xml-flöden från de servrarna som nu är nere. Lyckligtvis har Mobiletech inte tömt sin cache ännu :-) Bra system!
2 months, 3 weeks ago by weekend68.
@jocke: Vet du fler som har liknande nödlösningar?
2 months, 3 weeks ago by oholah.
Alla "mina" + morris tidningar.
2 months, 3 weeks ago by jocke.
Den ständiga frågan är om vi kan peka om sajterna snabbt till wordpress-lösningen. "Nej" säger IT-ansvariga, skapar kaos, hävdar de. Någon som testat med stor sajt?
2 months, 3 weeks ago by AndersOlofsson.
@jocke: Hur kommuniceras dessa till läsarna? Blir ju svårt när sajten är nere?
2 months, 3 weeks ago by oholah.
Vi skiter i okunniga it-oansvariga och pekar om dns. Det går hur bra som helst
2 months, 3 weeks ago by jocke.
Bloggar om upplägget ikväll.
2 months, 3 weeks ago by jocke.
@jocke: Jag behöver exempel på när och var det är gjort. Hade varit kalas. Blir så förbannat frustrerad på allt som är "omöjligt".
2 months, 3 weeks ago by AndersOlofsson.
@jocke: IT-avdelningarna är numera "nej-det-går-inte" överallt. Dags att lägga ner och bygga om...
2 months, 3 weeks ago by deeped.
Kräver hyfsat kort TTL i DNS-en för bra resultat men isf är det enkelt.
2 months, 3 weeks ago by perkovich.
Ett problem kan vara ett den primära DNSen också ligger hos Logica och är onåbar. Den sekundära finns hos Telia i Haninge.
2 months, 3 weeks ago by weekend68.
Vi ville på Morris och Jockes inrådan dra ner TTL till en halvtimme-20 minuter när vi byggde reservsajten och gjorde scenarioövning i december.
2 months, 3 weeks ago by AndersOlofsson.
Förhoppningsvis är orsaken inte samma som hos Bonnier :)
2 months, 3 weeks ago by perkovich.
Jag kommer också blogga om IT-avdelningar som säger att "nej det går inte"
2 months, 3 weeks ago by deeped.
Vi måste BEVISA vad som går att göra och inte göra. Dra igång på bloggen så kanske vi kan få spinn på detta Jocke.
2 months, 3 weeks ago by AndersOlofsson.
Har också tänkt skriva nåt om IT avdelningar som lovar runt och hållrt tunnt!
2 months, 3 weeks ago by Cityrat59.
@Cityrat59: GoGoGo!!!!
2 months, 3 weeks ago by AndersOlofsson.
Senaste nytt från Logica, det kan vara ljus i tunneln. Nätverket håller på att etableras sakta men säkert.
2 months, 3 weeks ago by weekend68.
Finns en postning på Researcher.se
2 months, 3 weeks ago by deeped.
WP-Vip lösningen är klockren, det gör det väldigt frustrerande när driften säger nej. Är det någon som vet varför det skulle vara en risk att dra ner TTL?
2 months, 3 weeks ago by erikjunesjo.
@erikjunesjo Det anses vara dålig netikett. http://www.faqs.org/rfcs/rfc1912.html I teorin skulle det orsaka en hel del onödig datatrafik om alla började sätta den till väldigt låga värden.
2 months, 3 weeks ago by troed.
Vissa kör ett system där man pekar till en "load balancer" pekad till en intern NS innanför sig med låg TTL. Alltså slår man en gång internt för att få reda på vilken server som skall servera, vilket inte belastar resten av nätet. Denna load balancer blir givetvis en "flaskhals" men kan ju hanteras utanför själva datorhallen som hostar publiceringsverktyg etc (det är ju ofta där saker rasar).
2 months, 3 weeks ago by crc.
@crc: Jag är inte teknikern i gänget, men det låter som en lösning i mina öron(?). @erikjunesjo: Ska vi klämma Leif om detta?
2 months, 3 weeks ago by AndersOlofsson.
@andersolofsson: ja den här frågan är för viktig för att släppa. Rätta mig om jag har fel men är det inte så att dnsändringar ofta slår igenom relativt snabbt hos närliggande system även med standardTTL?
2 months, 3 weeks ago by erikjunesjo.
@erikjunesjo, @andersolofsson - angående DNS-ändring, i höstas när vi flyttade tyckte jag DNS-erna uppförde sig som förväntat. Vi drog ner TTL till fem minuter och ändringen slog igenom inom fem minuter (snittanvändaren byter sajt på 2.5 minuter). Mycket bättre resultat än för några år sedan när jag gjorde samma manöver. Verkar som TTL respekteras?! Borde inte vara så svårt att testa i full skala ifall man har några IP-nummer och lite tid.
2 months, 3 weeks ago by perkovich.
@perkovich Det är väl känt att en del Microsoft-implementationer av DNS helt enkelt struntar i TTL och cachar som tycker är bäst?
2 months, 3 weeks ago by moonhouse.
@moonhouse: Exakt! Jag ville bara inte skylla på dom igen.... Att det går bättre nu än för några år sedan kan bero på att förhållandet mellan plattformar förändrats.
2 months, 3 weeks ago by perkovich.
@troed: det där är knappast ett giltigt argument längre. Det har hänt en del sedan -96 i den frågan och idag är det knappast någon som blir hängd för en ttl på 300.
@crc: jag tycker det är en mindre bra lösning då du får en ny svag länk. Det gäller att plocka bort alla single point of failure och då är DNS ditt bästa bet.
2 months, 3 weeks ago by jocke.
@jocke: som sagt, en flaskhals men ofta läggs ju detta i just load balancern, och den har man ju redan; så då är det ingen "ny" länk. Men visst: Accepteras låg TTL så är det ju det bästa; om man även har redudans i DNSerna (vilket borde vara en självklarhet).
2 months, 3 weeks ago by crc.
hmm, nu är idg.se nere också..
2 months, 3 weeks ago by erikjunesjo.
Nyss i sms från infochefen: Sajterna SvD.se och E24.se ska vara uppe inom kort. Tasteline kör sedan en halvtimme. Papperstidningen fortsätter producera på nödsättet under resten av kvällen. Det blir i alla fall tre delar, men många annonser saknas.
2 months, 3 weeks ago by oholah.
@jocke Nej det skulle nog inte ses som argument mot att göra det egentligen. Idag blir ingen hängd för dålig netikett :) Annat var det när .se styrdes enväldigt ...
2 months, 3 weeks ago by troed.
http://mindpark.se/2008/05/14/alla-borde...
inte så stringent, hann inte skriva kort - men nu är det ju bara att börja lösa problemen...
2 months, 3 weeks ago by jocke.
http://pr20.wordpress.com/2008/05/14/bo-...
2 months, 3 weeks ago by newsdesk.
http://blogg.svd.se/svdse?id=7176 Sajterna har varit uppe igen sedan 23.30 - fortfarande en del problem med produktionen.
2 months, 3 weeks ago by weekend68.
Vi behöver gemensamt ta fram ett standardförfarande. Visa att det funkar och förklara betydelsen för utgivare och VD:ar. @erikjunesjo: Vi får börja snickra.
2 months, 3 weeks ago by AndersOlofsson.
@andersolofsson Noah, en av våra utvecklare, har varit på Driften om att flytta den primära DNS:en ut ur huset i över ett år. Jag kommer att ta hand om detta redan i morgon. Vi är gärna med och tar fram en standard.
2 months, 3 weeks ago by amo.
Nödsajt och DNS-trix? Javisst. Men hur gör vi om DNS:erna slås ut eller av någon anledning är oåtkomliga? Hur behåller vi trovärdigheten för det vi publicerar under exempelvis adressen sydsvenskan.wordpress.com. Hur ska läsarna veta att det verkligen är Sydsvenskan som skriver där? Många frågor och tyvärr har jag få svar för stunden.
2 months, 3 weeks ago by nygren.
@nygren: genom att berätta det innan något händer. Allt handlar om att faktiskt vara proaktiv. Krishanteringen börjar inte när krisen inträffar utan under tiden när allt rullar på. Se exemplet på Mindpark där man faktiskt skapar scenarion och testar. Om man kommunicerar med sina läsare innan något händer att "om det händer något gå till xxx" finns det inget som skapar trovärdighetskris. Och vad gäller trovärdighet: att göra som SVD - gömma huvudet i sanden och skriva att "sorry något har hänt" och låta det vara så är knappast trovärdigt, att låta IT-nissarna styra möjligheterna att fortsätta att publicera även om huvudtekniken går ner är tjänstefel.
2 months, 3 weeks ago by deeped.
@amo: Kanon. Firma Olausson & Junesjö kan väl fortsätta sina härjningar också på detta område?
2 months, 3 weeks ago by AndersOlofsson.
@deeped: Tack! Varje sajt borde förstås ha en länk i sin ordinarie sidfot med rubriken "Vid problem med NNN.se" som berättar mer om nödsajten. Men hur ska besökare som inte är trogna besökare, som därmed missat informationen, med trovärdighet läsa oss på exempelvis Wordpress? Kanske 30-35 procent kommer via sökmotorer. Många av dem kommer säkert aldrig i närheten av länken "Vid problem med NNN.se".
2 months, 3 weeks ago by nygren.
@nygren: styr vi om dnsen så står det ju sydsvenskan.se i urlen. Vi kommer också att jobba med layouten så att den harmoniserar med huvudsajten. DNSerna ska vara flera och oberoende av varandra.
@amo: vad har eran drift för argument för att inte flytta ut DNSen?
2 months, 3 weeks ago by erikjunesjo.
@nygren: det är inte antingen eller utan både och. Det man dels ska se till att göra är att SEOturbomata bloggen men också använda exempelvis Jaiku, större bloggar mm och be dem skjuta ut informationen. Google blir snabbare och snabbare på att plocka upp (fr a Jaiku) saker så - nej, jag ser det inte som ett problem. Och självklart - alla kommer inte hitta det. Men det är i sig en omöjlighet att alla ska hitta allt. Men att medvetet använda sig av viraliteten som finns inbyggd i den sociala webben innebär större möjligheter att faktiskt nå en högre kvantitet än att göra som hittills: en 404-sida (om ens det) som säger "det fungerarer inte"
2 months, 3 weeks ago by deeped.
Skrev en bit om haveriet och diskussionen på www.medievarlden.se
2 months, 3 weeks ago by axzl.
@nygren: jag tycker du skjuter bredvid målet med flera av dina frågor. Tänk ett varv till, tänk smått, tänk NÖDlösning.
@alla: Det behövs ingen stor utredning och fet standard - alla verktygen finns i lådan och det handlar om att komma över de organisatoriska hinder som finns.
Morris och jag hade en bra promenad-diskussion i morse... Ska skriva mer på temat när jag är klar med den här dagens måsten.
2 months, 3 weeks ago by jocke.
@erikjunesjo: jag tycker inte alls det är viktigt att designen harmoniserar. Återigen. Vi snackar NÖDsajt. Minimal insats. Minimalt "projekt". Keep it simple och sortera bort allt som inte är absolut nödvändigt för att lösa den tillfälliga uppgiften - att få ut ett budskap i sin enklaste form.
2 months, 3 weeks ago by jocke.
Och när det gäller att få ut budskapet om en alternativ adress (då en del plattformar inte respekterar TTL i dns) så finns det också en pigg tanke. Mer sedan.
2 months, 3 weeks ago by jocke.
@jocke, @deeped: Jag är med på noterna. Förmodligen är vi på samma spår. Även om vi försöker hålla det simpelt och enkelt måste vi göra allt för att inte tumma på trovärdighet och ansvar. Att flytta till en annan domän skulle exempelvis kunna innebära problem för utgivarskapet/utgivarbevis/databasanmälan och såna saker. Möjligen har nöden ingen lag. Men frågorna är värda att lyfta innan nödsituationen knackar på dörren.
2 months, 3 weeks ago by nygren.
@erikjunesjo: Mitt exempel gick ut på att även DNS-n var ur spel. I det läget kan du inte ha sydsvenskan.se i URLn. Värsta tänkbara scenario alltså.
2 months, 3 weeks ago by nygren.
@jocke: Med harmoniserad design menar jag att man ska känna igen sig (färger, logga, typsnitt), inte att navigering osv ska följa med. Det är ingen stor insats och hjälper användaren att förstå att han/hon inte hamnat fel.
@nygren: Sorry missförstog dig där. Men det problemet löser man med att ha så pass många DNSer att det inte gör något om några går ner.
2 months, 3 weeks ago by erikjunesjo.
Från intranätet strax före lunch: "Det var en plötslig överbelastning i kommunikationsutrustningen i vår datahall som orsakade gårdagens omfattade haveri. Det visar vår underleverantör Logicas första undersökning.
Analysarbetet pågår just nu för fullt för att klarlägga de närmare orsakerna bakom överbelastningen och vad som kan göras för att sådana här krissituationer ska kunna undvikas i framtiden."
2 months, 3 weeks ago by weekend68.
@weekend68: vilken fascinerade liten utvikning. Här måste man ju ana ugglor i mossen. Hur kan saker och ting dö i flera timmar pga en överbelastning - och hur kunde överbelastningen helt plötlsigt upphöra så man kom tillbaks upp igen.
Vilken cliffhanger...
2 months, 3 weeks ago by jocke.
ÖVerbelastning? För låg redundans?
2 months, 3 weeks ago by deeped.
Broadcaststorm?
2 months, 3 weeks ago by bstark.
Från chefred Lena K:
"Till världens bästa medarbetare!
Vi vill tacka er alla för den fantastiska insatsen igår. När haveriet drabbade oss fylldes hela vårt hus med er kreativitet, med samarbete, gott mod, finurliga lösningar, snabba insatser och flygande usb-minnen. En kväll att minnas, inte för att det gick åt skogen utan för att det gick så bra"
Nu kl 14 bjuds alla på tårta, blommor och var sitt 1Gb USB-minne!
2 months, 3 weeks ago by weekend68.
@weekend68 Får hoppas USB-minnena är virusfria.
2 months, 3 weeks ago by moonhouse.
USB-minne?! För att kunna sno med sig kundlistorna från annons?
2 months, 3 weeks ago by deeped.
Fräck bild på http://blogg.svd.se/utvecklingsblogg.
"Stort hål i tillgängligheten på SvD.se"
2 months, 3 weeks ago by nollpunkt.
Logica påstår, enligt rykten, att det kan bli störningar idag igen.
2 months, 3 weeks ago by ahnberg.