De hostinggeschiedenis van Tweakers: van shared hosting naar serverpark

Vandaag is het achttien jaar geleden dat de website van Tweakers het online levenslicht zag. Niet lang na de lancering werd de hosting van Tweakers ondergebracht bij True. Samen zijn Tweakers en True uitgegroeid tot belangrijke spelers binnen hun domein.

Bekijk ook onze Managed Hosting dienst

Solutions architect Erwin Bleeker van True vertelt: “Tweakers begon bij ons slechts op een tweetal servers. Dit is uitgegroeid tot twee complete private cabinets, volledig redundant ingericht en in de loop der jaren geüpgraded van 1Gbit verbinding, naar meerdere Gbit verbindingen, tot nu enkele tientallen Gbit verbindingen. In het verleden heeft True meerdere keren uitbreiding gezocht bij diverse datacenters om zo voorop te blijven in de technologische ontwikkelingen. De website van Tweakers is een aantal malen verhuisd om middels de nieuwste datacentertechnieken altijd online te blijven.”

“Onze specialisten hebben geregeld technische sessies met de systeembeheerders van Tweakers om de beste server- en netwerktechnieken te selecteren en de snelheid en beschikbaarheid van de technologie-site te optimaliseren. Een mooie mijlpaal was het moment dat Tweakers naast IPv4 ook op IPv6 beschikbaar kwam.”

Goede herinneringen aan de lange samenwerking

“Heel af en toe gaat er ook wel eens iets mis. Een piepende RAID-controller of een voeding die de geest heeft gegeven.” Erwin herinnert zich nog goed: “De lead architect van True was in 2005 geconcentreerd bezig in het datacenter om een groot platform voor een online community te racken tot hij opschrok van een noodkreet naast hem. Een door de wol geverfde systeembeheerder van Tweakers zat letterlijk met z’n handen in het haar en keek verbaasd naar een in koor opstartend cabinet met servers.”

“Naast de server die hij moest herstarten bleken alle overige servers in het cabinet ook een herstart ingezet te hebben. Een CTRL-ALT-DELETE opdracht naar een Linux server sturen resulteert in een nette herstart, maar met een KVM-switch en broadcastfunctie ingeschakeld ontvangen alle servers die specifieke opdracht. Dat soort dingen gebeuren, het hoort er bij, ondertussen is de stabiliteit van Tweakers op z’n minst uitmuntend te noemen.”

De begindagen: van shared naar serverpark

Achttien jaar geleden begon Femme Taken www.tweakers.net op een shared-hostingaccountje bij Pair Networks. Nu draait Tweakers op meer dan veertig verschillende servers en devices, verdeeld over drie serverracks op twee locaties. Dat gebeurde uiteraard niet van de ene dag op de andere en in de tussentijd zijn er veel dingen geleerd, fouten gemaakt, servers vervangen en verhuizingen geweest.

In de hostinggeschiedenis 1998 – 2001 bespreekt Femme hoe Tweakers groeide van hosting op een simpel shared-hostingaccount tot de eerste stappen in de colocatiewereld, met een tweetal servers bij Vuurwerk Internet. Dit artikel is opgevolgd door de hostinggeschiedenis 2001- 2004, waarin we verdergaan met de hosting van Tweakers: van twee servers bij Vuurwerk Internet tot aan een rack vol servers bij True in Redbus. Het slotstuk van deze trilogie is de hostinggeschiedenis 2005 – 2008, waarin we ons verhaal voortzetten met de geschiedenis van de hosting van Tweakers, eerst nog in Redbus, en later de verhuizing naar EUNetworks-suite van True.

Archieffoto van Tweakers

Een nieuwe databaseserver en vervanging secundaire databaseserver

In 2009 is de hoofddatabaseserver vervangen, dit keer door Artemis 6; de zesde nieuwe databaseserver in minder dan tien jaar tijd. Deze server was de eerste databaseserver die zijn data niet meer opsloeg op een groot aantal ronddraaiende schijven, maar op een disk-array bestaande uit zes 50GB-ssd’s. Ook de geheugenupgrade was indrukwekkend, van 16GB in Artemis 5 naar 72GB in Artemis 6. Deze nieuwe databaseserver was zo krachtig dat we de splitsing in databases die acht jaar daarvoor nog noodzakelijk was, weer ongedaan konden maken. Bovendien konden we de vrijgekomen databaseserver gebruiken in een master-slave-replicatieopstelling, zodat we, zelfs als een databaseserver volledig dood zou gaan zoals bij Big Crash 3, nooit meer dan een paar seconden dataverlies zouden lijden.

Enkele maanden na die server hebben we ook de secundaire slavedatabaseserver vervangen. De hardware was nu krachtig genoeg om bij het uitvallen van de hoofddatabaseserver alle taken over te nemen. Deze nieuwe server repliceerde de database op de hoofddatabaseserver zodat er, bij het uitvallen van de andere server, nooit meer dan een paar seconden aan dataverlies zou zijn. Dat was al een heel stuk beter dan enkele maanden aan dataverlies zoals bij Big Crash 3.

Videoplatform, uplinkuitbreiding en Tweakers 7

In augustus van dat jaar nam Tweakers een nieuw videoplatform in gebruik. Dit betekende een stapel extra servers om de video’s te serveren, transcoderen en beheren. De webservers gekozen werden, waren simpele Dell R210-servers, met zes netwerkpoorten. Deze hingen vervolgens met vier kabels aan een switch, waardoor er in theorie 4Gbit/s aan traffic uitgestuurd kon worden. Om daarbij in de buurt te kunnen komen heeft True de internetverbinding voorzien van een upgrade; van 2x1Gbit/s-lijnen naar 2×2 1Gbit/s-lijnen, zodat we 4Gbit/s uitgaand verkeer konden halen als alle routers werkten.

In oktober 2012 vond de jongste grote overhaul van de site plaats. De servers hadden het verdraaid lastig met al deze nieuwe code en er moesten in een hoog tempo hotfixes bedacht en geschreven worden. Zo werd bijvoorbeeld de engine veel meer gebruikt. Die werkte heel goed en handelde soms tientallen query’s per pageview af, maar als je dan elke keer een nieuwe connectie opzet, loop je vrij snel tegen een aantal limieten aan.

Als je tegen die limieten aanloopt, werkt je webserver niet meer. Gelukkig hadden we genoeg webservers om de site redelijk werkend te houden, maar elk kwartier een van de webservers offline halen om ‘af te koelen’ is niet ideaal. Door hard werk van de developers konden we dat gelukkig nog voor het einde van de dag oplossen.

Webservers, Loadbalancers en virtualisatieplatform

Momenteel heeft Tweakers tien webservers in dienst. Vier daarvan zijn ‘applicatie’-servers, die voornamelijk php-scripts verwerken en onder andere een aantal caches, zoals de Java Engine, lokaal draaien. De statischecontentservers serveren, vanzelfsprekend, meestal statische content, zoals afbeeldingen en stylescripts, maar kunnen ook de dynamische scripts serveren als dat nodig is. De videowebservers serveren tot slot al onze video’s en zijn daarom ook met vijf netwerkkabels op onze switches aangesloten, om zo met maximaal 5Gbit/s video’s te streamen.

De loadbalancers zijn gewone servers met daarop een gewone Ubuntu-installatie en speciale software van Brocade. De servers die we voor virtualisatietaken gebruiken, draaien een mix van docker-containers en kvm-images.

Databaseservers

We hebben diverse databases en zoekmachines in ons cluster staan. De hoofddatabase staat in MySQL, maar we hebben ook mongodb, activemq en twee machines voor de zoekmachine. Deze zijn allemaal redundant uitgevoerd, zodat er eentje mag crashen.

Opslag

Om alle plaatjes, video’s en virtual server images op te slaan, gebruiken we twee Oracle-applicaties. De back-ups daarvan worden weggeschreven op een server met een hele rits disks.

Overige servers

Naast de servers voor de hoofdtaken hebben we nog een scala aan servers in het rack hangen om diverse andere taken af te handelen. De mailserver spreekt voor zich, de managementservers handelen taken als dns en ldap af en de developmentserver draait een mix van docker-containers en kvm-images om een developmentomgeving aan te bieden.

Databaseservers en stats

In de loop van achttien jaar hebben we ruim zestien (MySQL-)databaseservers verbruikt. Deze servers zijn traditiegetrouw de snelste en vetst uitgevoerde servers in ons serverpark geweest. Pas in de laatste jaren bemerken we geen fors toegenomen prestaties van de nieuwe databaseservers, terwijl dit in het verleden grote invloed had op de snelheid van de website.

Stats van de hosting van Tweakers

Wij tweakers zijn dol op statistieken. Veel daarvan kun je al op de site terugvinden, maar hieronder hebben we er toch nog een paar voor je bijeengezocht om de groei van ons serverpark weer te geven.

Serverpower aan het begin van de hosting van tweakers tot september 2016

En nu

In de afgelopen jaren op serverbeheergebied steeds rustiger geworden. Konden we vroeger nog reviews volschrijven over een paar jaar geschiedenis, nu hebben we aan acht jaar geschiedenis al nauwelijks genoeg voor een review. Dat is niet omdat er niets is gebeurd, maar wat er is gebeurd, had weinig gevolgen voor onze bezoekers.

Door de toegenomen redundantie hoeven we ons bed niet meer uit te komen als er een server onderuitgaat en doordat we nu de servers met support kopen, hoeven we niet naar Schiphol te rijden om bij een hardwarefabrikant wat schroefjes te halen om een harde schijf vast te kunnen zetten.

We blijven ook in de komende jaren letten op de prestaties van de site. Hierbij hopen we dat jullie weinig van ons werk gaan merken, behalve dat de site snel is en een hoge uptime heeft.

Het complete artikel over de geschiedenis van de hosting van Tweakers is inclusief alle facts & figures gepubliceerd op Tweakers 30-09-2016.