Systeemupdate
Het was een woelige week voor internetgigant Facebook. Naast de ontluisterende woorden van klokkenluider Haugen over de negatieve impact van hun winstbejag, kreeg het bedrijf te maken met de grootste panne tot nu toe. Buiten Facebook zelf waren ook andere producten van het bedrijf ontoegankelijk voor gebruikers. Messenger, Instagram, WhatsApp, Mapillary en Oculus waren allemaal uit de lucht voor een zestal uren. De oorzaak? Een BGP update. Lees hier hoe het precies werkt en hoe Xenius BGP routers inzet voor jouw project.
Domino-effect
Veel details over de oorzaak van de uitval kregen we niet tijdens de storing. Van buitenaf konden we alleen zien dat er problemen met de BGP en DNS opdoken. Intussen heeft Facebook een blog post gepubliceerd met wat meer context. Door een configuratiewijziging bij de backbonerouters met betrekking tot BGP-peering, volgde er al snel een domino-effect. Niet alleen werden alle diensten van Facebook ontoegankelijk voor het publiek, ook de interne systemen kregen het zwaar te verduren. De reden van de langdurige uitval, is immers dat ook de werknemers geen toegang meer hadden tot het platform. Aangezien geen van de netwerken van Facebook nog bereikbaar was, waren de systeembeheerders genoodzaakt om ter plaatse naar de routers te gaan. Maar zij beschikken niet over de juiste kennis van zaken om het probleem op deze manier op te lossen. De medewerkers die hen hiermee konden voorthelpen, kregen geen toegang tot de datacenters aangezien hun badges niet meer functioneerden. U kunt verder meer lezen over de Cloudflare outage in deze post.
BGP update
BGP staat voor Border Gateway Protocol en regelt de netwerkcommunicatie tussen netwerken van Autonomous Systems. De grote routers, die ervoor zorgen dat het internet werkt, maken gebruik van steeds geactualiseerde lijsten met mogelijke routes die kunnen worden gebruikt om elk netwerkpakket naar hun eindbestemming te brengen. Netwerken maken zich bekend met prefixes op het internet. Op deze manier zijn ze bereikbaar met routingtables. De update bij de backbonerouters zorgde ervoor dat Facebook stopte met zich aan te kondigen. Hierdoor reageerden netwerken niet meer op DNS-queries van Facebook. Intussen bleven gebruikers wereldwijd de nameservers van Facebook benaderen, wat leidde tot een tsunami aan DNS-verkeer. Hierdoor raken dan weer de DNS-resolvers overbelast.
BGP-routers van Xenius
Bij Xenius maken we gebruik van onze eigen BGP-routers, waarmee we ook via het BGP-protocol communiceren met transitproviders en andere grote netwerken zoals Facebook. Hieronder kan je één van onze core routers/switchen van ons datacenter in Brussel bekijken. Dankzij deze toestellen zijn alle websites en servers op ons netwerk beschikbaar op het internet. Om te vermijden dat ons netwerk kan uitvallen, hebben we zo’n opstelling in elk datacenter staan. Geen zorgen dus mocht er toch uitval gebeuren op één locatie.