In kaart brengen van concentraties van apparaatleveranciers in IXP's

Is er sprake van marktdominantie van bepaalde hardwareleveranciers onder IXP-leden?

Verbindingen rond de aarde 's nachts gezien vanuit de ruimte

Auteurs: João Ceron (SIDN Labs), Leandro Bertholdo (University of Twente), Cristian Hesselman (SIDN Labs), Giovane Moura (SIDN Labs) Het gebruik van internet exchange points (IXP's) is onder internetserviceproviders (ISP's) en content distribution networks (CDN’s) een van de meest populaire manieren om verkeer uit te wisselen. In deze blogpost kijken we naar de hardware die deze IXP-leden gebruiken om op een IXP aan te sluiten. We onderzoeken 24 IXP's verdeeld over 15 landen, te weten Brazilië, de VS en een aantal landen in de EU en Afrika, die samen meer dan 6.000 IXP-leden met elkaar verbinden. Zo willen we achterhalen of er onder IXP-leden sprake is van marktdominantie van bepaalde hardwareleveranciers.

Aansluiten op een IXP

Een IXP is een locatie waar ISP's, CDN's en andere partijen verkeer kunnen uitwisselen. IXP's zijn vooral in trek omdat ze kosten verlagen en de tijd verbeteren die het kost om berichten uit te wisselen via internet. Dit omdat leden van een IXP rechtstreeks verbinding met elkaar kunnen maken en niet afhankelijk zijn van grote (en betaalde) upstream providers.

Aangezien alle protocollen die nodig zijn voor peering open zijn, kunnen de leden van een IXP kiezen uit een scala aan hardwareleveranciers om aan te sluiten op een IXP. Op dit moment zijn de bekendste fabrikanten die netwerkapparatuur leveren afkomstig uit onder meer de VS (zoals Cisco en Juniper) en China (Huawei).

In deze blog onderzoeken we de populariteit van leveranciers/merken onder de leden van grote IXP's over de hele wereld. We zijn ons ervan bewust dat de keuze voor bepaalde merken wordt beïnvloed door economische factoren, operationele voorkeuren en de mogelijkheden van de apparatuur in kwestie.

IXP-infrastructuur

De infrastructuur van een IXP ondersteunt de uitwisseling van verkeer tussen meerdere autonome systemen (AS’en), zoals geïllustreerd in Figuur 1. Het bestaat uit routeservers, looking glasses en coördinatie van routingpolicy’s. De leden sluiten aan op deze infrastructuur door hun netwerkapparatuur (meestal een router) in het netwerk van de IXP te plaatsen. Deze apparatuur is verantwoordelijk voor het bepalen van routingpolicy’s en het uitwisselen van netwerkverkeer tussen de leden. De concentratie van AS’en op één locatie maakt het voor de leden van een IXP goedkoper en gemakkelijker om verkeer uit te wisselen.

fig1 Internet exchange point infrastructure

Figuur 1: Infrastructuur van een internet exchange point (IXP).

Meten van de hardwareleveranciers van IXP-leden

Hoe kunnen we bepalen welke leveranciers IXP-leden gebruiken? De eenvoudigste en meest directe manier is via de MAC-adressen van de apparatuur die de leden gebruiken om op de IXP aan te sluiten.

Het MAC-adres van een hardware-interface is een uniek nummer dat de standaarden van de IEEE Standards AssociationLink opent in een nieuwe browsertab volgt, wat het mogelijk maakt om te achterhalen wie de leverancier van de hardware is. Figuur 2 toont de standaard MAC-adresstructuur. De eerste 3 octetten vormen de unieke id van de leverancier/fabrikant (bijvoorbeeld Cisco of Huawei), terwijl de laatste 3 de Network Interface Controller (NIC) aangeven.

fig2 Structure of a 48-bit MAC address

Figuur 2: Structuur van een 48-bits MAC-adres.

Aan de eerste 3 octetten van het MAC-adres kunnen we dus zien wie de leverancier van de hardware is. Maar hoe komen we aan die informatie, waarvan je zou verwachten dat die mogelijk vertrouwelijk is?

Allereerst blijkt een behoorlijk aantal IXP's deze informatie openbaar beschikbaar te maken op websites als IXPDBLink opent in een nieuwe browsertab en PeeringDBLink opent in een nieuwe browsertab. Op die websites verstrekken ze MAC-adressen, IP-adressen en andere gegevens over hun netwerken. Omdat IXP's gesloten omgevingen zijn – hun leden zijn niet bereikbaar vanaf het internet – vormen IP- en MAC-adressen geen veiligheidsrisico. Daarom hebben we deze openbaar beschikbare datasets opgenomen in ons onderzoek.

Vervolgens namen we rechtstreeks contact op met de resterende IXP's met de vraag of ze de gegevens met ons zouden willen delen. Van de 15 IXP's die we benaderden, gaven 10 daaraan gehoor. Bovendien kregen we per e-mail toestemming om de informatie te publiceren, zodat er geen sprake is van privacyschending.

In totaal verzamelden we gegevens van 24 IXP's wereldwijd, zoals te zien is in Tabel 1. De IXP's verschillen in aantallen leden en aantallen interfaces die ze verbinden (in Tabel 1 weergegeven als MAC-adressen), variërend van 27 tot 9.276 interfaces.

Kenmerken van IXP’s

Tabel 1: Kenmerken van IXP’s (oktober 2020). Openbaar beschikbare gegevens (groen) en door IXP’s verstrekte gegevens (blauw).

Welke leveranciers zijn het populairst?

Figuur 3 laat zien hoe hardwareleveranciers zijn verdeeld over de IXP-leden voor iedere van de IXP’s die we in kaart hebben gebracht. Als voorbeeld zien we dat van de leden van Asteroid IXP meer dan 40% hardware van leverancier Juniper Networks gebruikt en 7% gebruikt hardware van Cisco.

Verdeling van hardwareleveranciers over IXP’s

Figuur 3: verdeling van hardwareleveranciers over IXP’s (klik voor meer informatieLink opent in een nieuwe browsertab).

Over het algemeen zien we dat Juniper en Cisco het meest in trek zijn (eerste 2 regels). Samen vertegenwoordigen ze meer dan 50% procent van de hardware die in de meeste IXP's door de leden wordt gebruikt. RouterBOARD – de fabrikant van MikroTik-apparaten – is de op 2 na populairste leverancier, gevolgd door Huawei. MikroTik-apparaten worden meestal ingezet door ISP's met lagere budgettenLink opent in een nieuwe browsertab. Op de vijfde plaats staat Arista Networks. Deze apparaten ondersteunen programmeerbare netwerkarchitecturen, zoals SDN (Software-Defined Networking). Het gebruik van programmeerbare netwerken is de laatste jaren toegenomenLink opent in een nieuwe browsertab, dus door hun adoptie binnen IXP's in kaart te brengen krijgen we een idee van de populariteit van dit soort apparaten. In 4 IXP's (gevestigd in US, NL en GR) werkt ongeveer 10% van de leden met Arista.

We kunnen onze dataset ook in beeld brengen door de leveranciers te rangschikken op hun landcode, die aangeeft waar de onderneming is gevestigd. Figuur 4 laat de landen van de leveranciers en hun respectievelijke concentraties onder IXP-leden zien, opnieuw met behulp van een heatmap.

Percentage van hardwareleverancier per landcode en IXP

Figuur 4: Percentage van hardwareleverancier per landcode en IXP (klik voor meer informatieLink opent in een nieuwe browsertab).

Over het algemeen zijn leveranciers uit de VS (Juniper, Cisco, Brocade, Arista, enz.) in onze dataset meer in trek: ruim 80% van leden van IXP's in de EU en de VS gebruiken hardware van leveranciers die gevestigd zijn in de VS.

Letland (RouterBOARD), China (Huawei) en Maleisië (Intel) zijn de landcodes voor de andere leveranciers in de top 4. Interessant is dat IXP's in Polen, Brazilië en Zuid-Afrika een bredere verdeling hebben. In die landen gebruikt ongeveer 50% van IXP-leden leveranciers die zijn gevestigd in de VS, terwijl de rest is verdeeld over Letland, China en Maleisië. Nader onderzoek is nodig om de reden voor deze verdeling te achterhalen.

Discussie

Op basis van onze analyse van 24 IXP's en bijna 2000 MAC-adressen, zien we dat de meeste IXP-leden eigenlijk maar twee merken gebruiken om aan te sluiten op hun IXP: Cisco en Juniper. Uitzonderingen zijn leden in Polen, Brazilië en Zuid-Afrika, waar er meer diversiteit is in gebruikte leveranciers.

Hoewel we niet precies kunnen zeggen waarom de leden van deze IXP's de voorkeur geven aan deze leveranciers (bijvoorbeeld door een gebrek aan diversiteit in de markt zelf), vinden we dit toch een significante mate van concentratie. Interessant is dat we onlangs een vergelijkbare trend hebben gemeten in het DNS in de richting van enkele grote, in de VS gevestigde, ondernemingen, zoals onze collega's pas rapporteerden.

Kort samengevat, in dit artikel brengen we de verdeling in kaart van de leveranciers die IXP-leden hebben gekozen om op IXP’s aan te sluiten. Onze bevindingen laten zien dat in de VS gevestigde leveranciers de markt domineren, maar dat de leverancierverdeling bij sommige IXP’s diverser is. Het is interessant om te zien hoe deze markt zich ontwikkelt, bijvoorbeeld als reactie op het streven van de EU naar meer digitale soevereiniteitLink opent in een nieuwe browsertab.

Broncode en datasets

Onze broncode en de geanonimiseerde dataset zijn beschikbaar op GitHubLink opent in een nieuwe browsertab.

Met dank aan

Dit onderzoek werd gedeeltelijk gefinancierd via de projecten PAADDoS en CONCORDIA. PAADDoS wordt ondersteund door het Amerikaanse Department of Homeland Security via contractnummer HSHQDC-17-R-B0004-TTA.02-0006-I in de VS en door de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) via contractnummer 4019020199 in Nederland. CONCORDIA wordt ondersteund door het onderzoeks- en innovatieprogramma Horizon 2020 van de Europese Unie in het kader van subsidieovereenkomst 830927. Verder willen we onze collega's bedanken voor de gegevens die ze met ons hebben gedeeld en voor hun waardevolle commentaar, waarmee we ons onderzoek hebben kunnen verbeteren.