Niet-bestaande domeinnamen zijn immens populair

Dagelijks worden ze miljoenen keren opgevraagd

Op onze statistiekenwebsite stats.sidnlabs.nl vind je veel verschillende statistieken over de DNS-verzoeken (query’s) die we verwerken op de .nl-nameservers. DNS-resolvers vragen zo informatie op over een of meer van de 5,9 miljoen .nl-domeinnamen, zoals hun IP-adres of nameserver.

We zien echter ook dat resolvers dagelijks miljoenen domeinnamen opvragen die helemaal niet bestaan. Dit kan bijvoorbeeld een teken zijn van verkeerd geconfigureerde systemen, maar ook van cybercrime. Het is voor de veiligheid en stabiliteit van de .nl-zone belangrijk om hier inzicht in te hebben. Waarom worden er zo veel niet-bestaande domeinnamen opgevraagd? Wie vraagt deze domeinnamen op? En is het een probleem? In deze blog gaan we op zoek naar antwoorden.

NXDOMAIN’s: adres onbekend

Al sinds dat we ENTRADA in gebruik namen in 2014, zien we relatief veel DNS-query’s voor niet-bestaande domeinnamen (NXDOMAIN’s). De grafiek Unieke domeinnamen (figuur 1) toont het aantal unieke bestaande en niet-bestaande domeinnamen uit DNS-query’s per dag. Het gaat daarbij om de set unieke domeinnamen gebruikt in deze DNS-query’s, niet om het totaal aantal DNS-query’s ontvangen voor deze domeinnamen. Met bestaande domeinnamen bedoelen we domeinnamen die zijn geregistreerd en gepubliceerd in de .nl-zone. Van niet-bestaande domeinnamen zijn 2 varianten:

  • Domeinnamen die niet zijn geregistreerd;

  • Domeinnamen die wel zijn geregistreerd, maar niet opgenomen zijn in de .nl-zone. Dit is bijvoorbeeld het geval als de domeinnaam niet voldoet aan bepaalde voorwaarden, zoals gekoppelde nameservers, om gepubliceerd te kunnen worden in de .nl-zone.

Figuur 1 Aantal ‘OK’ en ‘NXDOMAIN’ query's.
https://stats.sidnlabs.nl/nl/dns.html#unieke%20domeinnamen

Wat opvalt aan figuur 1 is dat het aantal unieke, niet-bestaande domeinnamen (NXDOMAIN) waar resolvers om vragen over het algemeen ongeveer 10-15 keer groter is dan het aantal unieke bestaande (OK) domeinnamen.

Waarom worden er zo veel niet-bestaande domeinnamen opgevraagd?

Op basis van de beschikbare data en onze ervaring weten we dat de vraag naar niet-bestaande domeinnamen wordt gedreven door verschillende en uiteenlopende factoren, zoals:

Typo’s

Bij het intikken van een domeinnaam maken mensen wel eens een typfoutje, zeker op mobiele apparaten met kleine toetsenbordjes. Een deel van de verzoeken voor niet-bestaande domeinnamen wordt vermoedelijk hierdoor veroorzaakt.

Opgeheven domeinnamen

Een opgeheven domeinnaam die in het verleden actief werd gebruikt voor bijvoorbeeld een website, wordt vaak nog steeds opgevraagd omdat er op 1 of meer websites nog ‘dode’ links staan die verwijzen naar de deze domeinnaam. Hetzelfde geldt voor mailadressen. Die staan vaak in adresboeken of andere lijsten en deze worden zelden of nooit opgeschoond. Daarom kan het gebeuren dat jaren nadat een domeinnaam is opgeheven, er nog steeds mail wordt verstuurd naar mailadressen van deze domeinnaam.

Drop-catching

Als een .nl-domeinnaam wordt opgezegd, dan wordt deze verwijderd uit de .nl-zone. Deze domeinnaam komt niet direct beschikbaar voor registratie, maar gaat eerst 40 dagen in quarantaine. Sommige domeinnamen in quarantaine zijn gewild. Daarom proberen verschillende partijen (zogenaamde drop-catchers), door middel van DNS-query’s, continu uit te vinden of deze domeinnamen alweer beschikbaar zijn.

Zone-reconstructie

Zone-reconstructie is het in kaart brengen van de gehele .nl-zone (alle 5,9 miljoen domeinnamen) door te ontdekken welke .nl-domeinnamen bij SIDN geregistreerd zijn. Dit gebeurt bijvoorbeeld op basis van woordenlijsten of de domeinnamen in andere topleveldomein (TLD)-zones. Figuur 1 toont een voorbeeld van die laatste, waardoor er 2 duidelijke pieken ontstonden in januari en februari van dit jaar. De oorzaak is een enkel IP-adres dat van alle .com-domeinnamen de .com-extensie vervangt door .nl en daarna voor elke domeinnaam doormiddel van een DNS-query onderzoekt of deze bestaat of niet. Omdat de .com-zone uit ongeveer 145 miljoen domeinnamen bestaat (eind 2019), levert dit veel DNS-query’s op voor niet-bestaande domeinnamen.

Botnet DGA

Een andere oorzaak voor NXDOMAIN’s is een botnet dat gebruikt maakt van een Domain Generation Algorithm (DGA). Een DGA genereert een lijst van vele duizenden domeinnamen, waarbij de beheerder van het botnet er 1 of enkele registreert voor de command and control (C&C) server van het botnet. De botnet clients lopen vervolgens de lijst langs totdat ze een domeinnaam vinden die is geregistreerd en het IP-adres van de C&C-server oplevert. Dit proces veroorzaakt veel DNS-query’s voor niet-bestaande domeinnamen.

Grootschalige metingen

Het DNS en andere internetsystemen zijn veelvuldig onderwerp van grootschalige metingen door universiteiten en onderzoeksinstituten van over de hele wereld. Dit wordt bijvoorbeeld gedaan om verschillende soorten van online misbruik of het gebruik van nieuwe technologieën in kaart te brengen. Dit soort metingen zijn vaak exploratief van aard en dit resulteert dan ook in relatief veel vragen om niet-bestaande domeinnamen. Tabel 1 laat de netwerken zien waar de meeste DNS-query’s voor niet-bestaande domeinnamen vandaan komen. In de top 10 staan 2 universiteiten (‘Leibniz-Rechenzentrum’ en ‘GEORGIA-TECH’) die samen goed zijn voor 13,6% van de DNS-query’s voor niet-bestaande domeinnamen.

Wie vraagt om niet-bestaande domeinnamen?

Om deze vraag te beantwoorden hebben we onderzocht welke netwerken de meeste unieke domeinnamen opvragen (tabel 1) en de meeste DNS-query’s voor niet-bestaande domeinnamen versturen (tabel 2). Tabel 1 laat de top 10 voor het aantal opgevraagde unieke bestaande (OK) en niet-bestaande (NXDOMAIN) domeinnamen per netwerk zien. De enige 2 netwerken die DNS-query’s voor alle bestaande (OK) domeinnamen versturen zijn die van SIDN en SURFnet. Dit komt doordat wij elke dag alle bestaande domeinnamen scannen om te testen of deze bijvoorbeeld DNSSEC-validatiefouten bevatten. Iets soortgelijks geldt voor het SURFnet-netwerk, dat de Universiteit Twente gebruikt voor OpenINTEL. Hiermee analyseren zij dagelijks de DNS-attributen van gehele .nl-zone. In de NXDOMAIN-top 10 staan een aantal netwerken met uitzonderlijk hoge aantallen unieke niet-bestaande domeinnamen. Het netwerk op positie 1 (Hetzner Online GmbH) heeft ruim 163 miljoen unieke domeinnamen opgevraagd, terwijl de .nl-zone maar 5,9 miljoen unieke domeinnamen bevat.

Tabel 1 Top 10 netwerken aantal unieke domeinnamen

Top 10 NXDOMAIN-netwerken Top 10 OK-netwerken
Hetzner Online GmbH 163.801.921 SURFnet bv 5.912.249
DIGITALOCEAN-ASN 116.023.529 Stichting Internet Domeinregistratie Nederland 5.902.201
AMAZON-02 109.069.093 GOOGLE 5.523.501
GOOGLE 68.179.829 AMAZON-02 5.372.244
Accelerated IT Services & Consulting GmbH 44.861.900 CLOUDFLARENET 5.307.856
CJ2 Hosting B.V. 30.529.786 AMAZON-AES 5.257.576
WorldStream B.V. 27.571.025 DOMAINTOOLS 4.906.475
OVH SAS 21.849.532 OVH SAS 4.340.032
Host Europe GmbH 20.504.277 WOODYNET-1 4.312.485
OPENDNS 20.183.440 DIGITALOCEAN-ASN 4.213.626

Deze percentages zijn berekend over de periode 01-03-2020 t/m 10-03-2020.

In de top 10 netwerken met het hoogste percentage NXDOMAIN-query’s (tabel 2) vinden we vooral netwerken van hosting providers, cloud providers en universiteiten. De universiteiten (‘Leibniz-Rechenzentrum’ en ‘GEORGIA-TECH’) zijn samen goed voor 13,6% van de DNS-query’s voor niet-bestaande domeinnamen. Ook kunnen we afleiden dat een aantal netwerken meer DNS-query’s voor niet-bestaande domeinnamen verstuurt dan je zou verwachten op basis van het aantal DNS-query’s voor bestaande domeinnamen. Netwerken zoals ‘Hetzner Online GmbH’ en ‘Accelerated IT Services & Consulting GmbH’ staan in de NXDOMAIN-top 10, maar niet in de OK-top 10. Tabel 2 Top 10 netwerken percentage DNS-query’s

Top 10 NXDOMAIN-netwerken Top 10 OK-netwerken
Hetzner Online GmbH 13,25% GOOGLE 14,98%
GOOGLE 10,13% MICROSOFT-CORP-MSN-AS-BLOCK 10,06%
Leibniz-Rechenzentrum 9,97% AMAZON-02 5,70%
AMAZON-02 8,88% FACEBOOK 5,67%
DIGITALOCEAN-ASN 7,95% KPN B.V. 5,07%
CLOUDFLARENET 4,40% AMAZON-AES 3,00%
AMAZON-AES 3,95% CLOUDFLARENET 2,97%
GEORGIA-TECH 3,60% DIGITALOCEAN-ASN 2,27%
Accelerated IT Services & Consulting GmbH 3,16% OPENDNS 1,92%
OVH SAS 2,30% OVH SAS 1,43%

Deze percentages zijn berekend over de periode 01-03-2020 t/m 10-03-2020 .

Is dit een probleem voor de .nl-name server-infrastructuur?

Niet echt, onze infrastructuur is zodanig gedimensioneerd dat deze ook een veelvoud van de normale belasting zonder problemen kan afhandelen. Met behulp van ANYCAST-technologie hebben we een schaalbare en robuuste DNS-infrastructuur ontwikkeld. Daarnaast is het goed om te realiseren dat het aantal DNS-query’s voor niet-bestaande domeinnamen normaal maar 12-15% bedraagt van het totaalaantal ontvangen DNS-query’s. Zie figuur 2 (Response codes) voor het DNS-query percentage voor bestaande (OK) en niet-bestaande (NXDOMAIN) domeinnamen.

Figuur 2 Percentage OK en NXDOMAIN DNS-query's.
https://stats.sidnlabs.nl/nl/dns.html#response%20codes

Conclusie

De vragen die we ons zelf stelden aan het begin van dit verhaal waren: Waarom worden er zo veel niet-bestaande domeinnamen opgevraagd? Wie vraagt deze domeinnamen op? En is het een probleem? Het blijkt dat er veel verschillende redenen zijn waarom er naar een niet-bestaande domeinnaam wordt gevraagd. Deze meeste redenen zijn onschuldig maar andere niet, zoals botnets. Dit willen we monitoren en zodat we er eventueel actie op kunnen ondernemen. We hebben daarnaast laten zien dat er netwerken zijn die relatief veel om niet-bestaande domeinnamen vragen. Dit zijn vooral netwerken gericht op hosting, onderwijs/onderzoek en publieke resolvingdiensten. Als laatste, is dit een probleem? Niet als we kijken naar de belasting van deze DNS-query’s op de .nl-nameserver-infrastructuur. De DNS-query’s kunnen dienen als een signaal voor andere problemen, zoals het gebruik van botnets. Daarom blijven we bij SIDN Labs onderzoek doen naar DNS-data met als doel het verhogen van de veiligheid en stabiliteit van het internet in Nederland en daarbuiten.