Afstudeeronderzoek: Een dag in het leven van NTP: een analyse van verkeer via de NTP-pool

SIDN Labs werkt met meerdere NTP-servers mee aan het NTP Pool Project. Een van die servers is door middel van anycast actief op 30 locaties en bedient miljoenen clients. Er is nog niet veel onderzoek gedaan naar de kenmerken van verkeer dat binnenkomt op een publieke NTP-server. Het analyseren van het verkeer dat binnenkomt op de anycast-NTP-server van SIDN in de NTP-pool kan een positieve bijdrage leveren door licht te werpen op de kenmerken van inkomend verkeer. Dit kan bijvoorbeeld nuttige informatie opleveren over de soorten clients die van de NTP-dienst gebruik maken, de catchments van de anycast-locaties, de aanwezigheid van onregelmatigheden in het NTP-verkeer, enzovoort. Deze informatie kan veel vertellen over de huidige staat van het NTP-ecosysteem.

Introductie

Het Network Time Protocol (NTP) wordt gebruikt om "de tijdregistratie tussen een aantal gedistribueerde tijdservers en clients te synchroniseren" [RFC 5905] en is het protocol dat op het internet standaard wordt gebruikt voor tijdsynchronisatie. NTP werkt boven op het Internet Protocol (IP) en User Datagram Protocol (UDP) en is essentieel voor de gedistribueerde werking van machines in netwerken.

De NTP-architectuur heeft een boomstructuur waarin elk niveau een stratum is (genummerd vanaf 1) dat bestaat uit servers. De nauwkeurigheid van een server hangt samen met hoe hoog deze zich in de boom bevindt: een server op een hoger niveau (die dus een lager stratumnummer heeft) is nauwkeuriger dan een server op een lager niveau, als gevolg van netwerkpaden en lokale klokinstabiliteit. Servers in stratum 1 (primaire servers) synchroniseren hun tijd rechtstreeks met een autoritatieve bron zoals een atoomklok of GPS, servers in stratum 2 (secundaire servers) synchroniseren de tijd met de servers in stratum 1, en ga zo maar door. De andere kant van het NTP-ecosysteem bestaat uit clients die gebruik maken van NTP-servers om hun klokken mee gelijk te zetten. De clients die gebruik maken van NTP zijn uitermate divers en variëren van servers en computers tot IoT-apparaten en mobiele telefoons.

Het NTP Pool Project is een tijdprovider die de tijd verstrekt aan naar schatting 5 tot 15 miljoen clients. De NTP-pool bestaat uit een bestand van meer dan 4.500 servers over de hele wereld en is de standaard tijdprovider voor een groot aantal leveranciers, waaronder Android, Linux, Asus, enzovoort. In tegenstelling tot andere publieke tijdproviders host het project geen eigen servers, maar houdt het een lijst bij van door vrijwilligers beheerde servers met de bedoeling het gemakkelijker te maken om via DNS toegang tot deze servers te krijgen.

SIDN Labs draagt bij aan de NTP-pool door servers beschikbaar te stellen die een enorme populariteit genieten binnen de pool en miljoenen clients over de hele wereld bedienen. Een van deze servers, any.time.nl, bedient zowel IPv4- als IPv6-clients en wordt door middel van anycast op 30 locaties ingezet.

Het is dus de bedoeling om het NTP-verkeer te karakteriseren dat binnenkomt op één anycast-server die deel uitmaakt van de NTP-pool. Dit gebeurt door 24 uur lang gegevens te verzamelen op alle 30 locaties van de NTP-server. Vervolgens worden de verzamelde gegevens gecentraliseerd, voorbewerkt om relevante velden te extraheren, verrijkt met informatie over de geolocatie en geanalyseerd om waardevolle inzichten in het NTP-ecosysteem te verkrijgen.

Dataset

De dataset die voor dit onderzoek is gebruikt, bestaat uit packet captures van alle 30 anycast NTP-servers in het bestand van de NTP-pool. De servers ontvangen verkeer van clients die de NTP-pool gebruiken als hun NTP-provider.

Het NTP-verkeer dat op 22 en 23 juni op de servers binnenkwam, werd 24 uur lang vastgelegd met behulp van tcpdump. Uit de vastgelegde PCAP-bestanden werden relevante IP-, UDP- en NTP-gegevens geëxtraheerd en vervolgens verrijkt met informatie over de geolocatie van de clients, zoals stad, land, AS-nummer en fysieke IP-coördinaten. Die informatie was afkomstig uit de op dat moment meest recente geolocatiedatabases van Maxmind. Vervolgens werden de IP-adressen in de verzamelde bestanden geanonimiseerd met behulp van het crypto-Pan-algoritme. Deze anonimisering was in lijn met het privacybeleid van SIDN en goedgekeurd door SIDN's privacyboard.

In totaal werd ongeveer 4,7 TB aan gegevens verzameld, die verspreid over de 30 servers 13,67 miljard NTP-query's en -antwoorden bevatten. Daaronder bevonden zich 7,28 miljard clientquery's van ~158,7 miljoen unieke clients. Het gros hiervan was IPv4-verkeer (97,3%) en de rest was IPv6.

Servergebruik

https://images.ctfassets.net/yj8364fopk6s/2aOqLq4BMc3NBobgWFMBn6/aad7ee9154ae045390460542c1a4029f/Anycast_Site_Utilisation.png

We analyseerden het gebruik van de NTP-servers om te achterhalen welke server/anycast-locatie binnen het NTP-ecosysteem het meest in trek was. Deze analyse geeft een idee van de onderliggende clientspreiding op het internet. Om het gebruik van NTP-servers te bepalen, werden de geaggregeerde gegevens ingedeeld in ontvangen query's per server.

Het is duidelijk dat vooral de anycast-locaties in Azië in trek zijn binnen de NTP-pool. De servers {bom1-1, bom1-2} bedienen samen meer dan 1,59 miljard clientquery's van 28,4 miljoen clients. Dit komt neer op zo'n 22% van het totale verkeer dat op any.time.nl binnenkomt. Andere servers in Azië ontvangen eveneens aanzienlijk meer verkeer dan hun tegenhangers in Noord-Amerika en Europa, zoals blijkt uit het aantal query's dat binnenkwam op nrt1-{1-8}, icn1-1 en sin1-{1-2}.

De NTP-server sea1-1 komt naar voren als een van de meest gebruikte servers in Noord-Amerika met ongeveer evenveel inkomend verkeer als bom1-{1-2}. Gerekend over alle 7 Noord-Amerikaanse locaties is sea1-1 goed voor 49,3% van het verkeer. Over het totale verkeer op alle 30 locaties is dat 10,5%. Een nadere blik op de geografische spreiding van de clients die deze server gebruiken, onthult dat het merendeel van het verkeer dat op deze server binnenkomt afkomstig is uit China. In de waargenomen periode ontving sea1-1 meer dan 5 keer zoveel verkeer uit China als uit de Verenigde Staten en Canada.

https://images.ctfassets.net/yj8364fopk6s/3LfPXJvEP8VifhCo7hbnXW/7fc059d4b87ef14e1bdd460952ae5048/Number_of_Queries_per_Hour.png

We analyseerden het servergebruik ook door te kijken naar het aantal query's dat elke anycast-server per uur ontving. De bovenstaande afbeelding toont voor elke NTP-server het aantal query's per uur. De Y-as heeft een logaritmische schaal om de onderlinge verschillen in queryaantallen beter weer te geven.

Aan het begin tekenen zich enkele patronen af, vooral met betrekking tot de Aziatische NTP-servers. In de nachtelijke uren is er een duidelijke dip in het aantal query's waar te nemen. Dit suggereert dat het aantal clients dat 's nachts NTP-query's verstuurt lager ligt dan overdag. Het verkeer op de Europese en Amerikaanse locaties blijft daarentegen de hele dag door vrij constant. Deze waarneming is in overeenstemming met eerdere onderzoeken naar dag- en nachtpatronen van internetverkeer.

Anycast-catchments

Een ander belangrijk aspect van de implementatie van anycast betreft de catchments van anycast-locaties. In RFC 4786 Operation of Anycast Services wordt een anycast-catchment gedefinieerd als "het topologische gebied van een netwerk waarbinnen pakketten die aan een anycast-adres zijn gericht naar één bepaalde node worden gerouteerd". Het bestuderen van de catchments van een implementatie geeft dus een beeld van het onderliggende routeringsgedrag op het internet en kan helpen om de anycast-implementatie te finetunen zodat clients efficiënt worden bediend.

De meest recente catchments van anycast-locaties vind je hier: http://dnstest.nl/anycast2020/heatmaps/

Anycast-catchments zijn niet statisch en het catchment van een locatie kan op verschillende manieren worden beïnvloed. Zo hebben de catchments van sommige locaties inmiddels verbeteringen ondergaan en ontvangen ze nu alleen nog verkeer uit eigen land.

Kenmerken van NTP-clients

Figuur 3: Aantal query's per land.

China heeft het grootste aantal clients (28 miljoen), op de voet gevolgd door Brazilië, India, de VS en Zuid-Korea. De clients in China genereren maar liefst 3,5 miljard query's, wat neerkomt op een gemiddelde van 126 query's per client. Hoewel China maar 8 miljoen clients meer heeft dan Brazilië, genereren die clients 7,8 keer zoveel query's als de clients in Brazilië. Maar hoewel Brazilië 2,2 miljoen clients meer heeft dan India, worden er in India toch 1,3 keer zoveel query's gegenereerd als in Brazilië. In vergelijking met de andere toplanden heeft Brazilië in het algemeen een laag gemiddeld aantal query's per client. Dit houdt in dat Brazilië weliswaar het op een na grootste aantal clients heeft, maar dat die clients niet zoveel query's genereren als clients in andere landen. Ook Japan heeft een hoge querydichtheid die gegenereerd wordt door een relatief klein aantal clients. Van alle landen in de top 10 heeft Japan het op een na hoogste gemiddelde aantal query's per client: bijna 50. Alleen in China ligt het gemiddelde hoger.

De bovenstaande tabel laat de verdeling van NTP-versies onder clients zien, inclusief het percentage IPv4- en IPv6-query's en het aantal clients voor elke NTP-versie. Zoals verwacht is NTP-versie 4 de versie die het meest door clients wordt gebruikt: 81% van het totaal aantal query's gebruikt versie 4. De RFC met betrekking tot NTPv4 werd voorgesteld in 2010 en aangenomen in 2011. In deze nieuwste versie van NTP zijn veel beveiligingsproblemen opgelost die aanwezig waren in eerdere versies van het protocol. In een vergelijkbaar onderzoek naar de kenmerken van NTP-verkeer dat enkele jaren geleden werd uitgevoerd, werd geconstateerd dat clients in Azië voornamelijk NTPv3 gebruikten (68%). Dat aantal is echter gedaald: in onze dataset maakte maar 17% nog steeds gebruik van NTPv3. 82% van de clients in Azië gebruikt nu NTPv4 en voor de andere continenten gelden vergelijkbare percentages. Al met al vertoont de NTPv4-adoptie dus een stijgende lijn en dat is een goede zaak, omdat het betekent dat clients de meest recente NTP-versie gebruiken.

Verder stuurden meer dan 7.000 clients meer dan 100.000 query's met de ongeldige NTP-versienummers 0, 5, 6 en 7. De meeste clients die ongeldige NTP-versienummers gebruiken, lijken zich te bevinden in de VS en Canada, met meer dan 48.000 query's uit de VS en 16.000 query's uit Canada. Het gebruik van dergelijke NTP-versienummers is in strijd met de protocolspecificatie. Ook waren er bijna 40.000 clients die NTP-pakketten verstuurden waarin geen NTP-versie was gespecificeerd of een 'malformed' pakket waaruit de NTP-versie niet kon worden geëxtraheerd. Deze query's worden in de bovenstaande tabel weergegeven als NTP-versie 'NULL'. Op alle NTP-servers bij elkaar kwamen meer dan 1 miljoen van dit soort query's binnen. Het merendeel van het verkeer met NTP-versie NULL kwam uit Brazilië, India, de VS, Argentinië en Spanje. Deze 5 landen produceerden samen meer dan 900.000 van de 1 miljoen query's. De NTP-versiegegevens laten dus zien dat hoewel de meeste clients zich aan de protocolspecificaties houden, er nog steeds op grote schaal gebruik wordt gemaakt van oudere NTP-versies (met name NTPv3).

We pasten passieve fingerprinting toe aan de hand van de IP-TTL-waarden (time-to-live) in de NTP-pakketten van de clients om meer inzicht te krijgen in de besturingssystemen en NTP-softwarestacks die door clients worden gebruikt. Hoewel de verkregen informatie misschien niet in alle gevallen accuraat is, geeft deze een rudimentair inzicht in de kenmerken van clients. De onderstaande tabel toont de verdeling van de waargenomen TTL-waarden voor IPv4-clients. Zoals verwacht hebben de meeste clients (89%) een op Linux gebaseerd besturingssysteem, dat standaard een TTL-waarde van 64 heeft. Dat komt doordat apparaten zoals routers, firewalls, Android-telefoons, IoT-apparaten, enzovoort allemaal gebaseerd zijn op de Linuxkernel en waarschijnlijk de meerderheid uitmaken van de NTP-clients van de NTP-pool. Een op grote schaal gebruikt besturingssysteem als Windows beschikt namelijk over een eigen NTP-dienst die de standaardprovider is voor alle op Windows gebaseerde apparaten. Dit verklaart het gebrek aan Windows-apparaten in deze dataset.

De grote NTP-overstroming

NTP-serveroperators constateren vaak dat NTP-clients meer query's naar servers sturen dan zou moeten. Dit suggereert dat clients zich niet houden aan de waarde in de pollinterval of KoD-pakketten. Om dit fenomeen nader te onderzoeken en malafide clients op te sporen, analyseerden we hoeveel query's elk client-IP verstuurt en hoelang het client-IP zichtbaar blijft. De bovenstaande tabel toont de top 10 van IP's wat betreft het aantal verstuurde query's en de tijd (in seconden) dat de adressen zichtbaar blijven. Zoals eerder vermeld, zijn alle IP-adressen geanonimiseerd. Het bovenste IP verstuurde gedurende de gehele waargenomen dag in totaal 8,7 miljoen query's, met een gemiddeld aantal query's per seconde van bijna 100. Dat is een stuk hoger dan de laagste NTP-minpoll-instelling van 4, die neerkomt op 1 query per 16 seconden. Het werkelijke aantal query's dat van het bovenste IP is ontvangen, komt neer op 1.600 keer zoveel query's als de client mag verzenden. Dat is duidelijk geen normaal clientgedrag. Een mogelijke verklaring voor het excessieve aantal query's zou kunnen zijn dat de client-IP's toebehoren aan ISP's die gebruik maken van Carrier-Grade NAT (CGNAT). Het gebruik van CGNAT komt met name veel voor op continenten zoals Azië, waar het grote aantal gebruikers ISP's dwingt CGNAT te gebruiken om te voorkomen dat ze zonder publieke IPv4-adressen komen te zitten. CGNAT is een techniek waarbij achter één publiek IP grote aantallen gebruikers schuilgaan. In dit geval kunnen er wel duizenden clients achter één en hetzelfde IP zitten, die allemaal NTP-query's versturen. Als we kijken naar de pollinterval die de servers specificeren in de antwoorden aan deze IP's, is 4 de meest gebruikte waarde en specificeren de NTP-servers voor sommige IP's zelfs een pollinterval van 17. Als een IP een antwoord krijgt met een pollinterval van 17, mag het minimaal 1,5 dag geen NTP-query's meer versturen. Maar het is duidelijk dat client-IP's zich weinig aantrekken van de waarden voor de pollinterval die in de antwoorden zijn gespecificeerd, zoals blijkt uit het aantal query's dat naar NTP-servers wordt verstuurd. Als CGNAT of een andere NAT-techniek wordt gebruikt, kan het zijn dat het NAT-apparaat niet de mogelijkheid heeft om rekening te houden met de pollinterval, aangezien het enkel de verzoeken van de clients erachter doorstuurt. Niettemin is het overduidelijk dat clients excessieve aantallen query's naar NTP-servers versturen, ook al is er in het antwoord dat naar de client wordt verzonden een maximale pollinterval gespecificeerd. Dit betekent dat clients in termen van het versturen van gepaste aantallen query's niet handelen in overeenstemming met de RFC.

Het is belangrijk om te vermelden dat de IP's zelf geanonimiseerd zijn, maar dat de geolocaties en ASN-informatie aan de dataset zijn toegevoegd voordat de anonimisering werd uitgevoerd. Het bovenste IP behoort toe aan LG DACOM Corporation in Zuid-Korea. De WHOIS-informatie voor dit AS-nummer leert dat het hier gaat om een van Korea's grootste exploitanten van een telecomnetwerk. We kunnen daarom redelijkerwijs concluderen dat dit IP waarschijnlijk een publiek NAT-IP is dat door enorme aantallen mobiele clients wordt gebruikt om de tijd te synchroniseren. Iets dergelijks geldt voor het tweede IP, dat toebehoort aan het AS-nummer van een ISP in de Filipijnen. Dit IP is dus het NAT-IP van de gebruikers van de ISP. Van de 10 IP's die de meeste query's versturen, bevinden zich er 9 in Azië, waaronder 5 in Zuid-Korea. De enige uitzondering is een IP in Zuid-Afrika. Nadat we het AS-nummer van dit IP hadden geïdentificeerd, kwamen we met behulp van WHOIS uit bij de website van het bedrijf. Het Zuid-Afrikaanse IP behoort toe aan de exploitant van een populair mobiel netwerk, net zoals het eerste IP. De IP's op de derde en tiende plaats, allebei Zuid-Koreaans, zijn ook van een netwerkexploitant, te weten Korean Telecommunications Authority (KT), terwijl het vierde adres (uit Japan) toebehoort aan NTT. In feite behoren alle IP's in de top 10 toe aan ISP's en exploitanten van mobiele netwerken. We kunnen er dan ook zeker vanuit gaan dat al die IP's niet van de clients zelf zijn, maar dat het gaat om NAT-IP's waarachter vele duizenden clients schuilgaan.

Kwaadwillende NTP-clients

NTP is gebruikt bij meerdere DDoS-amplificatie- en reflectieaanvallen. Dit komt doordat NTP, net als DNS, hoofdzakelijk een op UDP gebaseerd protocol is, waardoor aanvallers in staat zijn om query's te spoofen. Bovendien bevat NTP bepaalde query's die antwoorden retourneren waarvan de pakketgrootte veel groter is dan de verzoeken, zoals monlist, peerlist enzovoort. Hierdoor kunnen aanvallers kleine gespoofte verzoeken met het IP-adres van een slachtoffer creëren en deze verzoeken naar publieke NTP-servers sturen. De publieke servers sturen dan grote antwoorden naar het slachtoffer, dat wordt overspoeld met grote hoeveelheden ongevraagd verkeer, die een DDoS- of DoS-aanval vormen.

De query's monlist en peerlist zijn query's die speciaal voor serverbeheerders in het protocol zijn ingebouwd om problemen op te lossen of diagnostische informatie van hun NTP-servers te verkrijgen. Anders dan bij het client-servermodel, waarbij een client een pakket verzendt met NTP mode 3, maken deze query's gebruik van NTP mode 7, die in de RFC wordt omschreven als "gereserveerd voor privégebruik". Het is dus niet echt de bedoeling dat NTP mode 7 door clients wordt gebruikt om te communiceren met een publieke server. Toen op NTP gebaseerde DDoS-aanvallen op hun hoogtepunt waren, waren er echter honderdduizenden publieke NTP-servers die publiek gebruik van mode 7 ondersteunden. Na verloop van tijd begonnen serverbeheerders mode 7 uit te schakelen voor publieke clients, zodat hun servers niet kwetsbaar waren. Niettemin zijn er nog steeds kwetsbare NTP-servers en kwaadwillende actoren die erop uit zijn om bij allerlei aanvallen misbruik van deze servers te maken.

Aangezien de problematische query's een aparte NTP-bedieningsmodus (mode 7) gebruiken, is het vrij eenvoudig om clients te identificeren die deze query's naar any.time.nl sturen. In de verzamelde dataset werden in totaal 8.136 query's verzonden door 1.021 clients verspreid over de 30 servers. De bovenstaande tabel toont de 10 IP’s die de meeste mode-7-query’s verstuurden, samen met de anycast-site die de IP’s bereikten en het land waar het IP vandaan komt. Hoewel IP 88.162.105.2 (geanonimiseerd) bijna 1.000 query's naar de locatie mia1-1-verstuurde, blijkt uit nadere analyse van de query's dat het IP ook 3 tot 5 query's naar elk van de andere 29 locaties verstuurde. Dat is geen normaal gedrag: als een client eenmaal naar een bepaalde locatie is gerouteerd, behoren volgende query's naar die locatie te worden verstuurd. Natuurlijk zijn er soms uitzonderingen waarin clients ook query's naar andere locaties in hetzelfde land kunnen versturen, zoals bij sin1-1 en sin1-2. Op het eerste gezicht lijkt dit op verdacht gedrag en typisch iets voor een scanner. Uit analyse van de temporele spreiding van mode-7-query's afkomstig van de IP's in kwestie blijkt dat de IP's de mode-7-query's in afzonderlijke bursts versturen. Sommige IP's, zoals 195.158.90.138, zijn de hele dag maar één keer actief, terwijl andere, zoals 195.158.75.168, 2 bursts in 24 uur versturen. Verder zijn er, anders dan bij een normaal patroon van clientverkeer, perioden waarin de verdachte IP's geen enkel verzoek versturen. In combinatie met het feit dat de reputatiescores voor het AS-nummer van de IP's een hoge mate van spam-activiteit laten zien, suggereert dit dat de IP's in kwestie toebehoren aan scanners die de IPv4-ruimte afzoeken op kwetsbare NTP-servers.

Conclusie

Aangezien NTP net als DNS een van de kernprotocollen van het internet is en daarmee cruciaal voor het functioneren van apparaten, zijn de gegevens die in mijn onderzoek zijn verzameld in zoverre waardevol dat ze een grondige analyse van de staat van het huidige NTP-ecosysteem mogelijk maken. Uitgebreide analyse van de gegevens laat zien dat de NTP-pool gebruikers een cruciale dienst verleent, maar grote behoefte heeft aan meer servers voor het afhandelen van NTP-verkeer buiten Noord-Amerika en Europa, met name in Azië en Afrika. De anycast-server van SIDN levert een essentiële bijdrage met betrekking tot het aanpakken van dit gebrek aan servers. Er zijn dringend meer van dit soort initiatieven nodig. De implementatie van anycast blijkt uitermate geschikt te zijn om de vraag van clients in het huidige NTP-ecosysteem af te handelen, vooral omdat hiermee locaties worden bediend die niet veel andere NTP-serveropties tot hun beschikking hebben. Mijn resultaten laten ook zien dat hoewel de adoptie van de meest recente NTP-versie is toegenomen in vergelijking met voorgaande jaren, een aanzienlijk deel van de clients nog steeds met verouderde NTP-versies werkt. Veel clients gedragen zich niet in lijn met de RFC en specificeren gereserveerde of onjuiste waarden in NTP-pakketten. Verder wordt het gebruik van NTP actief belemmerd door de architecturale ontwerpen die door veel ISP's en netwerkproviders worden gebruikt en waardoor servers worden overspoeld door excessieve aantallen NTP-query's. Een ander probleem is dat met de huidige architectuur de ingebouwde frequentielimieten voor servers niet effectief zijn en afbreuk doen aan hoe de client het gebruik van het protocol ervaart. Tot slot leidde analyse van in de dataset aangetroffen sporen van kwaadaardig verkeer tot de conclusie dat NTP nog steeds een rendabele aanvalsvector is en serverbeheerders stappen dienen te ondernemen om hun implementaties te beschermen.

Meer lezen?

De volledige versie van mijn afstudeeronderzoek is beschikbaar op de website van SIDN Labs. Hierin vind je een veel gedetailleerdere analyse van de waarnemingen en wordt ingegaan op diverse andere punten. Een interessant eerder onderzoek op het gebied van de karakterisering van NTP-verkeer is Masters of Time: An Overview of the NTP Ecosystem door Rytilahti e.a.