Met trots kondigen we aan ons ENTRADA platform als een open source project te lanceren. ENTRADA helpt onderzoekers en netwerk engineers om efficiënt grote hoeveelheden netwerkverkeer te analyseren, bijvoorbeeld om afwijkingen en bedreigingen te detecteren. We hebben ENTRADA ontwikkeld om DNS-verkeer te onderzoeken en daarmee de veiligheid en stabiliteit van de diensten van SIDN voor .nl-domeinnamen verder te verhogen (vandaar het acroniem: “ENhanced Top-level Domain Resilience through Advanced Data Analysis”).
Wat is ENTRADA?
In een notendop is ENTRADA een “big data” platform dat we hebben ontwikkeld om grote hoeveelheden netwerkgegevens te verwerken en snel te analyseren. In meer technisch termen is het een high-performance data-streaming warehouse (DSW).ENTRADA kan deze prestaties leveren dankzij twee belangrijke kenmerken:
Het maakt gebruik van een geoptimaliseerd kolom-georiënteerd bestandsformaat (Apache Parquet)
Het maakt gebruik van een high-performance SQL zoekmachine (Apache Impala)
Voor onze prestatieanalyse en meer details verwijzen we graag naar ons research paper.
Wie kan het gebruiken
Domeinregistry’s die geïnteresseerd zijn in de ontwikkeling van DNS big data applicaties
Onderzoekers en netwerkengineers die een high-performance platform nodig hebben voor de analyse van netwerkverkeer
Belangrijkste kenmerken
Prestatie: analyseren van de Parquet-equivalent van 50 TB aan PCAP data in minder dan 3,5 minuten, met een klein 6-node cluster (4 data processing nodes)
Interface: gebruik gemakkelijke SQL- statements om je data te analyseren
Schaalbaar: je hoeft slechts meer nodes toe te voegen voor een snellere verwerking
Ingebouwde conversie van DNS/IP/TCP/UDP/ICMP netwerkgegevens naar Parquet data
Open-sourcee
ENTRADA-gebruik voor .nl
Het afgelopen jaar hebben we ENTRADA bij SIDN Labs gebruikt. Momenteel draait het op een betrekkelijk klein cluster van 6 nodes (met 4 data-nodes), dat ongeveer twee jaar aan DNS-verkeer van onze .nl-nameservers bevat. Dit komt overeen met meer dan 100 miljard query’s en antwoorden. Elke dag groeit de database met zo’n 400 miljoen query’s.We gebruiken ENTRADA als een platform om applicaties te ontwikkelen die gericht zijn op het verder vergroten van de stabiliteit en veiligheid van de .nl-zone en de wereldwijde internetinfrastructuur. In ENTRADA slaan we DNS-verkeer van .nl op en analyseren het om afwijkingen en bedreigingen te detecteren. Het heeft veel potentiële toepassingen: we werken bijvoorbeeld aan het implementeren van algoritmen om phishing te detecteren en voor de identificatie van botnetverkeer (https://irtf.org/raim-2015-slides/ic/moura.pdf).
Open source
We hebben besloten om ENTRADA open source te maken, omdat we geloven dat de bredere netwerkanalysegemeenschap daar ook profijt van kan hebben. Door ENTRADA te lanceren als een open source-project, hopen we een community van ENTRADA-ontwikkelaars en gebruikers te bewerkstelligen. Hierdoor ontstaan mogelijk nieuwe ENTRADA-toepassingen die de stabiliteit en veiligheid van het internet vergroten en die we zelf niet hadden voorzien.Heb je vragen over het gebruiken of het draaien van ENTRADA in je organisatie, mail dan naar entrada {at} sidnlabs.nl.
Voor meer informatie, zie de ENTRADA-projectsite op: http://entrada.sidnlabs.nl/