Onze workshop over machine learning voor de TMA PhD School

TMA PhD School

De PhD School besloeg de eerste 2 dagen van de Network Traffic Measurement and Analysis (TMA) conference, een uiterst selectief forum voor peerreviewed onderzoek naar diverse aspecten van netwerkmetingen. TMA is een van de congressen waar we regelmatig aan deelnemen en papers aan voorleggen, omdat het aansluit bij ons onderzoek naar internetsecurity. Het congres vond dit jaar plaats in de laatste week van juni aan de Universiteit Twente in Enschede.

Net als in voorgaande jaren was het doel van de PhD School ook dit jaar om promovendi die werkzaam zijn op het gebied van netwerkmetingen in contact te brengen met zowel doorgewinterde academici en experts uit de industrie als hun medestudenten. De promovendi konden deelnemen aan interactieve presentaties, discussies en praktische workshops rond het thema van dit jaar, Network Intelligence and Measurements. Daarnaast waren er de gebruikelijke postersessies, waarin studenten hun huidige onderzoekswerk aan andere studenten en docenten kunnen presenteren en daar feedback op krijgen.

Figuur 1: Thijs van den Hout presenteert tijdens een workshop over het operationaliseren van machinelearningmodellen tijdens TMA PhD School (foto: Mattijs Jonker).

SIDN Labs als medeorganisator

Voor deze tiende editie van de TMA PhD School was SIDN Labs een van de medeorganisatoren. Een van onze belangrijkste bijdragen was onze workshop over de operationalisering van machinelearningmodellen. Het doel was om de studenten machine learning te laten ervaren in een andere dan hun vertrouwde academische setting en ze tegelijkertijd wat nieuwe machinelearningtechnieken bij te brengen.

Dit jaar waren we ook een van de sponsors van de TMA en zorgden we ervoor dat de organisatoren vergaderruimtes konden huren, een sociaal evenement konden organiseren (in het Oyfo Techniekmuseum), reisbeurzen konden verstrekken aan studenten die naar Enschede wilden komen, enzovoort.

Quiz: Machine learning in academische versus operationele settings

Het eerste deel van onze workshop was gericht op het bespreken van de verschillen tussen de toepassing van machine learning in een academische setting vergeleken met een operationele setting. We deden een quiz waarin de deelnemers hun stem uitbrachten over zaken als het belang van explainable AI binnen een of beide settings en bespraken waarom ze bepaalde aspecten van machine learning belangrijker vonden in een academische of operationele setting.

Daarna introduceerden we een probleemstelling voor 2 codeeropdrachten. We kozen voor een probleem uit het domein van de internetsecurity, dat de focus is van ons onderzoek bij SIDN Labs. Het ging om een project waar we momenteel aan werken, namelijk de classificatie van malafide domeinnaamregistraties binnen .nl. De gegevens die we gebruiken om de classifiers voor dat doel te trainen, bevatten veel persoonlijk identificeerbare informatie uit de registratiedatabase van .nl, die we uiteraard niet konden vrijgeven. Voor de workshop kozen we daarom voor een openbaar beschikbare dataset met een vergelijkbaar uitgangspunt en profiel: de classificatie van frauduleuze creditcardtransacties.

Figuur 2: Thymen Wabeke presenteert tijdens een workshop over het operationaliseren van machinelearningmodellen tijdens TMA PhD School (foto: Mattijs Jonker).

Opdracht 1: Ontwikkeling van een classifier voor machine learning

Het doel van de eerste opdracht was het ontwikkelen van een initieel machinelearningmodel dat creditcardtransacties kon classificeren als frauduleus of legitiem. We benadrukten hoe belangrijk het was om het juiste beoordelingscriterium te kiezen (bv. de precision-recall curve) en met stakeholders te praten (zoals abuse-analisten en productmanagers) om vast te stellen welke soorten fouten over het algemeen problemen veroorzaken en welke soorten dat niet doen. Een daaraan gerelateerde overweging is of het machinelearningmodel meer waarde moet hechten aan hoge nauwkeurigheid of aan goede interpreteerbaarheid.

Ten slotte probeerden de deelnemers hun initiële modellen uit op een dataset die ze niet eerder gezien hadden, om tot de ontdekking te komen dat hun modellen niet zo goed presteerden als ze misschien hadden gehoopt. Zo kwamen we vanzelf uit bij de tweede opdracht: het verbeteren van hun modellen zodat ze konden worden gebruikt in een operationele setting.

Opdracht 2: Iteratieve verbetering door middel van active learning

Voor de tweede opdracht simuleerden we een scenario waarin experts elke week 50 creditcardtransacties als frauduleus of legitiem labelden. Na elke labelronde konden de studenten hun machinelearningmodellen opnieuw trainen met behulp van de toegevoegde trainingsgegevens en ze op die manier iteratief verbeteren.

Dit proces wordt active learning genoemd. Het maakt het mogelijk om machinelearningmodellen aan de hand van een aanvankelijk minimale hoeveelheid ‘ground truth’ datapunten steeds beter te maken, waardoor het labelen minder kosten met zich meebrengt. Het succes van active learning hangt af van de informatieve waarde van de datapunten die uit een grote groep ongelabelde data worden geselecteerd. Er bestaan verschillende strategieën voor het selecteren van informatieve datapunten en we vroegen de studenten om die strategieën te onderzoeken en er een te kiezen die goed presteerde bij de huidige taak.

Aan het einde van de opdracht hadden de studenten hun machinelearningmodellen verbeterd. We sloten de workshop af met een bespreking van de verschillende strategieën die de studenten hadden gebruikt en het resultaat dat ze hadden behaald.

We kijken terug op een geslaagde workshop

We zijn heel blij dat we de kans hebben gekregen om een workshop te organiseren tijdens de TMA PhD School en de deelnemers te helpen meer inzicht te krijgen in de grondbeginselen van het toepassen van machine learning in een operationele omgeving. De feedback die we kregen was over het algemeen zeer positief en de studenten vonden met name de praktische opdrachten erg leuk.

We zijn van plan om in de toekomst soortgelijke workshops te geven op andere locaties en andere opdrachten te bedenken om de wereldwijde internetgemeenschap te inspireren op zoek te gaan naar manieren om de veiligheid van het internet verder te verbeteren door (verantwoord) gebruik van machine learning.

Bekijk de opdrachten van de workshop

We hebben de code voor de opdrachten en de bijbehorende dia's gepubliceerd, zodat jij de workshop ook kunt doen (zelfs als je geen promovendus bent ;-)).

We horen graag van je als je feedback hebt of als je het met ons wilt hebben over mogelijke samenwerking.