kohera-logo-regular.svg

De Tijdloze 2020: follow-up

Op 31 december zaten we met enkele Koherianen opnieuw gekluisterd aan onze radio. Zouden we erin geslaagd zijn het voorspellingsmodel zodanig aan te passen dat we De Tijdloze Top 100 van Studio Brussel juist hadden? Of toch beter dan vorig jaar? Je leest het hieronder!

Langer wachten op een voltreffer

Dit jaar moesten we wat langer luisteren om onze eerste voltreffer te horen. Op nummer 87 was het zover! Een perfecte voorspelling over de plaats van U2 met With or Without You. Voor de rest van de lijst gelde ook dit jaar opnieuw hetzelfde verhaal: hoe dichter bij de top 10, hoe beter de voorspelling. Acht van de tien nummers uit de top 10 hadden we juist. Vijf daarvan zelfs op de correcte plaats.

ARIMA, Python, AIC en SARIMA

De voorspelling van De Tijdloze kan gezien worden als een predictie over een tijdseenheid heen – namelijke editie. Aan de hand van het Autoregressive integrated moving average- of ARIMA-model werd hiervoor een Python-script uitgewerkt. Een van de verbeteringen ten opzichte van ons vorig model brachten we aan op vlak van de minimum Akaike Information Criteria (AIC). Die berekenden we nu per lied in plaats van één optimale AIC voor het ganse model. Op basis van die individuele AIC-waardes, trainden we het model.

Verder bleek dat de seizoensvariatie die toegevoegd kan worden (SARIMA) geen betere predictie opleverde waardoor de seizoensparameter dit jaar niet meer in het model werd opgenomen.

Onvoldoende data

De grootste zwakte van onze voorspelling zat hem ongetwijfeld in onze brondata. Die bestond namelijk uitsluitend uit de historische resultaten van De Tijdloze. Daardoor verloren we niet alleen de mogelijkheid om nieuwe nummers te voorspellen, maar moesten we ook nummers laten vallen die nog geen 5 keer voorgekomen waren. Het ARIMA-model wordt namelijk steeds zwakker naarmate er minder historische datapunten zijn.

Een ander probleem dat we opmerkten bij onze voorspelling is dat we nummers die per uitzondering vorig jaar niet voorkwamen, maar ondertussen wel een gevestigde waarde aan het worden waren, heel slecht voorspeld werden door ons. Dit is een belangrijk inzicht om mee te nemen naar volgende pogingen. Het duidt immers op één van de zwaktes van het model.

Op naar volgend jaar

De beste manier om onze voorspelling te verbeteren is natuurlijk gewoon volgend jaar opnieuw proberen! Met een extra jaar aan data en vooral een extra jaar aan ervaring, proberen we zo weer een stapje dichter te komen bij de perfecte voorspelling!

Top 10 realiteit versus voorspelling

Plaats Realiteit Voorspelling
1 Pearl Jam – Black Pearl Jam – Black
2 Fleetwood Mac – The Chain Nirvana – Smells Like Teen Spirit
3 Queen – Bohemian Rhapsody Queen – Bohemian Rhapsody
4 Gorky – Mia Gorky – Mia
5 Pink Floyd – Wish You Were Here Pink Floyd – Wish You Were Here
6 Eddie Vedder – Society Lou Reed – Walk on the Wild Side
7 Dire Straits – Sultans of Swing Metallica – One
8 Nirvana – Smells Like Teen Spirit Led Zeppelin – Stairway to Heaven
9 Pink Floyd – Shine On You Crazy Diamond Pink Floyd – Shine On You Crazy Diamond
10 The Cure – A Forest Dire Straits – Sultans of Swing

 

Parameter sniffing solved with new Parameter Sensitive Plan Optimization feature

If you’re someone that works a lot with Microsoft SQL Server, there’s no doubt that you’ve had issues with an issue called “Parameter sniffing” before. Up until now, you had...

Creating maps with R and Power BI

The possibilities are infinite when it comes to creating custom visuals in Power BI. As long as you have creativity and knowledge about the right programming language, you can let...

Sending monitoring alerts through Telegram

What if you could get the ease of phone notifications for whatever monitoring alerts you need? Then we have a solution for you with the app Telegram. Some of you...

Send mails with Azure Elastic Database Jobs

The DatabaseMail feature in SQL Server and Managed Instance is widely used by many professionals. But what if you want a similar functionality in Azure SQL Database? There are options,...

Sorting matrices in Power BI

Recently I worked on a Power BI project for a client. They had a SharePoint site where they regularly published articles and wanted to pour view data into a report...

The world of data is evolving

The data landscape has changed dramatically over recent years. In the past, we mainly heard that we needed to do as much as possible “cloud-only”—but this trend has become more...