Q&A over het NMO Luisteronderzoek

Heb je vragen over de luistercijfers?

Op dinsdag 12 december 2023 hield NMO een webinar over het NMO Luisteronderzoek. Na bijna twaalf maanden de radio-currency te leveren, willen we terugblikken en vooral ook stilstaan bij alle verbeteringen en innovaties die inmiddels zijn uitgevoerd of op de agenda staan. Bovendien willen we alle vragen beantwoorden. Kijk en vooral luister naar onderstaande uitzending.

In de Q&A hieronder kun je ook veel antwoorden op je vragen vinden. Heb je nog een vraag die niet beantwoord is, mail ons via info@audify.nl.

Algemeen

Waarom een nieuw luisteronderzoek?
Een nieuwe meetmethode was nodig om de wens fijnmaziger meten en sneller rapporteren in te willigen. En een passieve meter levert accuratere data en is minder belastend voor de respondent.

Hoe weten we dat het onderzoek goed genoeg is?
NMO heeft het onafhankelijke auditbureau CESP de opdracht gegeven om het nieuwe luisteronderzoek te evalueren. CESP stelt na uitgebreid onderzoek vast dat de nieuwe meting betrouwbaar is, methodologisch voldoet en een bruikbare currency voor de Nederlandse media-industrie oplevert.
CESP voerde een audit van het onderzoeksysteem en een uitgebreide technische test uit met betrekking tot de kwaliteit van de MediaCell+-app die wordt gebruikt voor de meting. De technische test bestond uit meer dan zeshonderd tests. De tests leveren een positief resultaat op met een matchingspercentage van 97% van alle radiosessies en een rapportage van 98% van de luistertijd. Dit is ruim boven de internationale standaard van 95% accuratesse.
CESP beschouwt het nieuwe NMO Luisteronderzoek als een echte innovatie voor de Nederlandse media-industrie. De keuze voor de elektronische passieve meter levert een fijnmazig inzicht op in het luistergedrag van de Nederlandse bevolking (minuten versus kwartieren), wat nieuwe mogelijkheden voor analyses opent. CESP concludeert dat het onderzoek “fit-for-purpose” is en doet nog een aantal suggesties voor mogelijke verbeteringen en heroverwegingen. NMO, Ipsos en Kantar Media hebben al een aantal verbeteringen doorgevoerd en werken samen om de andere suggesties van CESP op te volgen.
Vanwege de grote methodologische veranderingen adviseert CESP om de uitkomsten van het luisteronderzoek niet te vergelijken met de resultaten van het voorgaande onderzoek.

Als een respondent een podcast luistert, hoe wordt dit in het onderzoek gerapporteerd?
Podcasts worden niet meegenomen in dit onderzoek, omdat het geen onderdeel is van de radio currency. We publiceren wel maandelijks de NMO Podcast Standaard. Dit is een standaard op basis van censusdata waardoor de podcasts met elkaar vergeleken kunnen worden.

Jongeren (13-17 jaar) worden nog steeds via een dagboekje gemeten omdat zij onvoldoende blijken mee te willen doen. Is de methode dan wel futureproof?
Respons op onderzoek is een toenemende uitdaging voor veel onderzoekbureaus. Er zal continu gekeken moeten worden naar nieuwe mogelijkheden om goed en representatief onderzoek te doen. Het zal ongetwijfeld betekenen dat er in de toekomst aanpassingen nodig zijn. Ook is het zo dat Apple niet toestaat om minderjarigen te tracken. Daarom is binnen het NMO Luisteronderzoek gekozen voor de e-diary oplossing voor de meting van jongeren. Deze data worden geïntegreerd met de 18+ data waardoor rapportage op weekniveau voor alle respondenten van 13 jaar en ouder in een gezamenlijke dataset kan plaatsvinden.

Wanneer gaan censusdata (audiostreams) onderdeel worden van currency?          
Het combineren van censusdata en paneldata is een innovatietraject voor de komende jaren. Wanneer censusdata een onderdeel worden van de currency is op dit moment niet te zeggen. Dit staat hoog op het wensenlijstje van NMO. Jullie worden op de hoogte gebracht wanneer integratie van deze data zal gaan plaatsvinden. Er worden al verkenningen gedaan op dit project.

Privacy

Hoe zit het met de privacy van deelnemers? Verkoop je je ziel aan de duivel als je meedoet?
Uiteraard voldoet het NMO Luisteronderzoek aan alle privacyvoorwaarden. Alle NMO partijen kunnen het zich natuurlijk niet veroorloven om hieromtrent steken te laten vallen. De app registreert het radioluistergedrag via gecodeerde data, niemand luistert mee. Uiteraard worden alle resultaten geanonimiseerd.

Waarom moeten respondenten een VPN installeren met een root certificaat, kan Ipsos dan alles inzien en hoe gaat Ipsos hiermee om?  
Dit is technisch noodzakelijk om online luistergedrag te kunnen meten. We werken met whitelists voor het tracken van websites. Dus alleen relevant mediagedrag (whitelisted) wordt gemeten en niets anders. Uiteraard worden alle resultaten geanonimiseerd.

Missen we mensen die privacy-issues een probleem vinden? Is het panel daardoor anders?
In principe geldt deze vraag voor alle soorten onderzoek. NMO doet er alles aan om goed uit te leggen hoe de privacy wordt gewaarborgd, zodat het geen reden hoeft te zijn om niet mee te doen.

Kan NMO aantonen dat privacyzorgen geen invloed hebben op de representativiteit voor luistergedrag?   
We zien hier geen atypisch patroon. Dit is uitgezocht door Ipsos.

Meting: techniek

Hoe gaat de meting in zijn werk: wat kan de meter oppikken? Binnen welke cirkel meet de app nog het audiosignaal?
Het meten (ontvangen) van het radiosignaal wordt zoveel mogelijk nagebootst met het menselijk oor. Daar zijn uitgebreide hoteltests voor gedaan. Zoveel mogelijk varianten van smartphones zijn hierbij meegenomen. Het gaat hierbij niet om het aantal meters maar om het aantal decibellen.

Hoe wordt er gemeten? Moeten daar nog bepaalde programma’s voor worden aangeschaft?   
Er wordt gemeten door middel van de MediaCell+ app in combinatie met een e-diary voor de 13 tot 17 jarigen. De MediaCell-app herkent een zender op basis van audiomatching en encoding. Alleen voor dat laatste moet een zender zelf een signaal meegeven aan het kanaal. Dit gebeurt via een hardware of via een softwareoplossing. Voor audiomatching hoeft een zender zelf niets te doen. De zender moet alleen worden toegevoegd aan de reference-site van SoundAware. Encoding wordt momenteel enkel gebruikt voor platformherkenning. Per 1 januari 2024 wordt de encoding data toegevoegd aan de currency.

Als een panellid in slaap valt bij de radio, wordt hij/zij dan nog wel als luisteraar meegeteld?
Ja, de app meet dan door. We hebben complianceregels die vereisen ondermeer dat de respondent voldoende activiteit moet laten zien op de telefoon om meegeteld te worden steekproef.

Voor welk audio matching window is gekozen en waarom?
Het window voor audioherkenning is van -100 seconden tot +350 seconden. Dit is om buffering (met name door online beluistering) zo min mogelijk van invloed te laten zijn en alle beluistering naar de betreffende radiozender op te vangen.

Wat is simulcast en hoe gaat men daarmee om?
Simulcast betekent dat twee of meer mediakanalen hetzelfde audiosignaal uitzenden, bijvoorbeeld bij een persconferentie. We hebben regels opgesteld die luistertrajecten toewijzen aan die radiozender of TV-zender die voor of na de simulcastsituatie ook gemeten wordt. Alle grote radiozenders maken ook gebruik van encoding, dit kan ook helpen bij het vaststellen van de juiste referentie.

Met veel lawaai in de auto (bijvoorbeeld door gesprekken) registreert de app wel een radiozender. Er wordt echter niet actief geluisterd. Is het hardste geluid dan niet leading?
De microfoon pikt op wat hoorbaar is voor het menselijk oor, dus indien dit het geval is, wordt de radiozender geregistreerd.

Hoe kan het dat de Mediacell+ app niet werkt met Apple/Android Auto? Dan wordt er dus geen luistertijd gemeten, hoe lost NMO dat op?
Bij sommige respondenten valt de MediaCell+ app uit als zij Apple Carplay gebruiken. Dit issue heeft niet te maken met de techniek van audiomatching, encoding of reality mine maar wordt veroorzaakt door de combinatie van het model telefoon, de toestelsoftwareversie en het automerk/model. Er zijn veel combinaties te maken met deze variabelen en we hebben nog niet kunnen ontdekken welke exacte combinatie van variabelen de trigger geeft en het uitvallen van de app veroorzaakt. Uiteraard heeft het zoeken naar de oorzaken en een mogelijke oplossing alle aandacht van NMO. In de exitvragenlijst wordt uitgevraagd wat de ervaringen waren met Apple Carplay zodat we meer inzicht krijgen, ook in de grootte van het issue (waarschijnlijk zeer beperkt). Uit de exit-vragenlijst die in het voorjaar van 2023 is uitgevoerd, blijkt dat slechts een enkele uitvaller als exit-reden opgeeft dat er problemen zijn met Apple Carplay/Android Auto.

Hoe werkt het met aggregatie-apps die je luistert met oortjes, kun je dan zien welke zender je luistert of alleen dat de app aanstaat?
Door de methode van Reality Mine (naast Mediacell) is het ook mogelijk om in de meeste gevallen de specifieke zender te registreren via een platform.

Presteren verschillende merken smartphones anders met audiomatching?
Dit is uitvoerig getest. Er kan een verschil in zitten afhankelijk van de kwaliteit van de microfoon, maar alle typen Android en iOS smartphones vangen voldoende op om een betrouwbare meting uit te voeren.

Luisterrapporten zijn nu puur gebaseerd op audiomatching. Zou nauwkeuriger zendermatching op basis van de watermarking mogelijk zijn?
Watermarking/encoding maakt de methode niet per sé nauwkeuriger. We kunnen hiermee wel een extra validatie doen en we kunnen in de combinatie van beide methodieken wel nog meer luistergedrag opvangen. Vanaf 1 januari 2024 wordt ook encoding ingezet voor de currency dataset.

Waarom zijn er geen overige zenders meer? Is dat erg? Zouden ze eventueel wel gemeten kunnen worden?
We hebben geen categorie overig meer omdat we met de elektronische meter alleen audio kunnen meten waarvan we een referentiekanaal hebben ingesteld (via Soundaware) waar we het luistergedrag aan toe kunnen wijzen. Andere audio vindt geen match en wordt dus niet gemeten. Alle zenders die gemeten willen worden, kunnen zich aansluiten. Er worden nu veel meer zenders gemeten, die zaten voorheen in de categorie overig.

Wordt elke lokale omroep ook gemeten?
Nee dat is niet het geval, we meten zenders die zijn aangesloten via Audify of NPO. Zenders die gemeten willen worden, kunnen zich melden bij Audify. Er zijn geen technische belemmeringen voor lokale zenders om gemeten te worden. Wel kan het zijn dat in het panel te weinig luisteraars worden gevonden om betrouwbaar gerapporteerd te kunnen worden als lokale zender.

Worden Spotify en Youtube ook gemeten?
Ja NMO meet deze kanalen wel maar rapporteert deze niet. Deze partijen zijn niet aangesloten bij het NMO Luisteronderzoek.

Dus van Spotify weten we wel dát het wordt gebruikt/geluisterd, maar niet wát, aangezien er geen audiomatching wordt gebruikt?
Het gebruik van Spotify kunnen we inderdaad aflezen via de Reality Mine methode en niet vanuit Audio Matching.

Panel: representativiteit

Hoeveel respondenten zitten wekelijks in de rapportage?
Het panel bevat wekelijks minimaal 2.800 respondenten van 18 jaar en ouder die gemeten worden via de MediaCell+ app en 300 logs van de jongerendoelgroep 13-17 jaar (over acht weken verspreid en per week toegevoegd aan het panel).

Is het onderzoek representatief voor luistergedrag? Hoe wordt dat vastgesteld?
Ja, dit is door middel van diverse testen (nationaal en internationaal) getoetst. Er is geen normering voor hoe de Nederlander luistert. De normering vindt plaats via de steekproef die representatief is voor de Nederlander van 13 jaar en ouder. De definitie van luisteren is in het NMO Luisteronderzoek natuurlijk anders dan in het vorige onderzoek (Radiolog via GfK). De nieuwe definitie is: technisch hoorbaar voor de meter, in een representatief panel voor Nederland 13+.

Het panel is in aantal gehalveerd ten opzichte van het NLO-panel. Is de samenstelling (het profiel) van de steekproef nog steeds hetzelfde?
Jazeker, om representatief te zijn voor heel Nederland heeft NMO een matrix van 40 cellen die we allemaal apart voldoende gevuld willen hebben. De voornaamste opgenomen variabelen zijn geslacht, leeftijd, sociale klasse, opleiding, werkzaamheid, huishoudsamenstelling en mediaregio. Daarnaast passen we een weging toe op 82 doelgroepvariabelen om de representativiteit verder te optimaliseren.

Hoe is de representativiteit binnen de regio?
In de panelwerving wordt geworven op alle media-regio’s. In de weging worden alle media-regio’s gecrost met de drie doelgroepkenmerken leeftijd, geslacht en sociale klasse en gezinsgrootte.

Missen we mensen die niet zo technisch onderlegd zijn? Is het panel daardoor anders?
Het panel is inderdaad totaal verschillend. Dit komt door twee zaken: de werving verloopt via een ander acces panel en er is een hele andere opdracht (app installeren en telefoon bij je dragen i.p.v. Radiolog invullen). Ipsos doet er alles aan om de opdracht zo goed mogelijk uit te leggen en alle drempels weg te nemen. Hierdoor willen we de kans dat iemand afhaakt vanwege de techniek zo klein mogelijk houden.

Als het aantal respondenten met migratieachtergrond twee keer zo hoog is dan in het oude onderzoek, waarom vindt NPO het dan nog niet voldoende?
Dat is niet aan NMO, zenders bepalen zelf of ze gemeten willen worden. De werving van deze doelgroep is een breder spelend probleem en er wordt NMO-breed aan gewerkt om deze doelgroep nog sterker in de verschillende onderzoeken te krijgen.

Data, rapportage en transitie

Hoeveel panelleden moeten er in de meting zitten als ik iets wil rapporteren over het bereik van een programma?
De minimale eis om te kunnen rapporteren is 14 bereikten. Deze eis is gelijk voor alle meeteenheden en resultaattypen.

Waarom wijkt mijn handmatige GRP-berekening (bereik x gcf) af van het aantal GRPs in de evaluatie?
De GRPs en het bereik worden allebei met een andere steekproefregel berekend; GRPs worden berekend op basis van de WEEK-steekproef en het bereik op basis van de PERIODE-steekproef. Als je een campagne-evaluatie doet van één week, zul je geen verschillende zien omdat de WEEK en PERIODE steekproef gelijk zijn. Bij een campagne van meerdere weken zie je wel verschillen. Hoe langer de periode, hoe meer de periodesteekproef afwijkt van de weeksteekproef. Het verschil wordt veroorzaakt doordat het panel niet elke week hetzelfde is, er vallen mensen uit en komen mensen bij. Hoe langer de periode, hoe meer dynamiek in het panel. Hoe meer dynamiek: hoe meer de WEEK-resultaten zullen afwijken van de PERIODE-steekproef. Het NMO stelt strenge eisen aan de panelleden om toegelaten te worden aan de weeksteekproef en niet elke/iedere respondent is elke week voldoende ‘compliant’ om te worden opgenomen in de weekrapportage

Waarom wordt er niet gekozen om alle resultaattypen via de PERIODE steekproef te laten berekenen?
Als we de GRP’s op basis van de periodesteekproef berekenen, hebben we geen stabiele GRP-rapportage van een blok. Afhankelijk van de geselecteerde periode, krijg je een andere GRP per uitzenddatum. Het bereik berekenen op de weeksteekproef is ook geen optie; je hebt een periodesteekproef nodig om de cumulatie van bereik over de periode te kunnen zien.

Sommige lokale zenders hebben relatief veel bereik buiten hun eigen verzorgingsgebied, hoe kan dat?
Dit kunnen forenzen zijn die wel in het uitzendgebied aanwezig zijn. Ook kunnen we online overal naar luisteren. Daarnaast kan het ook een false positive zijn. Dit proberen we te voorkomen door de rapportageregel toe te passen die alleen luistergedrag van meer dan 180 seconden toestaat in de rapportage.

Hoe kan het dat vanaf week 40 het bereik is gedaald?
Een aantal zenders liet bereik zien dat als onrealistisch hoog werd beschouwd, dit was met name zichtbaar bij de wat kleinere zenders. Een veronderstelling was dat dit bereik voor een belangrijk deel was gebaseerd op ‘false positives’. In samenwerking met de Technische Commissie (TC) van NMO heeft Ipsos gewerkt aan een oplossing. De oplossing bestaat uit een sterk verbeterd audiomatching-algoritme. Door de toepassing van dit algoritme wordt een groot aantal ‘false positives’ vermeden. Daarmee verval de rapportageregel voor externe publicaties dat het bereik van een zender gebaseerd moet zijn op minimaal vijf minuten aaneengesloten luisteren.

Is de meting van Grand Prix Radio aangepast?
De meting van de radiozender Grand Prix Radio is aangepast zodat de kans op false positives in de rapportage verkleind wordt. De aanpassing geldt vanaf week 34 waarin het Formule 1 raceweekend in Zandvoort (van 25 t/m 27 augustus) plaatsvond.
Grand Prix Radio verzorgt tijdens de Formule 1 raceweekenden speciale uitzendingen met het commentaar van Olav Mol en Jack Plooij. Doordat de metingen van het NMO Luisteronderzoek zijn gebaseerd op audiomatching, bestond er een kans dat ook ander vergelijkbaar geluid, zoals dat van een televisie-uitzending, meegenomen werd in de resultaten van een radiozender. Om deze false positives te reduceren, is de meting uitgebreid met een tweede techniek om zenders te herkennen, namelijk die van encoding. Bij encoding wordt een voor het menselijk oor onhoorbare code met het audiosignaal meegestuurd. Op die manier kan exact worden vastgesteld of het door de meter opgepikte geluidspatroon hoort bij de juiste zender.
In de afgelopen weken heeft Grand Prix Radio samen met Ipsos en de Technische Commissie van NMO hard gewerkt aan de implementatie van de encoding-oplossing. Uit de testen is gebleken dat de oplossing werkt en dat het een valide luisterpatroon oplevert. De pieken in beluistering die eerder zichtbaar waren en die vermoedelijk verband hielden met het TV-signaal, zijn nu uit de data. De Technische Commissie van NMO heeft dan ook geadviseerd om deze oplossing toe te passen en het Bestuur heeft dit advies overgenomen.
Met ingang van 21 augustus 2023 worden de resultaten van de zender Grand Prix Radio tijdens de raceweekenden (van vrijdag t/m zondag) voortaan gebaseerd op encoding. Buiten de racedagen om vormt audiomatching de basis, net zoals bij alle andere deelnemende radiozenders.

In de publicatie staan “extra zenders” vermeld, waarom is dat?
Dit zijn de themakanalen, bijvoorbeeld een non-stop versie, van de hoofdzender en worden gezamenlijk gerapporteerd onder de noemer extra zenders.

Veel radiozenders hebben ook themazenders naast de hoofdzender. Telt het bereik op deze zenders mee voor de hoofdzender? Bijvoorbeeld 538 maar ook 538 Ibiza.
Nee dit is niet het geval. Deze worden gescheiden gemeten en ook apart gerapporteerd. In het wekelijks persbericht hebben we wel een gezamenlijke post, bijvoorbeeld “Radio 538 extra zenders”, hierin worden alle themazenders van Radio 538 bij elkaar opgeteld. Audiopartijen mogen wel rapporteren op merkniveau en alle zenders (van bijvoorbeeld Radio 538) bij elkaar optellen, als zij dit maar duidelijk communiceren.

Onder de zenders staan er verschillende onderdelen. DAB+, Cable, FM, Stream, Live radio. Sommige zenders hebben maar één onderdeel. Klopt dit?
Ja dat klopt omdat niet alle zenders ervoor kiezen encoding (watermarking) te gebruiken voor het meten van een specifiek platform.

Hoe komt het dat audio-other-gedeelte tot en met week 39 heel groot was en vanaf week 40 veel kleiner?

Zenders die in het NMO Luisteronderzoek gebruikmaken van encoding, kunnen aan de hand van deze techniek inzicht krijgen in het platform waarop geluisterd is (zoals FM, DAB+ of IP). Van luistersessies die alleen via audiomatching worden geregistreerd, kan niet worden vastgesteld via welk platform dat gebeurt en deze trajecten worden gerapporteerd onder de noemer audio-other. Ipsos heeft in opdracht van de Technische Commissie (TC) van NMO een oplossing uitgewerkt die het aandeel van audio-other terugbrengt van 12% naar gemiddeld circa 3%. De oplossing bestaat uit het hercoderen van luistersessies waarvan geen platform-informatie in de meting zit. Deze sessies worden voorzien van een platform-kenmerk dat is gebaseerd op eerder luistergedrag van het panellid. Voor de hercodering wordt het dichtstbijzijnde luistertraject naar dezelfde zender gebruikt om het platform toe te wijzen. Hierbij wordt gekeken van het luistergedrag van een hele week.

Veel doelgroepvariabelen van specifieke campagnedoelgroepen zijn verdwenen. De doelgroepen zijn niet meer te gebruiken. Wordt dit wel weer mogelijk?
Dit hangt af van de software waarmee je werkt. Voor specifieke vragen over dit onderwerp kun je terecht bij je softwarebureau.

Zit in het totaalbereik van de campagne, naast radio en DAB, ook de preroll op themazenders (de audiocommercial als de radiostream nog niet is gestart)?
Nee, een online pre-roll die wordt afgespeeld vóór de lineaire radio-uitzending zit niet in de meting.