Q&A over het NMO Luisteronderzoek

Heb je vragen over de luistercijfers?

Op donderdag 9 februari 2023 zaten Frans Kok (NLO), Irena Petric (Ipsos), Liedewij Hentenaar (Audify), Johan Smit (PMA) en Ton Schoonderbeek (NMO) aan de talkshowtafel om vragen over het NMO Luisteronderzoek te beantwoorden en misverstanden in vlammen te doen opgaan. Het was met recht een vragenvuur te noemen, want vele vragen zijn gesteld. Kijk en vooral luister naar onderstaande uitzending.

In de Q&A hieronder kun je ook veel antwoorden op je vragen vinden. Heb je nog een vraag die niet beantwoord is, mail ons via info@audify.nl.

Algemeen

Waarom een nieuw luisteronderzoek?
Een nieuwe meetmethode was nodig om de wens fijnmaziger meten en sneller rapporteren in te willigen. En een passieve meter levert accuratere data en is minder belastend voor de respondent.

Als een respondent een podcast luistert, hoe wordt dit in het onderzoek gerapporteerd?
Podcasts worden niet meegenomen in dit onderzoek, omdat het geen onderdeel is van de radio currency. We publiceren wel maandelijks de NMO Podcast Standaard. Dit is een standaard op basis van censusdata waardoor de podcasts met elkaar vergeleken kunnen worden.

Jongeren (13-17 jaar) worden nog steeds via een dagboekje gemeten omdat zij onvoldoende blijken mee te willen doen. Is de methode dan wel futureproof?
Respons op onderzoek is een toenemende uitdaging voor veel onderzoekbureaus. Er zal continu gekeken moeten worden naar nieuwe mogelijkheden om goed en representatief onderzoek te doen. Het zal ongetwijfeld betekenen dat er in de toekomst aanpassingen nodig zijn. Ook is het zo dat Apple niet toestaat om minderjarigen te tracken. Daarom is binnen het NMO Luisteronderzoek gekozen voor de e-diary oplossing voor de meting van jongeren. Deze data worden geïntegreerd met de 18+ data waardoor rapportage op weekniveau voor alle respondenten van 13 jaar en ouder in een gezamenlijke dataset kan plaatsvinden.

Wanneer gaan censusdata (audiostreams) onderdeel worden van currency?          
Het combineren van censusdata en paneldata is een innovatietraject voor de komende jaren. Wanneer censusdata een onderdeel worden van de currency is op dit moment niet te zeggen. Dit staat hoog op het wensenlijstje van NMO. Jullie worden op de hoogte gebracht wanneer integratie van deze data zal gaan plaatsvinden.

Hadden we met terugwerkende kracht niet wat langer met testdata moeten werken zodat systemen beter ingericht zouden zijn en we meer/betere insights hadden?
Er is meer dan een jaar gebouwd aan het nieuwe panel en er is minstens zes maanden schaduw gedraaid. Vervolgens hebben alle zenders twaalf weken testdata tot hun beschikking gekregen. Dit zou voldoende moeten zijn om diverse analyses te maken. We zijn niet over een nacht ijs gegaan. Ook is er door alle betrokken partijen besloten om vanaf 1 januari 2023 de GfK-meting te stoppen en zijn er geen andere data meer beschikbaar.

Privacy

Hoe zit het met de privacy van deelnemers? Verkoop je je ziel aan de duivel als je meedoet?
Uiteraard voldoet het NMO Luisteronderzoek aan alle privacyvoorwaarden. Alle NMO partijen kunnen het zich natuurlijk niet veroorloven om hieromtrent steken te laten vallen. De app registreert het radioluistergedrag via gecodeerde data, niemand luistert mee. Uiteraard worden alle resultaten geanonimiseerd.

Waarom moeten respondenten een VPN installeren met een root certificaat, kan Ipsos dan alles inzien en hoe gaat Ipsos hiermee om?  
Dit is technisch noodzakelijk om online luistergedrag te kunnen meten. We werken met whitelists voor het tracken van websites. Dus alleen relevant mediagedrag (whitelisted) wordt gemeten en niets anders. Uiteraard worden alle resultaten geanonimiseerd.

Missen we mensen die privacy-issues een probleem vinden? Is het panel daardoor anders?
In principe geldt deze vraag voor alle soorten onderzoek. NMO doet er alles aan om goed uit te leggen hoe de privacy wordt gewaarborgd, zodat het geen reden hoeft te zijn om niet mee te doen.

Kan NMO aantonen dat privacyzorgen geen invloed hebben op de representativiteit voor luistergedrag?   
We zien hier geen atypisch patroon. Dit is uitgezocht door Ipsos.

Meting: techniek

Hoe gaat de meting in zijn werk: wat kan de meter oppikken? Binnen welke cirkel meet de app nog het audiosignaal?
Het meten (ontvangen) van het radiosignaal wordt zoveel mogelijk nagebootst met het menselijk oor. Daar zijn uitgebreide hoteltests voor gedaan. Zoveel mogelijk varianten van smartphones zijn hierbij meegenomen. Het gaat hierbij niet om het aantal meters maar om het aantal decibellen.

Hoe wordt er gemeten? Moeten daar nog bepaalde programma’s voor worden aangeschaft?   
Er wordt gemeten door middel van de MediaCell+ app in combinatie met een e-diary voor de 13 tot 17 jarigen. De MediaCell-app herkent een zender op basis van audiomatching en encoding. Alleen voor dat laatste moet een zender zelf een signaal meegeven aan het kanaal. Dit gebeurt via een hardware of via een softwareoplossing. Voor audiomatching hoeft een zender zelf niets te doen. De zender moet alleen worden toegevoegd aan de reference-site van SoundAware. Encoding wordt momenteel enkel gebruikt voor platformherkenning.

Als een panellid in slaap valt bij de radio, wordt hij/zij dan nog wel als luisteraar meegeteld?
Ja, de app meet dan door. We hebben complianceregels die vereisen ondermeer dat de respondent voldoende activiteit moet laten zien op de telefoon om meegeteld te worden steekproef.

Voor welk audio matching window is gekozen en waarom?
Het window voor audioherkenning is van -100 seconden tot +350 seconden. Dit is om buffering (met name door online beluistering) zo min mogelijk van invloed te laten zijn en alle beluistering naar de betreffende radiozender op te vangen.

Wat is simulcast en hoe gaat men daarmee om?
Simulcast betekent dat twee of meer mediakanalen hetzelfde audiosignaal uitzenden, bijvoorbeeld bij een persconferentie. We hebben regels opgesteld die luistertrajecten toewijzen aan die zender die voor of na de simulcastsituatie ook gemeten wordt. Alle grote radiozenders maken ook gebruik van encoding, dit kan ook helpen bij het vaststellen van de juiste referentie.

Met veel lawaai in de auto (bijvoorbeeld door gesprekken) registreert de app wel een radiozender. Er wordt echter niet actief geluisterd. Is het hardste geluid dan niet leading?
De microfoon pikt op wat hoorbaar is voor het menselijk oor, dus indien dit het geval is, wordt de radiozender geregistreerd.

Hoe kan het dat de Mediacell+ app niet werkt met Apple/Android Auto? Dan wordt er dus geen luistertijd gemeten, hoe lost NMO dat op?
Bij sommige respondenten valt de MediaCell+ app uit als zij Apple Carplay gebruiken. Dit issue heeft niet te maken met de techniek van audiomatching, encoding of reality mine maar wordt veroorzaakt door de combinatie van het model telefoon, de toestelsoftwareversie en het automerk/model. Er zijn veel combinaties te maken met deze variabelen en we hebben nog niet kunnen ontdekken welke exacte combinatie van variabelen de trigger geeft en het uitvallen van de app veroorzaakt. Uiteraard heeft het zoeken naar de oorzaken en een mogelijke oplossing alle aandacht van NMO. In de exitvragenlijst wordt uitgevraagd wat de ervaringen waren met Apple Carplay zodat we meer inzicht krijgen, ook in de grootte van het issue (waarschijnlijk zeer beperkt). Uit de exit-vragenlijst die in het voorjaar van 2023 is uitgevoerd, blijkt dat slechts een enkele uitvaller als exit-reden opgeeft dat er problemen zijn met Apple Carplay/Android Auto.

Hoe werkt het met aggregatie-apps die je luistert met oortjes, kun je dan zien welke zender je luistert of alleen dat de app aanstaat?
Door de methode van Reality Mine (naast Mediacell) is het ook mogelijk om in de meeste gevallen de specifieke zender te registreren via een platform.

Presteren verschillende merken smartphones anders met audiomatching?
Dit is uitvoerig getest. Er kan een verschil in zitten afhankelijk van de kwaliteit van de microfoon, maar alle typen Android en iOS smartphones vangen voldoende op om een betrouwbare meting uit te voeren.

Luisterrapporten zijn nu puur gebaseerd op audiomatching. Zou nauwkeuriger zendermatching op basis van de watermarking mogelijk zijn?
Watermarking/encoding maakt de methode niet per sé nauwkeuriger. We kunnen hiermee wel een extra validatie doen en we kunnen in de combinatie van beide methodieken wel nog meer luistergedrag opvangen. Momenteel wordt onderzocht of we beide technieken moeten inzetten voor de currency dataset. Dat is alleen mogelijk als alle zenders van watermarking/encoding gebruik maken en dat is nu nog niet het geval. Dus audiomatching is de currency op dit moment.

Waarom zijn er geen overige zenders meer? Is dat erg? Zouden ze eventueel wel gemeten kunnen worden?
We hebben geen categorie overig meer omdat we met de elektronische meter alleen audio kunnen meten waarvan we een referentiekanaal hebben ingesteld (via Soundaware) waar we het luistergedrag aan toe kunnen wijzen. Andere audio vindt geen match en wordt dus niet gemeten. Alle zenders die gemeten willen worden, kunnen zich aansluiten. Er worden nu veel meer zenders gemeten, die zaten voorheen in de categorie overig.

Wordt elke lokale omroep ook gemeten?
Nee dat is niet het geval, we meten zenders die zijn aangesloten via Audify of NPO. Zenders die gemeten willen worden, kunnen zich melden bij Audify. Er zijn geen technische belemmeringen voor lokale zenders om gemeten te worden. Wel kan het zijn dat in het panel te weinig luisteraars worden gevonden om betrouwbaar gerapporteerd te kunnen worden als lokale zender.

Worden Spotify en Youtube ook gemeten?
Ja NMO meet deze kanalen wel maar rapporteert deze niet. Deze partijen zijn niet aangesloten bij het NMO Luisteronderzoek.

Dus van Spotify weten we wel dát het wordt gebruikt/geluisterd, maar niet wát, aangezien er geen audiomatching wordt gebruikt?
Het gebruik van Spotify kunnen we inderdaad aflezen via de Reality Mine methode en niet vanuit Audio Matching.

Panel: representativiteit

Hoeveel respondenten zitten wekelijks in de rapportage?
Het panel bevat wekelijks minimaal 2.800 respondenten van 18 jaar en ouder die gemeten worden via de MediaCell+ app en 300 logs van de jongerendoelgroep 13-17 jaar (over acht weken verspreid en per week toegevoegd aan het panel).

Is het onderzoek representatief voor luistergedrag? Hoe wordt dat vastgesteld?
Ja, dit is door middel van diverse testen (nationaal en internationaal) getoetst. Er is geen normering voor hoe de Nederlander luistert. De normering vindt plaats via de steekproef die representatief is voor de Nederlander van 13 jaar en ouder. De definitie van luisteren is in het NMO Luisteronderzoek natuurlijk anders dan in het vorige onderzoek (Radiolog via GfK). De nieuwe definitie is: technisch hoorbaar voor de meter, in een representatief panel voor Nederland 13+.

Het panel is in aantal gehalveerd ten opzichte van het NLO-panel. Is de samenstelling (het profiel) van de steekproef nog steeds hetzelfde?
Jazeker, om representatief te zijn voor heel Nederland heeft NMO een matrix van 40 cellen die we allemaal apart voldoende gevuld willen hebben. De voornaamste opgenomen variabelen zijn geslacht, leeftijd, sociale klasse, opleiding, werkzaamheid, huishoudsamenstelling en mediaregio. Daarnaast passen we een weging toe op 82 doelgroepvariabelen om de representativiteit verder te optimaliseren.

Hoe is de representativiteit binnen de regio?
In de panelwerving wordt geworven op alle media-regio’s. In de weging worden alle media-regio’s gecrost met de drie doelgroepkenmerken leeftijd, geslacht en sociale klasse en gezinsgrootte.

Missen we mensen die niet zo technisch onderlegd zijn? Is het panel daardoor anders?
Het panel is inderdaad totaal verschillend. Dit komt door twee zaken: de werving verloopt via een ander acces panel en er is een hele andere opdracht (app installeren en telefoon bij je dragen i.p.v. Radiolog invullen). Ipsos doet er alles aan om de opdracht zo goed mogelijk uit te leggen en alle drempels weg te nemen. Hierdoor willen we de kans dat iemand afhaakt vanwege de techniek zo klein mogelijk houden.

Als het aantal respondenten met migratieachtergrond twee keer zo hoog is dan in het oude onderzoek, waarom vindt NPO het dan nog niet voldoende?
Dat is niet aan NMO, zenders bepalen zelf of ze gemeten willen worden. De werving van deze doelgroep is een breder spelend probleem en er wordt NMO-breed aan gewerkt om deze doelgroep nog sterker in de verschillende onderzoeken te krijgen.

Wat is de planning wanneer de BtoB doelgroep op orde is? Wanneer kunnen we hier met zekerheid uitspraken over doen?
De planning is dat de oplevering van de rapportagedata met de ge-update kenmerken van deze groep op woensdag 19 april (data over week 15) gereed is.

Hadden de doelgroep-issues niet getackeld moeten worden voordat het “live” ging?
Er is een extra validatie in de vragenlijst toegevoegd voor de BtoB-doelgroep, nadat bleek dat sommige respondenten de vraag ‘verkeerd’ hebben ingevuld. De afgesproken targets m.b.t. de werving van de doelgroepen en representativiteit zijn op tijd gehaald en er was dan ook geen reden om het onderzoek nog langer uit te stellen.

Data, rapportage en transitie

Hoeveel panelleden moeten er in de meting zitten als ik iets wil rapporteren over het bereik van een programma?
De minimale eis om te kunnen rapporteren is 14 bereikten. Deze eis is gelijk voor alle meeteenheden en resultaattypen.

Waarom wijken de cijfers zoveel af? Met name voor de kleine zenders en hun kerndoelgroepen.
Alles in NMO is anders; het panel, de meetmethode en ook ‘de opdracht’ aan de panelleden. Dan kun je de resultaten niet meer vergelijken. Daarom hebben we ook de transitie-indices gemaakt.

Sommige zenders zijn ineens minder selectief, hoe kan dat?
Alleen al door het nieuwe (en dus andere mensen) panel krijg je verschillen. Daarnaast is de meting veranderd van je eigen gedrag achteraf invullen naar wat de meter lineair opvangt. Bijvoorbeeld het meeluistergedrag waar de respondent mogelijk niet bewust van is en wellicht niet zal invullen in een dagboek, wordt ook geregistreerd en dus gerapporteerd.

Sommige lokale zenders hebben relatief veel bereik buiten hun eigen verzorgingsgebied, hoe kan dat?
Dit kunnen forenzen zijn die wel in het uitzendgebied aanwezig zijn. Ook kunnen we online overal naar luisteren. Daarnaast kan het ook een false positive zijn. Dit proberen we te voorkomen door de rapportageregel toe te passen die alleen luistergedrag van meer dan 300 seconden toestaat in de rapportage.

Is de meting van Grand Prix Radio aangepast?
De meting van de radiozender Grand Prix Radio is aangepast zodat de kans op false positives in de rapportage verkleind wordt. De aanpassing geldt vanaf week 34 waarin het Formule 1 raceweekend in Zandvoort (van 25 t/m 27 augustus) plaatsvond.
Grand Prix Radio verzorgt tijdens de Formule 1 raceweekenden speciale uitzendingen met het commentaar van Olav Mol en Jack Plooij. Doordat de metingen van het NMO Luisteronderzoek zijn gebaseerd op audiomatching, bestond er een kans dat ook ander vergelijkbaar geluid, zoals dat van een televisie-uitzending, meegenomen werd in de resultaten van een radiozender. Om deze false positives te reduceren, is de meting uitgebreid met een tweede techniek om zenders te herkennen, namelijk die van encoding. Bij encoding wordt een voor het menselijk oor onhoorbare code met het audiosignaal meegestuurd. Op die manier kan exact worden vastgesteld of het door de meter opgepikte geluidspatroon hoort bij de juiste zender.
In de afgelopen weken heeft Grand Prix Radio samen met Ipsos en de Technische Commissie van NMO hard gewerkt aan de implementatie van de encoding-oplossing. Uit de testen is gebleken dat de oplossing werkt en dat het een valide luisterpatroon oplevert. De pieken in beluistering die eerder zichtbaar waren en die vermoedelijk verband hielden met het TV-signaal, zijn nu uit de data. De Technische Commissie van NMO heeft dan ook geadviseerd om deze oplossing toe te passen en het Bestuur heeft dit advies overgenomen.
Met ingang van 21 augustus 2023 worden de resultaten van de zender Grand Prix Radio tijdens de raceweekenden (van vrijdag t/m zondag) voortaan gebaseerd op encoding. Buiten de racedagen om vormt audiomatching de basis, net zoals bij alle andere deelnemende radiozenders.

In de publicatie staan “extra zenders” vermeld, waarom is dat?
Dit zijn de themakanalen, bijvoorbeeld een non-stop versie, van de hoofdzender en worden gezamenlijk gerapporteerd onder de noemer extra zenders.

Veel radiozenders hebben ook themazenders naast de hoofdzender. Telt het bereik op deze zenders mee voor de hoofdzender? Bijvoorbeeld 538 maar ook 538 Ibiza.
Nee dit is niet het geval. Deze worden gescheiden gemeten en ook apart gerapporteerd. In het wekelijks persbericht hebben we wel een gezamenlijke post, bijvoorbeeld “Radio 538 extra zenders”, hierin worden alle themazenders van Radio 538 bij elkaar opgeteld. Audiopartijen mogen wel rapporteren op merkniveau en alle zenders (van bijvoorbeeld Radio 538) bij elkaar optellen, als zij dit maar duidelijk communiceren.

Zowel bereik als luistertijd blijken enorm veel lager dan gecommuniceerd. Adverteerders hebben dus lang te veel voor dit bereik betaald, hoe kijken jullie hiernaar?
Het zenderbereik is gestegen, het campagnebereik is gedaald doordat de luistertijd korter is. De werkelijkheid in luisteren is niet veranderd en dus ook het resultaat niet. Er wordt niet anders geluisterd in Nederland door het nieuwe luisteronderzoek. Bovendien is nooit vooraf gecommuniceerd wat het nieuwe niveau zou worden. Dat is immers het resultaat van de nieuwe meting. Dus het uiteindelijke campagne-effect is gelijk. De meetmethode is veranderd, het luistergedrag niet.

Hoe zit dat met die transitie-index? Wordt radio nu wel/niet veel duurder?
Radio wordt niet duurder als gevolg van de nieuwe luisterresultaten, in principe betaalt de adverteerder per commercial hetzelfde. Dit los van marktwerking waar noch Audify noch NMO overgaan. Door de andere meetmethode verandert het aantal GRP’s dat een uitzending haalt. Daarom hebben we de transitie-index ontwikkeld die dit verschil omrekent. Eenzelfde investering levert hetzelfde campagne-effect.

Er is een transitie-index geïntroduceerd. Wat zijn de beweegredenen om per zender/doelgroepen een aparte transitie-index te gebruik en niet een uniforme?
Naast de selectieve index is er ook een uniforme index gepubliceerd op 13+ binnen het tijdvak 6-24 uur. Dit doen we om verschillende invalshoeken te geven. Het gebruik ervan staat elke partij vrij.

Veel doelgroepkenmerken uit het ‘oude NLO’, zijn nu (nog) niet beschikbaar. Wat zijn de verwachtingen m.b.t. uitbreiding van de doelgroep kenmerken?
De meeste doelgroepkenmerken die in het NMO-codeboek zitten (en daarmee ook de meeste kenmerken die in het NLO beschikbaar waren) zijn beschikbaar. Half maart zijn nog enkele laatste kenmerken opgeleverd. In het NLO waren daarnaast de doelgroepkenmerken uit de DGM (doelgroep monitor) gekoppeld. Momenteel zijn we in opstartfase om deze koppeling opnieuw uit te voeren op de NMO-datasets.

Onder de zenders staan er verschillende onderdelen. DAB+, Cable, FM, Stream, Live radio. Sommige zenders hebben maar één onderdeel. Klopt dit?
Ja dat klopt omdat niet alle zenders van encoding (watermarking) zijn voorzien. Bovendien kunnen zenders ervoor kiezen om alleen een specifiek platform te voorzien van encoding.

Veel doelgroepvariabelen van specifieke campagnedoelgroepen zijn verdwenen. De doelgroepen zijn niet meer te gebruiken. Wordt dit wel weer mogelijk?
Dit hangt af van de software waarmee je werkt. Voor specifieke vragen over dit onderwerp kun je terecht bij je softwarebureau.

Zit in het totaalbereik van de campagne, naast radio en DAB, ook de preroll op themazenders (de audiocommercial als de radiostream nog niet is gestart)?
Nee, een online pre-roll die wordt afgespeeld vóór de lineaire radio-uitzending zit niet in de meting.

Kunnen en mogen transitie-indices variabel ingezet worden door exploitanten per periode of staat de index vast voor het gehele jaar?    
De transitie-index is eenmalig uitgegeven om een indicatie van de verandering aan te geven. Aangezien nu iedereen toegang heeft tot de data én we geen oude currency meer hebben om te vergelijken, komt er geen update. Exploitanten zijn verder vrij in hoe zij hun commercieel beleid hierin voeren.