Inleiding

Mixed mode designs zijn een relatief nieuw concept in de academische en commerciële wereld waar surveys een veelgebruikt instrument zijn om informatie te verzamelen. Zoals de benaming ervan laat vermoeden bedienen dergelijke survey designs zich niet langer van slechts één modus van dataverzameling. De redenen hiervoor kunnen uiteenlopend zijn. Als belangrijkste motivatie kan het optimaliseren van de responsgraad aangestipt worden. Schriftelijke modi van dataverzameling vertonen over het algemeen een hogere uitval dan mondelinge interviews. Deze face-to-face aanpak is daarentegen vaak tijd- en geldrovend. Een combinatie van verschillende modi kan dus bevredigende oplossingen bieden. Naast deze problemen van non-respons zijn er ook dekkingsproblemen waar mixed mode designs een oplossing voor kunnen bieden. Zo komt het voor dat over onderzoekseenheden slechts beperkte persoonlijke informatie voorhanden is. Indien van sommige potentiële surveydeelnemers alleen het e-mailadres en van anderen alleen het adres of het telefoonnummer gekend is, ligt het voor de hand dat men verschillende kanalen zal moeten gebruiken om de doelgroep te bereiken.

Deze greep uit mogelijke oplossingen voor problemen bij dataverzameling laat zien dat mixed mode surveys heel wat voordelen hebben. Desalniettemin duiken er ook nadelen op. Elke modus van dataverzameling heeft kenmerken die niet voor andere modi gelden. De aanwezigheid van een interviewer is zo’n kenmerk dat alleen aan mondelinge interviews kan worden toegeschreven. Het valt dan ook niet te verwonderen dat deze verschillende kenmerken ook verschillen in antwoordgedrag van respondenten kunnen uitlokken.

Deze voor- en nadelen zullen het voorwerp van nader onderzoek uitmaken in deze verhandeling. In het bijzonder wordt aandacht geschonken aan het probleem van de non-respons waaraan mixed mode designs willen verhelpen en tevens zullen verschillende vormen van modus-effecten de revue passeren.

De empirische ondersteuning wordt verleend door een onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten. Het design van dit onderzoek bestaat erin in een eerste fase twee schriftelijke modi van dataverzameling (een post- en een websurvey) in te zetten om het grootste deel van de onderzoekselementen te realiseren. Vervolgens werden de weigeraars uit deze twee modi opgevangen door een tweede fase van dataverzameling. Dit laatste gebeurde in de vorm van een mondeling interview.

In het eerste hoofdstuk wordt dieper ingegaan op het begrip van mixed mode surveys. Zowel de ontwikkelingen die zich op dit domein in de loop van de laatste decennia hebben voltrokken, de theoretische achtergrond ervan en de problemen die zich in verband met mixed mode designs kunnen voordoen worden hier nader toegelicht. Tevens zal er ook het onderzoek naar milieubesef bij Leuvense studenten besproken worden. Na de concrete probleemstelling zal aandacht worden geschonken aan een model om het mixed mode design dat voor het onderzoek naar milieubesef werd gebruikt te evalueren. Dit model maakt een onderscheid tussen de evaluatie van de gerealiseerde steekproef enerzijds, hetgeen verwijst naar het probleem van non-respons en de evaluatie van de geregistreerde antwoorden anderzijds, wat betrekking heeft op de modus-effecten. Deze paragraaf gaat ook uitvoerig in op de hypothesen die op basis van gegevens uit de literatuur kunnen geformuleerd worden.

Het onderscheid tussen de evaluatie van de gerealiseerde steekproef en de geregistreerde antwoorden zal ook meteen de basis vormen voor het tweede en het derde hoofdstuk. Deze hoofdstukken zijn vooral empirisch van aard. De hypothesen die in het eerste hoofdstuk gestipuleerd zullen worden zullen er aan de hand van de onderzoek naar milieubewustzijn getoetst worden. Concreet wil hoofdstuk twee gestalte geven aan het probleem van de non-respons. Ook afgeleide onderwerpen zoals responssnelheid en systematische uitval op basis van achtergrondkenmerken zijn hier aan de orde. Ook zal worden nagegaan of er in verband met milieubesef als inhoudelijke variabele verschillen zijn tussen de drie modi. Het derde hoofdstuk behandelt, zoals gezegd, de modus-effecten of meetfouten. De indicatoren die hiervoor worden gebruikt zijn achtereenvolgens item non-respons, het gebruik van extreme antwoorden, differentiatie tussen items, volgzaamheid of acquiescence en sociale wenselijkheid.

Hoofdstuk 1. Situering en probleemstelling

1.1. Mixed Mode Surveys

1.1.1. De voorloper

In 1978 werd de surveywereld voorzien van een geïntegreerde strategie om responspercentages op surveys te verhogen. Het was toen al langer bekend dat een aantal factoren bijdragen tot het succes van een survey. Het gaat voornamelijk om het belang van en de interesse in het onderwerp, het enthousiasme dat de naam en faam van de opdrachtgever opwekt en het aantal follow-ups (liefst voorzien van een persoonlijke aanspreking). Het was onder meer Dillman die op dit domein de debatten voerde, eerst met de Total Design Method (1978), recent opgevolgd door de Tailored Design Method (2000). De eerste formule had voornamelijk betrekking op postsurveys. Hij stelde een procedure voor om de responsgraad van postenquêtes op te voeren tot het niveau van face-to-face interviews, uiteraard mits het consequent toepassen van een aantal regels. Zo raadde hij aan om de correspondentie tussen onderzoeker en respondent persoonlijk te maken. Het formaat, de volgorde van de vragen, het uitzicht en de plaatsing van de antwoordmogelijkheden, etc. verdiende volgens hem veel zorg en aandacht. Er werden drie herinneringen voorzien: de eerste na een week voor iedereen die nog niet heeft geantwoord en een briefkaart als dank voor de anderen. Na drie à vier weken moet dan nog eens dezelfde procedure worden herhaald. Na zeven weken kan er eventueel een aangetekend schrijven volgen. Deze laatste stap kan om begrijpelijke redenen op heel wat kritiek rekenen.

1.1.2. Theoretische achtergrond

De theoretische kern van de Total Design Method werd gevonden bij de sociale ruiltheorie van Homans (Billiet & Waege, 2003, 408-410; Dillman, 2000, 14-23). Ook de Tailored Design Method volgt dit perspectief. De theorie stelt dat het sociaal handelen bepaald wordt door de voordelen die men denkt te halen door een bepaalde handeling te stellen. Op het eerste gezicht wordt de mens hier als een rationeel wezen voorgesteld dat georiënteerd is op voor- en nadelen. Maar de sociale ruiltheorie behelst niet alleen materiële stimuli, ook emotionele of sociale voordelen zoals status kunnen het menselijk handelen bepalen. Indien we dit inzicht toepassen op een survey komen we tot de volgende postulaten: ten eerste moeten de kosten voor de respondent om te antwoorden zo laag mogelijk zijn, de beloningen zijn, ten tweede, best zo hoog mogelijk. Ten derde moet de respondent erop kunnen vertrouwen dat hij of zij ook daadwerkelijk de beloning zal krijgen. Het uiteindelijk deelnemen aan de survey is het gevolg van een gunstige balans van de drie genoemde criteria in vergelijking met de gedragsalternatieven. Voor een aantrekkelijk onderwerp bijvoorbeeld is de kost voor de respondent relatief laag en de beloning groot. Een respondent kan zich ook gewaardeerd voelen indien hij of zij kan antwoorden op de vragen van een invloedrijke of bekende opdrachtgever. De kosten voor de respondent kunnen tevens gereduceerd worden door minder lange of makkelijke vragenlijsten op te stellen. De follow-up contacten kunnen bij de kandidaat-respondent de indruk wekken dat het echt om een belangrijk onderzoek gaat. Door ook telkens bij elke herinnering een nieuwe vragenlijst bij te voegen, worden eveneens de kosten voor de respondent gereduceerd. Een persoonlijke beloning zoals een kopie van het onderzoeksrapport kan een positieve bijdrage leveren.

1.1.3. Maatschappelijke en technologische ontwikkelingen

Sinds de eerste versie van Dillmans methode is er heel wat gewijzigd (Dillman, 2000, p. 7). Over het algemeen vreest men dalende responsgraden. Deze vrees is ook voor een groot gedeelte terecht, zo wijst internationaal onderzoek uit, al kunnen landen onderling sterk verschillen (de Heer, 1999, pp. 127-142). Dit wil echter niet zeggen dat de surveywereld aan zijn lot wordt overgelaten. Mits de nodige inspanningen zijn bevredigende responsgraden nog steeds haalbaar. Wanneer survey designs, veldwerkstrategieën en andere organisationele factoren in rekening worden gebracht, zijn deze verschillen tussen landen snel geduid. Volgens de Heer is er dan ook geen sprake van een groeiende kern van hardnekkige weigeraars.

Waar in de jaren ’70 de meeste surveys werden doorgevoerd met behulp van face-to-face interviews, is het zwaartepunt vanaf de jaren ‘80 gaan liggen bij de post- en telefoonsurveys. De postvariant vereist geen getrainde interviewers, zodat dit onderzoeksinstrument ook gemakkelijker kan worden ingezet door organisaties die enkel sporadisch surveys uitvoeren. De verspreiding van de telefoon was dan weer een reden om meer telefonisch te gaan peilen. De technologische vooruitgang op het gebied van telefonie en informatica zorgde voor nieuwe uitdagingen. Een van de eerste nieuwigheden die voor surveys ingezet werd, was het computer-assisted telephone interviewing (CATI). Hier werd onder meer gebruik gemaakt van het automatisch selecteren van telefoonnummers. Niettemin zijn voor schriftelijke surveys ook veel technologische vernieuwingen weggelegd, zoals de websurvey (Dillman, 2000, pp. 7-9).

Buiten deze technologische veranderingen zijn er ook culturele verschuivingen merkbaar die de nieuwe modi van dataverzameling in een nieuw kleedje hebben gestoken. Deze verschuivingen zouden vooral schriftelijke vragenlijsten ten goede komen. Dagdagelijkse activiteiten waarvoor vroeger directe sociale interactie vereist was, kunnen nu meer en meer rekenen op technologische bijstand zoals zelf de bankzaken beheren door home- en phone-banking, het vernieuwen van abonnementen op dagbladen, vliegtuigtickets bestellen, enz. Een andere culturele verschuiving is nefast voor het telefonisch interviewen. In tijden waar nog geen antwoordapparaten bestonden was een rinkelende telefoon niet te negeren. Een gemist telefoontje kon belangrijk geweest zijn. Maar veel bedrijven die de telefoon als marketinginstrument inzetten, maken dit medium minder populair. De telefoon werd meer en meer als indringend beschouwd. De opkomst van privé-nummers en antwoordapparaten is daar wellicht niet vreemd aan. De telefoon heeft daardoor veel aan effectiviteit verloren op het gebied van wetenschappelijk onderzoek. Zelf in te vullen vragenlijsten zoals post- of websurveys winnen daardoor weerom aan belang (Dillman, 2000, pp. 7-9).

Niet alleen de cultuur verandert, ook de vaardigheden van de mensen veranderen (Dillman, 2000, p. 8). Veel hooggekwalificeerd werk vereist computergeletterdheid. Dit alles zorgt ervoor dat schriftelijke vragenlijsten als maar populairder zijn en zullen worden.

1.1.4. Van eenvoud naar verscheidenheid

De hamvraag blijft wel welke methoden er zijn om met een veelheid aan schriftelijke dataverzamelingsmodi (post, web, e-mail, enz.) een optimale respons te bereiken. Ten tijde van de Total Design Method heerste het principe “one-size-fits-all”. Deze benadering waarbij iedereen op dezelfde wijze behandeld wordt, paste nog wel in het tijdsbeeld en de technologische toestand van weleer, maar omwille van de zojuist geschetste verschuivingen zal een gedifferentieerde aanpak meer adequaat zijn. Een opiniepeiling naar kiesintenties moet snel gebeuren, bezoekers van een tentoonstelling moeten persoonlijk worden aangesproken bij de in- of uitgang om naar hun smaak te vragen, enz. Het is omwille van deze reden dat Dillman een overgang maakt van de Total Design Method naar Tailored Design Method. De bedoeling daarbij is de manier van dataverzameling op maat van de te bevragen populatie te maken.

Mixed mode surveys zijn voor het principe ‘Tailoring to the situation’. Onder een mixed mode survey wordt verstaan dat binnen één onderzoek meerdere modi van dataverzameling worden ingezet teneinde de respons te optimaliseren. In het licht van de sociale ruiltheorie kan gesteld worden dat kosten en baten voor de respondent worden geoptimaliseerd door een aan hem of haar aangepaste modus van dataverzameling aan te bieden.

Dillman onderscheidt een vijftal verschillende types van mixed mode surveys (2000, pp. 219-222). De postenquête blijft vaak het uitgangspunt. Dit kan worden uitgebreid met andere modi van dataverzameling zoals webvragenlijsten, interviews via de telefoon of face-to-face.

Bij een eerste type worden dezelfde gegevens verzameld van verschillende steekproefeenheden door verschillende modi. Dit is tevens de meeste gebruikte vorm van het mixed mode survey. De respondenten worden eerst voltallig benaderd door éénzelfde modus. Respondenten die geen medewerking verlenen worden vervolgens door een tweede modus opnieuw gecontacteerd, daarna door een derde, etc. De drijvende kracht achter deze strategie is kostenminimalisatie. De eerst ingezette modus is de goedkoopste (bijvoorbeeld een post- of een websurvey), daarna kan de onderzoeker voor een telefonische peiling kiezen, en tenslotte worden de weigeraars door face-to-face interview opgevangen.

Het tweede alternatief heeft betrekking op panelonderzoek. Indien een onderzoeker één steekproef meerdere keren wil ondervragen, kan men voor de verschillende fasen van het onderzoek kiezen voor verschillende modi. Dit is bijvoorbeeld relevant indien men alleen beschikt over telefoonnummers. De telefonische enquête (eerste fase) tracht dan ook de adressen van de respondenten te verzamelen, zodat bij het tweede contact met de respondent een postsurvey kan ingezet worden, wat mogelijk ook een kostenvoordeel kan opleveren.

Men kan ook tijdens één dataverzamelingsperiode meerdere modi gebruiken. Dit is aangeraden bij bijvoorbeeld persoonlijke of intieme vragen die ongepast kunnen overkomen bij een face-to-face interview. In dat geval is een schriftelijk additionele vragenlijst een geschikt instrument.

Er bestaat tevens de mogelijkheid om verschillende populaties met verschillende modi te benaderen. Dit alternatief kan een oplossing bieden wanneer van respondenten niet steeds dezelfde contactgegevens beschikbaar zijn. Respondenten waarvan alleen het telefoonnummer gekend is, worden telefonisch gepeild, indien alleen het e-mailadres gegeven is laat men een websurvey lopen, etc.

In een laatste geval gebruikt men een eerste modus als introductie voor een volgende modus. Een call center kan bijvoorbeeld een groep respondenten benadering en hen uitnodigen voor een schriftelijke vragenlijst. Op die manier worden meteen de juiste adressen en eventueel e-mailadressen verzameld van de steekproefeenheden.

1.1.5. Problemen bij mixed mode designs

Het mag ondertussen duidelijk zijn dat mixed mode surveys een aantal voordelen met zich meebrengen. Een verhoogde respons is daar één van, het verlagen van de onderzoekskosten een ander. Doordat de ene modus respondenten opvangt die voor een andere modus niet bereikbaar zijn, of - in de woorden van de sociale ruiltheorie gezegd - te veel kosten en te weinig beloningen voor de respondent opleveren, lijken mixed mode surveys ook tegemoet te komen aan dekkingsproblemen. Aan de andere kant kunnen mixed mode surveys ook veel zorgen met zich meebrengen. Mode-effecten zijn wellicht de grootste plaag voor de wetenschappelijke waarde van dergelijke onderzoeksmethoden (Dillman, 2000, p. 225). De belangrijkste verschillen tussen modi hebben betrekking op het al dan niet aanwezig zijn van een interviewer, visuele versus auditieve communicatie en de respondent versus de interviewer die de vraagstimulus controleert. Indien er een interviewer aanwezig is, kan de situatie andere normatieve verwachtingen stellen dan wanneer er geen interviewer aanwezig is. Dit kan leiden tot het vertonen van sociaal wenselijk gedrag of volgzaamheid. De stimuluscontrole die bij de respondent dan wel bij de interviewer ligt en het auditieve of visuele karakter van de stimuli vergen van de respondent ook verschillende cognitieve vaardigheden. Het gevolg hiervan is dat verschillende modi van dataverzameling ook verschillende antwoordpatronen kunnen genereren zoals primacy of recency effecten of vraagvolgorde-effecten.

1.2. Milieubesef bij studenten als toetssteen voor mixed mode surveys

In de latere hoofdstukken is het de bedoeling om de bevindingen in verband met de literatuur te confronteren met concrete data. De evaluatie van een mixed mode design zal dan gebeuren aan de hand van de dataset ‘milieu’. Deze onderzoeksgegevens worden hieronder verder toegelicht (Verbelen, Heerwegh & Loosveldt, 2001, pp. 2-15).

Het onderzoek werd deels door de studenten van de tweede en enige kandidatuur sociologie uitgevoerd in het kader van een begeleid leeronderzoek binnen het vak ‘Practicum Sociologie’. In het academiejaar 2001-2002 werd gekozen voor een onderzoek rond het thema ‘milieubewustzijn bij studenten’. Inhoudelijk werd aansluiting gevonden bij de empirische onderzoekstraditie die voornamelijk in Nederland is uitgebouwd (Becker, van den Broek, & M. Nas, 1996; Ester, Seuren & Nelissen, 1994; de Hart; 1993). Ook Vlaams onderzoek werd geraadpleegd (Waege, 1993; Ackaert & Swyngedouw, 1998).

In wat volgt wordt eerst het mixed mode design van dit onderzoek toegelicht. Vervolgens worden de vragenlijsten zowel vormelijk als inhoudelijk besproken.

1.2.1. Steekproeftrekking en dataverzameling

De onderzoeksgroep werd gedefinieerd als de generatiestudenten van de eerste kandidatuur aan de Katholieke Universiteit Leuven, academiejaar 2001-2002. Het ging tevens om kotstudenten. De lijst van de volledige onderzoekspopulatie werd afgeleverd door de Dienst studentenbeleid en LUDIT van de K.U.Leuven en bestond uit 3036 studenten. Het onderzoek werd opgevat als een mixed mode onderzoeksopzet waarbij verschillende methoden van dataverzameling elkaar aanvullen. In een eerste fase werden respondenten bevraagd middels een post- en webenquête. Beide onderzoeksgroepen werden onafhankelijk van elkaar en aselect samengesteld. 750 studenten werden zo geselecteerd voor de postmodes, 900 voor de websurvey. Voor de beide modi werd een gestratificeerde proportionele systematische toevalssteekproef getrokken, waarvan de strata de 13 faculteiten van de K.U.Leuven waren. De non-respondenten werden vervolgens benaderd door een face-to-face modus. Het design was er dus op gericht om de respons te verhogen door aan de hand van een derde modus de non-respons op te vangen. Figuur 1 biedt een schematisch overzicht van dit proces van dataverzameling.

Figuur 1: Schematische weergave van het proces van dataverzameling van het onderzoek naar milieubesef

Voor de postsurvey werd gekozen om te werken met één herinnering, die tevens vergezeld was van een nieuwe vragenlijst. Op vier december 2001 werd de postenquête verstuurd. De herinnering volgde op 17 december en de dataverzameling werd afgesloten op drie april 2002. De uitnodigingen om deel te nemen aan de websurvey werden eveneens op vier december 2001 verzonden. Elke respondent kreeg een gepersonaliseerde e-mail toegezonden waarin een login en paswoord werd meegedeeld om aan de survey deel te nemen. Ook hier werd gewerkt met één herinnering. Deze e-mail werd verstuurd op 11 december 2001. Uit de populatie non-respondenten (van de post- en websurvey) werd vervolgens een toevallige steekproef getrokken voor een face-to-face interview, gestratificeerd naar de faculteit, met uitzondering van 70 weigeraars van de webmodus en 68 respondenten die de webvragenlijst slecht gedeeltelijk invulden. Het aantal respondenten dat zou bevraagd worden, werd hier bepaald door het aantal beschikbare interviewers. De 41 interviewers waren de studenten van de tweede en enige kandidatuur sociologie, van het academiejaar 2001-2002. Elk van de studenten zou 10 interviews afnemen, wat resulteerde in een steekproef van 410 elementen. De elementen werden op die manier toegewezen zodat elke interviewer vijf non-respondenten van de postsurvey en vijf non-respondenten uit de websurvey kreeg. De face-to-face ronde vond plaats in maart 2002. In geval van vervanging werd erop gelet dat het reserve-element een zo groot mogelijke gelijkenis vertoonde met de oorspronkelijke respondent, met als prioritaire aandachtspunt de aanvangsmodus van bevraging (post of web). Alvorens de interviewer persoonlijk contact opnam met de respondent, werd eerst een introductiebrief verzonden, waarin ook werd verwezen naar de eerste fase van het onderzoek. Van de contactprocedure werd de registratie bijgehouden door middel van contactbladen. Zo konden onder meer het aantal contacten en de eventuele redenen van weigering worden vastgelegd.

1.2.2. Constructie van de vragenlijsten

De vragenlijsten telden 45 vragen. De eerste vragen gingen over de respondent zelf, zoals het geslacht en of men al dan niet een kotstudent was. Daarna volgde een reeks attitudevragen die verwijzen naar de concepten ‘need for cognition’, materialisme/postmaterialisme, sociaal-economisch conservatisme, utilitair individualisme, culturele affiliatie, cultureel conservatisme en etnocentrisme. Ook werd gepeild naar de deelname aan het verenigingsleven, de betrokkenheid op maatschappelijke thema’s en in welke mate men zich links of rechts op het politieke spectrum bevindt. Verder werd in het kader van het onderzoek naar milieubesef gevraagd naar het milieubewustzijn en de offerbereidheid en de actiebereidheid van de studenten om een beter leefmilieu te bekomen, het werkelijke gedrag dat men daartoe stelt en de mate waarin men aan milieuvervuiling is blootgesteld. Vervolgens werd er gevraagd naar de situatie van het ouderlijk gezin. Deze vragen peilden naar de samenstelling van het gezin, de arbeidsituatie, het inkomen en het opleidingsniveau van vader en moeder. Daarna volgde een reeks vragen over het gebruik van het internet van de respondent. Hier kwamen de frequentie waarmee men op het internet surft en de frequentie waarmee men zijn of haar e-mailberichten controleert aan bod. Tot slot werden een zestal vragen gesteld over de enquête zelf. De respondent mocht aangeven in welke mate hij of zij deze aangenaam, wetenschappelijk, zinvol, representatief, vertrouwelijk en geloofwaardig achtte.

Er werd naar gestreefd om de vragenlijsten van het web, de post en de mondelinge modus zo veel mogelijk op elkaar te doen lijken. Dit wil zeggen dat de volgorde van de vragen voor de drie modi dezelfde is, alle items op dezelfde manier verwoord zijn en de antwoordcategorieën altijd dezelfde zijn. In de mondeling modus werd daarom gewerkt met antwoordkaartjes. Deze kaartjes zorgen ervoor dat de respondent min of meer dezelfde visuele stimuli kreeg als in de schriftelijke tegenhangers. Enkel voor de concepten sociaal-economisch conservatisme (acht items), utilitair individualisme (zeven items), culturele affiliatie (vier items) en milieubesef (21 items) werd hierop een uitzondering gemaakt. De antwoordkaartjes van de face-to-face bevraging waren hier niet voorzien van een expliciete ‘geen mening’-filter, hoewel de antwoorden wel alsdusdanig gecodeerd konden worden door de interviewer.

De webmodus beschikte over een aantal technische hulpmiddelen. De vragenlijst was onderverdeeld in zes blokken. Tussen elk blok werden de antwoorden van de respondent door gestuurd naar de server. Op regelmatige tijdstippen kon de respondent ook zien hoe ver hij of zij al was gevorderd aan de hand van een klein staafje aan het begin van elk nieuw vragenblok. De doorverwijzingen werden in de webmodus ondersteund door links waarop de respondent enkel hoefde te klikken. In de mondelinge modus was het de interviewer die dit traject begeleidde. Alleen in de postmodus moesten de respondenten zelf hun weg zien te vinden aan de hand van instructies. Deze doorverwijzingen waren alleen toepasselijk bij de vragen over de tewerkstelling, inkomen en onderwijsniveau van de ouders. Voor het overige diende de respondent alle vragen in te vullen.

Aangezien de mondelinge modus gebruikt werd om weigeraars uit de schriftelijke modi op te vangen, werd hier gepeild of deze weigeraars de uitnodiging om deel te nemen aan de schriftelijke vragenlijst hadden ontvangen en geopend. Vervolgens konden de respondenten ook aangeven, door middel van een open vraag, waarom ze niet hadden deelgenomen aan de eerste ronde van dataverzameling.

De drie vragenlijsten, de antwoordkaarten van de mondelinge modus en het codeboek zijn opgenomen in de bijlagen

1.3. Probleemstelling

Mixed mode designs voor surveys zijn een relatief nieuw instrument voor onderzoek binnen de academische of commerciële wereld. Zowel het theoretische inzicht omtrent deze designs als de empirische ondersteuning ervan zijn nog niet ten volle ontwikkeld, vooral op het gebied van de meetfouten (Dillman, 2000, pp. 225-226). Deze fouten bestaan erin dat respondenten verschillend antwoorden naargelang de modus van dataverzameling waarlangs ze hun antwoorden laten registreren. Het is de intentie van deze verhandeling om hiertoe een bijdrage te leveren.

Mixed mode surveys hebben vooral de bedoeling om het hoofd te bieden aan tegenvallende responsgraden. Het design zoals in de vorige paragraaf is voorgesteld geeft de mogelijk om respondenten die in eerste instantie hun medewerking niet verlenen nog een tweede kans te geven. Doordat een tweede contact met deze respondenten in de vorm van een mondeling interview plaatsvindt, stijgt ook de kans dat de respondent uiteindelijk zal meewerken. Ten eerste zal worden nagegaan in hoeverre de mondelinge modus van dataverzameling in staat is weigeraars te overhalen om hun medewerking te verlenen aan de survey. Deze sequentiële aanpak is echter niet zonder gevaar. Respondenten die geneigd zijn om snel deel te nemen aan een peiling zijn niet steeds vergelijkbaar met respondenten die eerder terughoudend staan tegenover dergelijke bevragingen. Zowel naar achtergrondkenmerken als naar kenmerken waarnaar de vragenlijst juist peilt (in dit geval milieubewustzijn) kunnen op dit gebied verschillen verwacht worden. Ook binnen de eerste ronde van dataverzameling, waar kandidaat-respondenten op toevalsbasis aan de post- of de webmodus toegewezen worden, zijn deze verschillen te verwachten.

Met betrekking tot de gerealiseerde steekproef geldt over het algemeen de hypothese dat een sequentiële aanpak leidt tot een verhoogde responsgraad. Ook de snelheid van dataverzameling ligt hoger bij deze gemengde aanpak dan wanneer enkel mondelinge interviews plaatvinden. Als nadeel van mixed mode designs wordt als hypothese gestipuleerd dat verschillende modi van dataverzameling niet steeds hetzelfde publiek van respondenten aantrekt.

De literatuur omtrent mixed mode designs is reeds behoorlijk ver gevorderd op het gebied van de te bereiken responsgraad. De datakwaliteit die een dergelijke methode opleverd is echter minder uitvoerig beschreven. Het zwaartepunt van deze verhandeling zich zal dan rond deze problematiek situeren. Om dit thema te benaderen zal grotendeels het theoretisch model van Dillman gevolgd worden (Dillman, 2000, p. 224-229). Hier wordt het onderscheid tussen schriftelijke en mondelinge modi van dataverzameling als voornaamste bron van verschillen in antwoorden van respondenten aangegeven. Twee achterliggende factoren kunnen volgens dit model voor modusverschillen zorgen, namelijk normatieve of sociale factoren enerzijds en cognitieve of psychologische factoren anderzijds. Naast Dillman zal ook een beroep gedaan worden op het ‘satisficing’-begrip zoals Krosnick dit definieert (1991, pp. 213-236). Met deze deze term wordt bedoeld dat respondenten allerlei strategieën kunnen aanwenden om vragenlijsten af te werken waarbij ze hun inspannigen reduceren.

De algemene verwachting luidt dat de schriftelijke modi van dataverzameling, omwille van hun intrinsieke overeenkomsten, grote gelijkenissen zullen vertonen wat betreft de datakwaliteit. Deze twee modi zouden dan verschillen van het mondelinge interview. De indicatoren van datakwaliteit die hier zullen gebruikt worden zijn item non-respons, het gebruik van extreme antwoorden, differentiatie tussen items, acquiescence of volgzaamheid en het geven sociaal wenselijke antwoorden. De verwachting luidt dat de vertekening van de antwoorden door acquiescence en sociale wenselijkheid het grootst zal zijn in de mondelinge modus omwille van de normatieve of sociale factoren die in een sociale interactie aan de orde zijn. Over de overige indicatoren zijn weinig of inconsistente bevindingen geformuleerd wat het moeilijker maakt om concrete hypothesen te fomuleren. Een voorzichtige stellingname aangaande deze laatste indicatoren zal in de volgende paragrafen aan bod komen, alsook een verdere uitwerking van de hypothesen die hier kort werden voorgesteld.

1.4. Een model voor evaluatie

Om een evaluatie te maken van een mixed mode survey zijn er een aantal onderscheiden nodig om de probleemstelling inzichtelijker te maken. Zulk een kader wordt aangeboden door Loosveldt en Carton (2001, 11-43). Hun kader maakt een onderscheid tussen de kwaliteit van dataverzameling in brede zin en in enge zin. Anders gezegd: de kwaliteit van de behaalde respons versus de kwaliteit van de geregistreerde antwoorden. Het volstaat niet de kwaliteit van dataverzameling te duiden aan de hand van de bekomen resultaten (dit laatste wordt aangeduid met de term outputevaluatie), ook de manier waarop data verzameld werden kan binnen de grenzen van een dergelijke evaluatie vallen. Dit laatste kan dus begrepen worden als een procesevaluatie. Voor de evaluatie van het onderzoek naar milieubewustzijn bij Leuvense studenten zal vooral de outputevaluatie aan bod komen. Gevevens over het proces waarlangs de steekproef is gerealiseerd zijn eerder schaars te noemen. In het bijzonder zal alleen het effect van de herinneringsprocedure aan bod kunnen komen. Ook wordt er zal er kort aandacht worden geschonken aan de introductieprocedure, hetgeen concreet verwijst naar de brief of e-mail die de respondenten ontvingen als uitnodiging om aan de survey deel te nemen.. De gegevens met betrekking tot het proces waarlangs de antwoorden van de respondenten zijn verkregen zijn eveneens bescheiden. Het gaat hier over de tijd die is verstreken tussen het begin en het einde van de afgenomen vragenlijst, en dit enkel voor de websurvey en de mondelinge modus van dataverzameling. Omwille van het feit dat er slechts weinig informatie beschikbaar is over het onderzoeksproces, zal het onderscheid tussen output- en procesevaluatie niet langer volgehouden worden.

Wat de evaluatie van de gerealiseerde steekproef aangaat, zijn voornamelijk (non-)responscijfers, vergelijking van respondenten en non-respondenten op basis van populatie- en steekproefgegevens (b.v. socio-demografische variabelen) aan de orde. Ook de tijd die verstrijkt tussen het uitsturen van vragenlijsten en het terug binnenstromen ervan, verdient voor post- en websurveys extra aandacht.

Over naar de evaluatie van de geregistreerde antwoorden. Hier zijn de meetfouten aan de orde. Deze meetfouten kunnen zich manifesteren onder de vorm van acquiescence of volgzaamheid, sociale wenselijkheid, vraagvolgorde-effecten en effecten van primacy en recency (Dillman, 2000, pp. 224-229). Deze lijst kan worden aangevuld met item non-respons, het geven van extreme antwoorden, differentiatie tussen items en ‘mental coin flipping’ (Krosnick, 1991, pp. 213-236).

Tabel 1: Overzicht van het evaluatiemodel

Het overzicht dat geboden wordt in tabel 1 zal in wat nu volgt diepergaander worden besproken.

1.5. Evaluatie van de gerealiseerde steekproef

1.5.1. De non-respons

In navolging van de Total Design Method stelde Dillman de Tailored Design Method in om survey respons te optimaliseren. Eén van de ideeën erachter bestaat erin eerst het leeuwendeel van de data te verzamelen door middel van goedkopere modi. Hier komen post- en websurvey voor in aanmerking. Alleen de moeilijk te overtuigen respondenten worden vervolgens door interviewers benaderd, bijvoorbeeld door eerst een telefonische actie te ondernemen en tenslotte face-to-face te bevragen. De zojuist geschetste techniek is slechts één van de alternatieve procedures die men kan volgen indien men met mixed mode survey designs werkt. Men kan ook simultaan verschillende modi aanbieden. De respondent kiest dan zelf welk medium hem of haar het best uitkomt. De simultane strategie blijkt minder efficiënt te werken dan de sequentiële. Onderzoek wijst uit dat indien respondenten alleen via een postmodus kunnen antwoorden een respons van 70% wordt gerealiseerd. Een vergelijkbaar survey waarbij de respondent de keuze had tussen post en telefoon leidt eveneens tot 70%, geen verbetering dus (Dillman e.a, s.d., p. 32). In een ander opzet werd getest of het sequentieel aanbieden van modi tot een hogere responsgraad zou leiden. De eerste golf van vragenlijsten via de post resulteerde in 75% teruggestuurde antwoorden. De non-respondenten werden opgevangen met een telefonische opvolger die de responsgraad tot meer dan 82% verhoogde. Dit is een stijging van acht procentpunten. Een mixed mode formule waarbij eerst het web werd ingezet en daarna een telefonische bevraging de non-respondenten opving resulteerde in een respons van 13% (web) en een verhoging tot 45% door de vervolgmodus. De substantiële bijdrage van een tweede sequentiële modus van dataverzameling lijkt dus groter te zijn indien de respons in de eerste fase laag is (Dillman e.a., s.d., p. 32).

Zoals aangegeven verschillen de responsgraden tussen post- en websurveys. Ook Kwak en Radler (2002, pp. 262-263) wijzen op verschillen tussen post- en websurveys wat betreft de responsgraad. Weliswaar is de kloof tussen beide modi bij hen minder groot. Binnen een studentenpopulatie (men beschikte over zowel adressen als e-mailadressen van de studenten) werd een respons van 42% (post) en 27% (web) vastgesteld. Onderzoek bij Leuvense studenten in 2001 (Verbelen, e.a. p. 18) leert dat een responsgraad voor een webenquête van 46,5% (en nog eens 4,1% partieel afgewerkte vragenlijsten) haalbaar is. Deze hoge respons kan te wijten zijn aan het feit dat een studentenpopulatie erg vertrouwd is met computers en internet (Verbelen, e.a., pp. 17-18).

Met betrekking tot het onderzoek naar milieubewustzijn bij Leuvense studenten zal dan ook verwacht worden dat in de eerste ronde van dataverzameling de postenquête qua respons beter scoort dan de webvariant. De meerwaarde van de interviews (die de non-respondenten opvangen) zal groter zijn bij de webmodus.

1.5.2. Vergelijking respondenten van de post- en websurvey

De responsgraad is geen volwaardige indicator voor de kwaliteit van de gerealiseerde steekproef. Uitval is namelijk zelden toevallig. De impact van de non-respons op de datakwaliteit is een functie van de hoeveelheid non-respons in combinatie met de mate waarin respondenten afwijken van non-respondenten in hun antwoorden. Onderzoek leert dat socio-demografische variabelen van belang zijn in het gebruik van nieuwe technologieën. Internetgebuikers zouden bijvoorbeeld rijker, jonger en hoger opgeleid zijn dan niet-gebruikers. (Dillman, e.a., s.d., p. 26; Kwak, e.a., 2002, p. 259). Ook kan verwacht worden dat er genderverschillen optreden. Mannen zouden intensiever het internet gebruiken dan vrouwen, hoewel de penetratiegraad dezelfde is (Bucy, 2002). Niet alleen zijn er verschillen te verwachten tussen internetgebruikers en niet-gebruikers, ook onderling kunnen er tussen internetgebruikers nuances worden aangebracht wat responsgedrag betreft. Zo verwachten Kwak e.a. (2002, p. 259) dat sommige groepen van internetgebruikers gemakkelijker zullen deelnemen aan weburveys dan aan postsurveys. Weerom gaat het om mannen, jongeren en hoger opgeleiden.

In het onderzoek naar milieubewustzijn bij Leuvense studenten zijn echter niet alle bovengenoemde variabelen beschikbaar. Leeftijd en opleidingsniveau blijven nagenoeg constant. Geslacht, studierichting en internetgebruik zullen dus de voornaamste criteria zijn om respondenten van beide modi te vergelijken. Geslacht en studierichting zijn variabelen die aan het origineel steekproefkader kunnen getoetst worden. Voor verschillen inzake internetgebruik of inhoudelijke variabelen is het mogelijk om respondenten en weigeraars van de schriftelijke modi te vergelijken. Respondenten van de mondelinge modus zullen dan het statuut van weigeraar toebedeeld krijgen.

1.5.3. Vergelijking van responsstromen in de tijd

Er mag dan wel verwacht worden dat de postvariant hogere responsgraden haalt dan de webvariant binnen mixed mode surveys, onderzoek toont wel aan dat peilingen via het internet sneller resultaat opleveren. Zo melden Kwak e.a. (2002, pp. 257-273) een gemiddelde responstijd van 9,3 dagen voor de post en 2,2 dagen voor het web.

In het verlengde van de evaluatie van de non-respons kan hierbij wel de veronderstelling gemaakt worden dat degenen die later antwoorden beter gelijken op de non-respondenten (Billiet e.a., 2003, pp. 411-414). Meer dan waarschijnlijk heeft dit ook gevolgen voor de inhoudelijke antwoorden die respondenten geven. Zo werd gevonden dat degenen die vroeg antwoorden op een postenquête vaker ook vrijwilliger zijn of meer sociaal engagement tonen dan degenen die laat antwoorden. Een korte survey bij weigeraars onthulde dat deze minder sociaal engagement vertoonden (Lauwerysen & Verhalle, 2000). Op die manier wordt sociaal engagement in surveys dus systematisch overschat. Of dit tijdselement ook voor alle modi gelijklopend is, is in de literatuur niet teruggevonden.

1.5.4. Acties ter bevordering van respons

Algemeen kan gesteld worden dat de onderzoeker een maximum aan inspanningen levert om in contact te komen met de respondent en deze te overtuigen om deel te nemen aan de survey. Hiet wordt kort ingegaan op de uitnodiing die de onderzoeker kan versturen naar de kandidaat-respondenten en de herinneringsprocedure.

1.5.4.1. Uitnodiging en introductie

Zoals al werd aangegeven in de inleiding houdt Dillman vast aan een gepersonaliseerde uitnodiging, eventueel gevolgd door herinneringen indien er niet meteen respons komt. De introductie zelf is best kort en in een normale taal. ‘Technotaal’ wordt dus best vermeden (Heerwegh & Loosveldt, 2001, p. 33). Deze principes gelden zowel voor post als web. Aangezien de introductiebrief over de drie modi nagenoeg dezelfde is, is het weinig zinvol hier verregaande analyses over uit te voeren. Wel kan gezegd worden dat de introductiebrief niet onbelangrijk is in het verkrijgen van de medewerking (Groves & Couper, 1998, pp. 20-22). Vooral de vermelding van de organisator van het onderzoek en de inhoud van de brief zijn voorname stimulansen om zijn of haar medewerking te verlenen. Officiële instanties zouden het wat dit laatste betreft beter doen.

In het onderzoek naar milieubewustzijn bij eerstejaarstudenten werd gewerkt met een introductiebrief of e-mail. Deze introductiebrieven werden voor de schriftelijke modi bijgevoegd bij de vragenlijst. De e-mail voor de webrespondenten was voorzien van deze introductie, inclusief de link, de gebruikersnaam en paswoord voor deelname. Voor de mondelinge survey werd enkele dagen voor de respondent persoonlijk door de interviewer werd gecontacteerd een introductiebrief op het kotadres van de kandidaat-respondent gepost.

Na de uitnodiging en de introductie is de tijd aangebroken om de eerste vraag te stellen. Deze is best aanmoedigend en makkelijk te begrijpen. Bovendien moet ze van toepassing zijn voor alle respondenten. Speciaal voor de websurvey is het het vermelden waard dat de eerste vraag duidelijk zichtbare antwoordmogelijkheden heeft. Indien meteen van start wordt gegaan met een selecteermenu, is de kans groot dat een deel van de respondenten niet meer precies weet wat van hen wordt verwacht, wat een reden kan zijn om met de vragenlijst te stoppen. In het onderzoek naar milieubesef bij Leuvense studenten ging de eerste vraag over het geslacht van de student, de tweede vraag peilde naar het het feit of de respondent op kot zat of niet.

1.5.4.2. Herinneringsprocedure

Dillman wijst in zijn Total Design Method reeds op het belang van herinneringen. Een zeer groot deel van de respons zou immers gemist worden indien men slechts één keer de respondent aanzet tot antwoorden. Dit melden ook Kwak e.a. (2002, pp. 262-263). Zij rapporteren een totale respons van 42% voor een postsurvey, waarvan 24,2% initieel werd gerealiseerd, de eerste herinnering haalde nog 14,1% binnen en de tweede herinnering nog eens 11,7%. Voor hun websurvey haalden ze een totale respons van 27,4%, waarvan 18,1% initieel, 7,5% na de eerste herinnering en 4,0% na de tweede herinnering. De responstijd, ongeacht of het om een initieel verzoek tot medewerking of een herinnering ging, bedroeg voor de postsurvey tussen de zeven en de negen dagen. Voor de webvariant bedroeg dit op nagenoeg consistente wijze twee dagen. Op dit vlak is de websurvey dus consistent vier keer sneller dan de postsurvey.

In het onderzoek naar milieubewustzijn werd voor beide modi gewerkt met slechts één herinnering. De analyse hiervan zal dus enigszins beperkter zijn. Het effect van de herinneringsprocedure zal in de evaluatie samen met de responssnelheid worden behandeld.

1.6. Evaluatie van de geregistreerde antwoorden

1.6.1. Algemene verwachtingen

De evaluatie van de geregistreerde antwoorden heeft betrekking op meetfouten. In het bijzonder worden deze meetfouten hier gerelateerd aan de verschillende modi. Zo zal bijvoorbeeld gesteld worden dat de kans op antwoorden die gekleurd zijn door sociale wenselijkheid, groter is bij een interviewsituatie dan bij een schriftelijke survey. Een probleem bij het analyseren van deze meetfouten is dat deze niet los kunnen gezien worden van fouten door non-observatie. Webenquêtes trekken nu eenmaal een ander publiek aan dan postenquêtes. Het valt dan ook te verwachten dat dezelfde vraag voor de twee modi andere antwoorden en antwoordverdelingen oplevert. De cruciale vraag is dan of deze verschillen tot stand komen door de verschillen tussen het publiek dat een bepaalde modus aantrekt of door meetfouten inherent aan de modi. Het antwoord op deze cruciale vraag is moeilijk in te schatten. Dillman (e.a., s.d., pp. 23-28) argumenteert, na experimenteel onderzoek, dat mode-effecten wel degelijk bestaan.

In de survey over milieubewustzijn bij studenten werd gewerkt met een relatief homogeen publiek. Alle respondenten zijn van dezelfde generatie, hebben allemaal net middelbaar onderwijs achter de rug en zijn tevens allemaal kotstudenten. Dit laatste is een argument om verschillen in antwoordpatronen toe te schrijven aan meetfouten, eigen aan de modus van dataverzameling en minder aan fouten door non-observatie. Daarenboven zal vaak gewerkt worden met multivariate modellen. Dit biedt het voordeel dat er telkens gecontroleerd wordt voor bepaalde kenmerken van de respondenten. Dit maakt dat meetfouten ook zuiverder tot uiting kunnen komen in de evuluatie van de geregistreerde antwoorden.

Hier zal voornamelijk de theoretische toon van Dillman gevolgd worden (2000, pp. 224-229). Deze laatste ziet drie mogelijke bronnen van verschil met betrekking tot de verkregen antwoorden: auditieve versus visuele stimuli, aanwezigheid of afwezigheid van een interviewer en de respondent of de interviewer de controle over het vraagproces heeft.

Mondelinge interviews veronderstellen interactie met een andere persoon, wat ertoe leidt dat de respondent sociale normen in acht neemt zodat cultureel aanvaard antwoordgedrag hier makkelijker uitgelokt wordt. Bovendien verhoogt deze aanwezigheid ook de kans dat respondenten het sneller eens zijn met de interviewer, zelfs indien dit tot inconsistente antwoordprofielen zou leiden. Dit laatste noteren we als volgzaamheid of acquiescence. Ook zorgt de aanwezigheid van een interviewer ervoor dat van de respondent verwacht wordt hij of zij een norm van fairplay volgt. Het is voor een geïnterviewde niet aangeraden om een gegeven antwoord nog te veranderen in het licht van nieuw gestelde vragen. Dit laatste is niet alleen een normatief effect maar heeft ook andere gronden. De geïnterviewde kan niet teruggaan naar vorige vragen of vooruitlopen in de vragenlijst omdat hij of zij simpelweg het vraagproces niet controleert. Tot slot zijn er nog de auditieve stimuli die in het mondeling interview terug te vinden zijn, versus de visuele stimilu, eerder eigen aan schriftelijke modi van dataverzameling. Bij strikt auditieve surveys zoals het telefooninterview komt het voor dat respondenten uit een reeks van antwoordalternatieven alleen het laatste kunnen onthouden en bijgevolg deze antwoorden meer geven. Respondenten uit schriftelijke modi zouden dan weer vaker het eerste of een van de eerste antwoordalternatieven geven. De cognitieve arbeid die de respondent in een schriftelijke enquête verricht zou verzwakken naarmate hij of zij verder in de antwoormogelijkheden vordert. Dit onderscheid tussen visuele en auditieve stimuli spoort met het primacy en recency effect. Bij het primacy efect worden antwoorden die bij het begin van een vragenlijst geformuleerd worden vaker gekozen en komt vaker voor in schriftelijke modi van dataverzameling. Het recency effect, waarbij meer antwoorden van het einde van een reeks mogelijkheden worden gekozen, komt meer voor bij mondelinge vragenlijsten. Desalniettemin levert onderzoek terzake niet geheel consistente resultaten op (Dillman, 2000, pp. 228-229).

Bij Krosnick (1991, pp. 213-236) vinden we een andere invalshoek om meetfouten te benaderen. Volgens hem kunnen respondenten allerlei strategieën ontwikkelen om met zo weinig mogelijk cognitieve inspanningen toch een bevredigend antwoordpatroon neer te zetten. De algemene term ‘satisficing’ waarnaar deze strategieën verwijzen kent volgens hem een zachte en een harde vorm. De zachte vorm van satisficing zijn strategieën waarbij respondenten een antwoord geven dat nog min of meer aansluiting vindt bij hun houdingen of gedragingen, maar er geen optimale weergave van zijn. Bij harde satisficing valt zelfs dit laatste weg en geeft men alleen antwoorden die als redelijk of plausibel overkomen. Hier volgen kort een aantal strategieën die respondenten kunnen gebruiken.

Respondenten selecteren het eerste antwoord dat hun redelijk lijkt, zonder de lijst van andere antwoordmogelijkheden te overdenken. De volgorde van de antwoordmogelijkheden is in dit verband dan ook belang. Deze vorm van ‘satisficing’ houdt verband met de primacy en recency effecten die Dillman aanhaalt. Verschillen zijn dan ook te verwachten tussen auditief en visueel georiënteerde surveys. Een andere mogelijke zachte strategie bestaat erin dat respondenten alleen hun attituderichting te kennen geven zonder een bijkomende inspanning te nemen om ook de sterkte ervan mee te delen.

Onder de categorie harde satisficing valt onder meer acquiescence. In plaats van een doordacht antwoord te geven, bevestigt de respondent simpelweg hetgeen de vragenlijst hem of haar voorlegt. Andere harde vormen van satisficing zijn te snel maatschappelijke inertie of status quo goedkeuren, er niet in slagen om verschillen tussen indicatoren of concepten te onderscheiden, overschakelen op de ‘geen mening’-filter en toevalsgewijs antwoorden aanduiden. Dit laatste wordt ‘mental coin flipping’ genoemd.

Niet altijd is satisficing even waarschijnlijk. Onder bepaalde omstandigheden zouden dergelijke antwoordstrategieën vaker kunnen voorkomen. Krosnick onderscheidt een drietal factoren die satisficing bevorderen. Ten eerste is er de moeilijkheidsgraad van de taak die de respondent moet afwerken. Het hoeft nauwelijks te verwonderen dat bijvoorbeeld vragen met complexe zinsconstructies of vragen over het verleden van de respondent moeilijkheden opleveren in het antwoordproces. Ten tweede moet ook de bekwaamheid van de respondent in acht genomen worden. Aangeboren kwaliteiten en levenservaring of de bekendheid met het gegeven onderzoeksonderwerp zijn daarvan de deelaspecten. Deze tweede initiator van satisficing valt geenszins te onderschatten, zeker indien men weet dat ongeveer 40% van de Vlamingen de nodige moeite heeft met het lezen van bijsluiters van geneesmiddelen, weerberichten of ondertitels bij anderstalige televisieprogramma’s (Van damme, Van de Poele & Verhasselt, 1997, pp. 57-61). Motivatie maakt de derde factor die bijdraagt tot het mogelijk ondermaats antwoorden op surveyvragen. Een belangrijk onderdeel hiervan is de ‘need for congition’, ofwel de intrinsieke beloning voor mentale arbeid. Respondenten die hiervoor laag scoren zouden meer satisficing vertonen. Naast het appreciëren van moeilijke denkactiviteiten is ook de betrokkenheid van de respondent op het onderwerp van belang, de mate waarin de respondent het onderzoek als belangrijk percipieert, het interviewergedrag en de mate waarin het interview of de vragenlijst is gevorderd. In het begin van de peiling zijn respondenten vaak meer gemotiveerd dan op het einde.

Vanuit de idee van satisficing zijn in de literatuur niet meteen expliciete verwijzingen naar modusverschillen terug te vinden tussen schriftelijke en mondelinge vragenlijsten. Het is nochtans toch mogelijk om deze hypothesen af te leiden vanuit andere gegevens. Zo vonden Holbrook, Green en Krosnick (2002, pp. 79-125) opmerkelijke verschillen tussen telefoon en face-to-face interviews. De mate waarin satisficing voorkomt ligt voor telefonische peilingen hoger dan voor face-to-face interviews. De auteurs schrijven deze verschillen toe aan de tijdsdruk die voor telefonisch interviewen hoger ligt. Dit zorgt ervoor dat respondenten ook geneigd zijn sneller een antwoord te geven. Dit antwoord heeft dan ook vaker het karakter van een suboptimaal antwoord. Een telefonische stilte kan ervaren worden als lastig of ongepast, terwijl dit eerder normaal is voor face-to-face interactie. Welnu, bij schriftelijke vragenlijsten is er zelfs geen sprake van een directe interactie tussen twee personen, zodat de tijdsdruk op de respondent nog meer verlaagt (Ayidiya & McClendon, 1990, pp. 229-247). Niet alleen kan de respondent langer stilstaan bij vragen, maar ook kan deze de vragenlijst afwerken op momenten die hem of haar beter uitkomen. Over het algemeen wordt dan ook verwacht dat antwoorden van schriftelijke vragenlijsten minder satisficing vertonen.

Gezien het beperkte bestek van deze bijdrage zullen niet alle mogelijke meetfouten het voorwerp van evaluatie zijn. Een selectie dringt zich dus op. In hoofdstuk drie gaat de aandacht vooral naar item non-respons, volgzaamheid en vertekening van de data door sociale wenselijkheid. Ook zal aandacht geschonken worden aan het al dan niet geven van extreme antwoorden het differentiëren tussen items. Een aantal mogelijke meetfouten zal dus niet in de evaluatie aan bod komen. Zo zullen primacy of recency effecten niet gepresenteerd worden. Dit heeft onder meer te maken met het feit dat het onderscheid tussen auditieve en visuele stimuli niet naadloos aansluit op het onderscheid tussen de schriftelijke en de mondelinge vragenlijst. In het mondelinge interview werd namelijk gewerkt met antwoordkaartjes, hetgeen deze modus niet geheel als auditief laat typeren. Ook effecten van de vraagvolgorde zijn niet aan de orde. Dit komt omdat er geen variabiliteit is opgenomen in de vragenlijst. De zogenaamde ‘split ballot’ vragenlijsten hadden dit wel mogelijk gemaakt.

1.6.2. Actie tot het voorkomen van modus-effecten: Unimode construction van de vragenlijst

Om tegemoet te komen aan modusverschillen stelt Dillman (2000, pp. 232-240) voor om vragenlijsten op die manier op te stellen dat ze aan respondenten, ongeacht de ingezette modus, steeds dezelfde stimuli aanbieden. Een negental principes kunnen gebruikt worden als handige richtlijnen.

Ten eerste moeten de antwoordcategorieën voor alle modi dezelfde zijn. Bovendien moeten deze categorieën ook op dezelfde wijze terug te vinden zijn in de vraagtekst. Vooral de ‘geen mening’-optie staat hier in de kijker. Het al dan niet aanbieden van deze mogelijkheid kan tot aanzienlijke verschillen leiden (Billiet, 2000, p. 248). Voor de eenvoud is het aangeraden de ‘geen mening’-categorie expliciet aan te bieden.

Het gebruiken van dezelfde vraagstructuur is het tweede principe. Het is soms gebruikelijk om batterijen van vragen in tabelvorm bij een in te vullen vragenlijst om te zetten in afzonderlijke vragen voor een telefooninterview. In het eerste geval moet de respondent dan aanduiden wat voor hem of haar van toepassing is, in het tweede geval moet hij of zij met ja of nee antwoorden. De ja/nee structuur is voor mixed mode surveys een aanrader.

Als derde richtlijn wordt een klein aantal antwoordcategorieën vooropgesteld. Het probleem stelt zich vaak dat voor schriftelijke of face-to-face interviews meer antwoordcategorieën gepresenteerd worden (b.v. een negenpunt schaal) dan bij het telefonisch equivalent (b.v. een vijfpunt schaal). Dit strookt niet met de idee van uniformiteit. Daarom is het beter om voor alle modi hetzelfde, en dus gereduceerde, aantal antwoordcategorieën te gebruiken.

Ten vierde wijst Dillman erop dat de informatie van de vraag niet te sterk mag afhangen van de extra aangeboden visuele prikkels in de vraag. Zo moet het labelen van antwoordalternatieven best steeds op dezelfde manier gebeuren.

Het vijfde principe uit het voorgestelde unimode design heeft betrekking op rangschikkingvragen. De vraag die men daarbij kan stellen is of men de respondent items moet laten rangschikken (meestal bij schriftelijke vragenlijsten) of men moet overgaan tot het inschalen van de items (meestal bij telefonische bevragingen). Het wordt aangeraden om eerst de inschalingsvraag te stellen om vervolgens naar de rangschikking te peilen.

Vaak zijn ook doorverwijzingstructuren aan de orde in surveys. Dit kan voornamelijk problemen geven voor schriftelijke vragenlijsten. De respondent moet hier immers vaak veel moeite doen om te weten naar welke vraag hij of zij moet gaan. Bij websurveys ligt dit eenvoudiger. Bij de webmodus kan het traject dat de respondent dient te volgen doorheen de vragenlijst geprogrammeerd worden door de onderzoeker. De boodschap is dus om doorverwijzingen niet al te complex te maken.

Ten zevende oppert Dillman om vragen niet in stappen te stellen. Een eerste keer vraagt men of iemand voor of tegen een bepaalde uitspraak is en vervolgens vraagt men in welke mate dat het geval is. Op die manier komt men tot bijvoorbeeld een zevenpunt schaal. Voor de eenvoud is het dus beter om de vraag in één keer te stellen.

Teneinde primacy/recency-effecten op te sporen is het raadzaam een split ballot door te voeren waarbij telkens voor elke modus de helft van de antwoordcategorieën omgekeerd worden.

Als negende en laatste richtlijn raadt Dillman aan om vragenlijsten grondig aan een voortoetsing voor te leggen. Vaak worden problemen met vragenlijsten door interviewers gerapporteerd, terwijl schriftelijke vragenlijsten deze kans niet krijgen.

Hoewel de negen aanbevelingen wellicht leiden tot een betere datakwaliteit, moet worden vastgesteld dat er slechts geringe specifieke aandacht is voor websurveys als vertekenaar van data. De hoger genoemde principes hebben vooral betrekking op verschillen tussen de klassieke modi van dataverzameling, met name telefonische bevragingen, face-to-face interviews en schriftelijke dataverzameling zoals de postenquête. Een kwaliteitsperspectief gericht op websurveys staat dus blijkbaar nog in de kinderschoenen.

Desalniettemin bestaan er invalshoeken om het proces van dataverzameling via het internet te evalueren. Opnieuw is het Dillman die ter zake een reeks aanbevelingen doet (Dillman, 2000, pp. 352-412). Centraal in zijn vertoog staat de gebruiksvriendelijkheid van een websurvey. De technologische vooruitgang van het internet kan dan wel bijzonder snel zijn, toch volgen niet alle gebruikers deze ontwikkelingen op de voet. Eenvoud geldt dus opnieuw als uitgangspunt. Daarenboven kunnen ook een aantal concrete aanbevelingen worden besproken.

1. Zoals al eerder vermeld werd, zijn websurveys idealiter sterk gelijkend op andere modi van dataverzameling voor wat betreft de lay-out. Zowel de nummering van de vragen als het gebruiken van witruimten en vetgedrukte letters worden door dit principe geschraagd.

2. Of de onderzoeker kiest om na elke vraag een verbinding met de server op te zetten (het antwoord op de vraag wordt teruggezonden en een nieuwe vraag wordt vervolgens vanuit de server aan de respondent voorgelegd) of hij beter kiest voor een eenmalige verbinding waarbij op het einde van de vragenlijst alle data teruggestuurd worden, is thans nog een onduidelijke kwestie. Beide alternatieven staan in elk geval bloot aan specifieke nadelen. In het eerste geval kan het de respondent veel tijd kosten om telkens heen en weer contacten met de server te leggen (dit is zeker nadelig voor trage internetverbindingen). In het andere geval riskeert de onderzoeker het om met lege handen achter te blijven indien de respondent voor het beëindigen van de vragenlijst afhaakt. Het middenalternatief zou erin bestaan de vragenlijst in te delen in een aantal blokken, zodat de transfers tussen respondent en de server eerder gering zijn en de onderzoeker toch nog antwoorden van de respondent heeft ontvangen, zelf als deze laatste de vragenlijst niet helemaal tot het einde invult. Deze aanbeveling werd ook goed gevolgd bij het onderzoek naar milieubewustzijn. Het totaal van 45 vragen werd onderverdeeld in zes vragenblokken. Nadat de respondent een blok had afgewerkt, werd telkens een verbinden met de server gemaakt om de gegeven antwoorden op te slaan en een nieuw blanco vragenblok naar de respondent te sturen.

3. Teneinde zich ervan te verzekeren dat de respondent alle informatie van de vraag opneemt, is het aan te raden om de vraag zo kort mogelijk te houden. Bovendien is het om technische redenen ook goed om vragen niet te lang te maken. Afhankelijk van de instellingen van de browser van de webrespondent worden zinnen al dan niet afgekapt aan het rechtse eind van het scherm. Lange zinnen lopen zo het risico om buiten het computerscherm van de gebruiker te verdwijnen. Daarom geniet het werken met tabellen de voorkeur. Deze tabellen kunnen zo worden ingesteld dat ze voor elk beeldscherm in dezelfde weergave resulteren.

4. Een respondent dwingen om te antwoorden is wel technisch haalbaar, maar daarom niet aanvaardbaar. Als je hem of haar dwingt te antwoorden, tegen de wil in en om welke reden dan ook, kan dit aanleiding geven om met de enquête te stoppen.

5. Een respondent die een postenquête invult heeft vaak een goede indicator die aangeeft hoe lang de vragenlijst nog zal duren. Hij of zij hoeft alleen maar de resterende pagina’s te tellen. Bij websurveys kan dit een probleem zijn. Zo kan het gebeuren dat de respondent het opgeeft, net voor hij of zij enkel nog de laatste vraag moest beantwoorden. Een oplossing kan erin bestaan om een indicator in te bouwen. Bij websurveys waar de ganse vragenlijst in zijn geheel op het scherm verschijnt, dient de scroll-bar als indicator. In andere gevallen kan er een indicator worden geprogrammeerd. De effecten van deze indicator zijn niet eenduidig.

6. Doorverwijzingen. Zoals bij websurveys wel meer het geval is, is het ook hier weer een moeilijke zaak om ‘do’s’ en ‘don’t’s’ van elkaar te onderscheiden. Hoger werd al aangegeven dat de onderzoeker bij een websurvey elke vraag of elk item afzonderlijk naar de respondent kan sturen, waarna elk antwoord ook afzonderlijk terug naar de server gestuurd wordt. Het voordeel van dit systeem is dat daardoor het doorverwijzingsysteem achter de schermen opereert en de respondent zich hier dus niet mee moet inlaten. Maar anderzijds werd aangegeven dat dit voor de respondent een tijdsintensieve bezigheid kan zijn, aangezien telkens informatie heen en weer tussen server en computer moet worden gestuurd. Bovendien vergt dit laatste systeem ook intensiever programmeerwerk omdat het systeem er ook op moet voorzien zijn om bij een niet-substantieel of geen antwoord een volgende vraag te kunnen aanbieden. In het andere geval, indien de vragenlijst in zijn geheel of minstens in grote blokken aan de respondent wordt toevertrouwd, volgt de doorverwijzingproblematiek dezelfde logica als de postenquête. Nu moet de respondent er immers een taak bijnemen. De onderzoeker kan hem of haar hier het best bij helpen door de doorverwijzingen duidelijk aan te geven. Anderzijds kunnen doorverwijzingen hinderlijk zijn voor respondenten die de doorverwijzingen niet moeten volgen. Het moge duidelijk zijn dat het laatste woord over de doorverwijzingkwestie nog niet is gezegd.

7. Antwoordmogelijkheden worden best onder elkaar gepresenteerd. Indien dit niet kan moet men ze toch op een zinvolle manier groeperen, om te vermijden dat de respondent te veel aandacht aan de linkse categorie schenkt. Werken met compacte matrices is niet altijd een aanrader. Niet alle respondenten zijn daar even vaardig in, met alle gevolgen voor de responsgraad van dien. Met betrekking tot het satisficing-probleem is het aangeraden om de respondent niet te vragen items aan te duiden die voor hem of haar van toepassing zijn (bijvoorbeeld uit een relatief lange lijst van items). Het gevaar bestaat dat er een primacy effect optreedt en de eerste items uit de lijst ten onrechte meer worden aangeduid dan de latere items. Beter is dus om elk item afzonderlijk te bevragen. Cognitief moeilijkere taken zoals het selecteren van drie items uit een lange lijst of de vraag ‘Hoeveel procent van uw vrije tijd spendeert u aan welke bezigheden? Zorg dat het totaal 100% bedraagt.’ kunnen voor moeilijkheden zorgen. Al deze problemen zijn uiteraard vooral van toepassing voor schriftelijke vragenlijsten.

8. Dat websurveys technisch een grote voorsprong hebben op hun postvariant, betekent geenszins dat dit noodzakelijkerwijs ook voordelen zou opleveren. Eerder werd al aangegeven dat de gebruiksvriendelijkheid van een survey voorop staat. Het overladen van websurveys met video- of geluidsfragmenten is dus geen aanrader indien men niet wil riskeren dat een deel van de respondenten de vragenlijst niet kan openen.

Om de evaluatie met betrekking tot de geregistreerde antwoorden van het onderzoek naar milieubewustzijn zinvol te maken, is het met andere woorden raadzaam om de ‘unimode construction’ van de vragenlijsten als uitgangspunt te nemen. Zoniet zijn de eventuele verschillen tussen de modi van dataverzameling niet zuiver genoeg om van echte modus-effecten te kunnen spreken. Indien de vragenlijsten van de verschillende modi echter op een verschillende manier zijn opgesteld, wordt het moeilijk te achterhalen of eventuele verschillen in antwoordpatronen ook echt te wijten zijn aan verschillen inherent aan de modi. Het zal dus zaak zijn alvorens met de evaluatie van de geregistreerde antwoorden van start te gaan, eerst een evaluatie te maken van de vragenlijsten met het oog op de ‘unimode construction’ ervan.

Een blik op de verschillende vragenlijsten leert dat behoorlijk goed is voldaan aan de eisen van de ‘unimode construction’. Telkens is dezelfde volgorde van de vragen en de antwoorden gerespecteerd. Ook het uitzicht van de vragen en antwoormogelijkheden is telkens quasi identiek. Het enige noemenswaardige verschilpunt tussen de vragenlijsten is de expliciete ‘geen mening’-filter. Deze filter is niet expliciet aangeboden in de face-to-face modus voor de concepten economisch conservatisme, utilitair individualisme, culturele affiliatie en milieubesef. In de vragenlijsten van de post- en de webmodus is dit wel het geval. Een tweede afwijking van de raad tot uniformiteit is te vinden in de webvragenlijst. De antwoordmogelijkheden bij de vragen die pijlen naar de betrokkenheid op bepaalde maatschappelijke thema’s, stellingen in verband met het onderscheid naar materialisme/postmaterialisme en de tewerkstellingsector en het inkomen van vader en moeder werden hier weergegeven in de vorm van een selecteermenu. Deze menu’s houden de antwoordmogelijkheden onzichtbaar totdat de respondent het menu aanklikt met de muis. De postvragenlijst en de andere vragen uit de webvragenlijst maakte gebruik van ‘radio-buttons’. Dit zijn kleine cirkelvormige invoerelementen die, wanneer men er op klikt, het gekozen antwoord aangeven. Uiteraard volstond het voor de respondenten uit de postmodus om deze ‘radio-buttons’ met een pen of een potlood aan te kruisen. De mondelinge modus maakte gebruik van antwoordkaartjes waar de antwoormogelijk op vermeld waren. Het was vervolgens aan de interviewer om de antwoorden te coderen op een vragenlijst die sterk gelijkt op die van de postsurvey.

Het correct toepassen van de raadgevingen inzake uniformiteit van de vragenlijstconstructie maakt een grondige procesevaluatie van de geregistreerde antwoorden ietwat overbodig. Daarom zullen de gevolgen van het al dan niet opnemen van de expliciete ‘geen mening’-filter opgenomen worden in hoofdstuk drie, de evaluatie van de geregistreerde antwoorden.

Hoofdstuk 2. Evaluatie van de gerealiseerde steekproef

2.1. Inleiding

Deze bijdrage behandelt een evaluatie van een mixed mode survey design aan de hand van onderzoek naar milieubewustzijn bij studenten eerste kandidatuur. In dit hoofdstuk zal de evaluatie van de gerealiseerde steekproef aan bod komen.

Concreet wordt aandacht geschonken aan een drietal problemen. Ten eerste is er de totale respons. Deze wordt vergeleken per onderzoeksmodus. Ter herinnering: het design waarvan hier sprake is bestaat uit een web- en postsurvey waarvan een steekproef van de weigeraars werd opgevangen door een face-to-face luik. Ten tweede wordt de systematische uitval van de post- en websurvey behandeld. Daar zal voornamelijk worden gekeken naar achtergrondkenmerken van respondenten zoals geslacht of de faculteit waaraan men studeert. Ook zou het internetgebruik een rol kunnen spelen met betrekking tot de deelname aan de websurvey. Op de derde plaats zal ook aandacht geschonken worden aan inhoudelijke afwijkingen. Komt milieubesef meer voor bij respondenten uit de eerste fase van de dataverzameling? Deze drie problemen worden steeds ingeleid aan de hand van gegevens uit de onderzoeksliteratuur.

2.2. Totale respons

Over het algemeen zijn de responsgraden voor elektronische bevragingen kleiner dan traditionele surveys met pen en papier, hoewel er nauwelijks sprake is van consistentie op dit gebied. Dit valt ook nauwelijks te verwonderen aangezien de toegang tot het wereldwijde web voortdurend verandert (Yun, 2000; Sax, Gilmartin, Bryant, 2001).

De responsgraden van de twee startmodi voor het onderzoek naar milieubewustzijn bij studenten zijn weergegeven in tabel 2. Zowel de post- als de webvariant scoren hoog wat betreft respons. De webrespons is zelfs opvallend hoog in vergelijking met een gelijkaardig Amerikaans onderzoek eveneens bij studenten (53,56% t.o.v. 27%). Ook in vergelijking met de websurvey bij Leuvense studenten over hetzelfde onderwerp van een jaar eerder is er een stijging merkbaar (53,56% t.o.v. 46,5%). Deze stijging zou zijn oorsprong kunnen vinden in de toegenomen penetratiegraad en gebruiksintensiteit van informatica en internet in de leefwereld van de student. Dit zorgt ervoor dat de websurvey qua respons dicht bij de postsurvey aanleunt.

Tabel 2: Overzicht van de respons van de web-en de postsurvey voor het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Tabel 3 bericht over de bijdrage van de tweede stap in de procedure van dataverzameling (namelijk de face-to-face bevraging) naargelang de startmodus. In deze tweede stap werden de weigeraars van de eerste fase opgevangen. Dit geldt voor alle 231 weigeraars van de postenquête en 279 van de 349 weigeraars van de webenquête. 70 weigeraars werden dus niet meer opgevolgd. Deze selectie gebeurde aselect.

Tabel 3: Resultaat van contacten met weigeraars van post- en websurveys tijdens face-to-face fase bij het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)