De module
De tweede module van de IR Leerkringen is gericht op het verbeteren van IR-rapporten door gebruik te maken van statistiek.
Bestuurders vragen IR altijd eerst naar feiten, naar actuele standen van zaken (hoe hoog is het ziekteverzuim, het studierendement etc) en vervolgens naar de context: hoe is de ontwikkeling in de tijd gezien, of in vergelijking met andere instellingen? Dit zijn vragen die we beantwoorden met de ‘gewone’ IR-rapportages. De eerste module van de IR Leerkringen richtte zich op het vergemakkelijken van het analyseren van cijfermateriaal en het rapporteren daarover door beter gebruik te maken van onze tools (Excel en Access). De deelnemers aan deze eerste module waren erg enthousiast en gaven een hoge waardering voor de kwaliteit van de cursus en de docenten (zie Reacties van deelnemers).
IR wordt echter effectiever als ze haar gegevens niet alleen presenteert, maar ook duidt. Beleidsvoorbereiding en beleidsevaluatie vragen om inzicht in de relaties tussen verschillende metingen: Is de afname van het ziekteverzuim dit jaar in vergelijking met vorig jaar een toevallige ontwikkeling of niet? Eén die aansluit aan bij de trend van de laatste jaren of is er sprake van een trendbreuk? Is er een relatie tussen vooraanmelding en instroom van eerstejaars? Zijn de rendementsverschillen tussen de opleidingen economie in Nederland toevallig of niet? Is het studierendement van meisjes inderdaad hoger dan dat van jongens – of lijkt dat maar zo?
Kortom: is een verschil of overeenkomst tussen een aantal metingen of variabelen toeval, schijn of werkelijkheid?
Het is de statistiek die zich bezig houdt met deze vraag en een effectief IR zal daarom gebruik maken van de statistische methoden en technieken. Omdat de IR Leerkringen praktijkgericht zijn, is deze module echter geen gewone ‘inleiding in de statistiek’. Het is een praktische ‘hands on’ oefening die de deelnemers in staat zal stellen hun rapportages te verbeteren en zo hun werk in het HO aan effectiviteit te laten winnen.
In deze module wordt daartoe een korte inleiding in de statistische theorie gegeven, waarbij het praktische gebruik leidend is. We doen dat in een viertal workshops van een dagdeel.
- De workshops worden gegeven door docenten die deskundig zijn op het terrein van de statistiek en ook goed bekend met de IR-praktijk.
- Medecursisten zijn collega’s en eveneens werkzaam in het HO als informatie-analist of institutional researcher.
- Oefeningen zijn gebaseerd op landelijke HO-databestanden en met toepassingen in de IR-praktijk.
- Tussen de bijeenkomsten is er huiswerk.
- Tijdens de bijeenkomsten wordt enkel gebruik gemaakt van Excel. Er wordt niet gewerkt met een statistisch pakket.
De module ‘Statistiek voor IR’ biedt zo optimale mogelijkheden om het eigen werk te bespreken en te verdiepen. Na afloop van de module kunnen deelnemers:
- (omvangrijke) databestanden samenvatten in trends en prognoses
- samenhang tussen verschillende variabelen onderzoeken, ontdekken en inzichtelijk maken
- de risico’s van oorzaak en gevolg redeneringen onderkennen
- beoordelen of ontwikkelingen en verschillen significant zijn of op toeval berusten
- wetenschappelijke rapporten en artikelen waarin gebruik wordt gemaakt van statistische argumenten begrijpen en interpreteren
- een aantal belangrijke statistische functies van Excel toepassen.
De workshops
De module ‘Statistiek voor IR” bestaat uit vier workshops:
- Beschrijvende statistiek: het exploreren van data
- Toetsende statistiek (1): het trekken van conclusies
- Toetsende statistiek (2): het trekken van conclusies voor telgegevens en kruistabellen
- Statistisch rapporteren: het kritisch lezen en zelf opstellen van statistische rapportages
Voor de theorie wordt gebruik gemaakt van het boek “Statistiek in de praktijk” van Moore & McCabe. Een korte samenvatting van de theorie, een overzicht van de toepassingen aan de hand van voorbeeldopgaven en de huiswerkopgaven zijn te vinden in een aanvullende ‘reader’.
Elke workshop bestaat uit:
- het voorafgaand aan de betreffende workshop voorbereiden (of ophalen) van de theorie
- het behandelen van het huiswerk (behalve uiteraard de eerste keer)
- het behandelen van de betreffende theorie
- het toelichten aan de hand van een case
- huiswerk om thuis voor de volgende workshop te maken
> Workshop 1, dinsdag 20 maart
Exploreren van data (verdelingen en relaties)
Kijken naar gegevens: verdelingen
- weergeven van verdelingen met grafieken
- verdelingen beschrijven (gemiddelde, mediaan, standaardafwijking, spreidingsmaten)
- de normale verdelingen
Kijken naar gegevens: relaties
- spreidingsdiagrammen
- correlatie
- kleinste-kwadratenmethode
- aandachtspunten bij correlatie en regressie
- data-mining
- oorzaak en gevolg
Aan het einde van deze module:
Beschikken deelnemers over de instrumenten om grote gegevensverzamelingen samen te vatten. Daarnaast zijn zij in staat om samenhang tussen variabelen te ontdekken en inzichtelijk te maken en zijn zij zich bewust van de risico’s van oorzaak en gevolg redeneringen.
> Workshop 2, dinsdag 27 maart
Trekken van conclusies
Statistiek: onderbouwen van conclusies met behulp van kansrekening
- korte inleiding tot kansrekening en stochastiek (kans, verwachting, variantie)
- schatten met betrouwbaarheidsintervallen
- toetsen van hypotheses
- gebruik en misbruik van toetsen
- t-toets
- z-scores
Aan het einde van deze module:
Beschikken de deelnemers over voldoende inzicht in de theorie van kansrekening om statistische schattingen uit te voeren. Zij kunnen aangeven of conclusies significant zijn en zijn in staat om eenvoudige hypotheses te toetsen op statistische validiteit.
> Workshop 3, dinsdag 3 april
Trekken van conclusies voor telgegevens en kruistabellen
- recapitulatie vorige keer
- statistiek van telgegevens
- gegevensanalyse voor kruistabellen
- conclusies op basis van kruistabellen
- formules en modellen voor kruistabellen (inclusief chi-kwadraat toets)
Aan het einde van deze module:
Kunnen de deelnemers statistische conclusies trekken op basis van telgegevens (ja/nee gegevens). Verder zijn zij in staat om statistische gegevensanalyse toe te passen op data in kruistabellen.
> Workshop 4, dinsdag 17 april
Statistisch rapporteren
- Deelnemers hebben als laatste huiswerkopgave de opdracht gekregen om zelf een statistisch rapport op te stellen, dat ze ter beoordeling inleveren.
- Enkele deelnemers presenteren het rapport tijdens deze laatste sessie
- Aan de orde zullen komen “ wat is goed, wat is fout, wat zijn de mogelijkheden en tips voor verbetering” op basis van de ingeleverde cases.
- De theorie in deze laatste sessie richt zich op het lezen en zelf opstellen van statistische rapportages, het kritisch benaderen en interpreteren van gepresenteerde cijfers en tabellen.
Aan het einde van deze module:
Zijn de deelnemers (beter) in staat om wetenschappelijke rapportages waarin gebruik wordt gemaakt van statistische argumenten te begrijpen en te interpreteren. Daarnaast zij in staat de gepresenteerde resultaten kritisch te beschouwen. Tot slot beschikken de deelnemers over de kennis om zelf verantwoorde en begrijpelijke rapportages te schrijven.
Merei Lubbe en Veroni Larsen vormen samen het adviesbureau Lubbe & Larsen. Zij hebben beiden econometrie gestudeerd aan de VU en beschikken dus over een stevige statistische basis. Door het geven van bijlessen en werkcolleges aan eerstejaarsstudenten zijn ze vertrouwd met het overbrengen van kennis aan (nog) niet-ingewijden. Het afgelopen jaar hebben Merei en Veroni intensief bijgedragen aan het interuniversitaire IR-project bij de VSNU. Tijdens die periode hebben zij hun statistische kennis toegepast in het Hoger Onderwijs en gewerkt met de KUO, KUOZ en WOPI-bestanden.