Publicatie in "THEMA" - Tijdschrift voor Hoger onderwijs & Management - 1999 / nummer 2

---

Empirische informatie over ontwikkelingen in aantallen en prestaties speelt een steeds grotere rol in universitaire besluitvormingsprocessen. Zowel bij de voorbereiding als de evaluatie van beleidsbeslissingen wordt steeds vaker gevraagd naar vooral vergelijkende informatie. Niet alleen willen we weten hoe we het doen, maar ook willen we weten hoe we het doen in vergelijking met vergelijkbare instellingen, faculteiten of opleidingen. Het produceren van zulke kengetallen over gecompliceerde universitaire processen is niet eenvoudig, maar toch leiden de inspanningen hier tot resultaten. De Kengetallen Universitair Onderwijs zijn een voorbeeld van een gebied waar de afgelopen tijd vooruitgang werd geboekt. Twee betrokkenen berichten over het KUO-traject: wat hebben we aan KUO? Wat is er mee bereikt? En wat hebben we ervan geleerd?

Wat zeggen de Kengetallen Universitair Onderwijs 1998?

Peter Hoekstra en Vincent Vendel
Universiteit van Amsterdam

Het meest succesvolle interuniversitaire project op het gebied van de stuurinformatie is het project Kengetallen Universitair Onderwijs (KUO). Vorig jaar oktober verscheen KUO 1998 , de derde KUO-publicatie en de eerste met vergelijkende detailgegevens over opleidingen. Opvallend is dat KUO 1998 in de pers niet de aandacht heeft gekregen die het verdiende. In dit rapport worden toch, na jaren van overleg tussen universiteiten en minister, en na jaren van vergaderen en werken in ambtelijke commissies en werkgroepen, in een klap drie vliegen tegelijk geslagen.
In de eerste plaats zijn de Nederlandse universiteiten het voor de eerste keer eens geworden over instellingsoverstijgende definities van studierendement en studieduur. Dit mag, gezien alle discussies, en gezien ook de bibliotheek die inmiddels over dit onderwerp is volgeschreven, als een niet geringe prestatie worden beschouwd. In de tweede plaats hebben de instellingen, ondanks de onderling grote administratief- technische en organisatorische verschillen, de afgesproken bestanden ook daadwerkelijk volgens eenduidige formats aan weten te leveren. Er bestaat nu een database met een grote hoeveelheid afgestemde detailgegevens over het universitair onderwijs in Nederland. En in de derde plaats zijn ze er in geslaagd alle gegevens in twee boekjes van samen zo'n 300 pagina's te bundelen.
Het is begrijpelijk dat de VSNU, die het proces coördineerde, in haar persbericht hoog opgaf van deze prestaties: "Voor het eerst presenteren universiteiten cijfers over hun opleidingen die onderling volledig vergelijkbaar zijn."

Wat hebben nu al het werk en alle discussies opgeleverd aan nieuwe kennis over het studiegedrag van de studenten bij verschillende universiteiten?

KUO 98: nieuwe kennis?
Al met al is dat nog al wat. Enkele voorbeelden:
We weten nu dat van de studenten die in september 1988 in het WO begonnen te studeren acht jaar later 75% ergens in het hoger onderwijs een einddiploma had behaald. Dit getal geeft een heel ander beeld dan de vaak sombere cijfers die gebaseerd zijn op studierendement binnen de opleiding en binnen de instelling van oorsprong.
We weten nu ook dat van deze in 1988 begonnen studenten 62% een doctoraaldiploma behaald aan de startuniversiteit, 5% aan een andere universiteit en 8% een opleiding in het HBO heeft afgerond. Nieuw is verder dat we weten dat na 8 jaar 17 % van de starters niet langer studeert in WO of HBO, en dat 9 % nog ergens in het HO staat ingeschreven.

En verder laten de nieuwe KUO-gegevens zich vertalen in de volgende karakteristiek van het WO:

• stijging propedeuserendement: het propedeuserendement na 1 jaar studie is gestegen van 30% in 1993 naar 38% in 1996; het rendement na 2 jaar bedraagt ruim 60%, na 3 jaar ca. 73%
• studiestaking: 5% van de studenten staakt de opleiding gedurende het eerste studiejaar; na het 3e studiejaar is 9% gestopt met een studie in het HO
• doctoraalrendement: van de studenten van de cohorten voor 1990 haalt ca. 13% een doctoraal examen binnen 5 jaar; bij de cohorten 1991 en 1992 is er een plotselinge verdubbeling van dit rendement naar 27 resp. 28%; ook het rendement na 6 jaar van het cohort 1990 ligt met 54% duidelijk boven het gemiddelde van de jaren daarvoor: ca. 49%; uiteindelijk studeert ruim driekwart van de studenten af in WO of HBO
• kortere studieduur: van degenen die in 1993 en 1994 zijn afgestudeerd in het WO bedroeg de gemiddelde studieduur 71 maanden; voor 1995 en 1996 bedroeg dit gemiddelde 69 maanden.

Het gegeven dat er grote verschillen zijn tussen de diverse wetenschapssectoren (HOOP-gebieden) is op zich niet nieuw. Opvallend is wel dat het forse verschil in het doctoraalrendement na 5 jaar tussen de cohorten 1990 en 1991 zich bij elk wetenschapscluster voordoet. Onderstaande tabel brengt beide constateringen in beeld, en geeft voor elke sector achtereenvolgens het studierendement na 5 jaar van de cohorten 1990 en 1991, en het percentage (gemiddelde van 1990 en 1991) van de studenten dat na 5 jaar het HO heeft verlaten zonder einddiploma.

Studierendement na vijf jaar

	cohort     1990	cohort     1991	uit HO
gezondheid	39	48	5
landbouw	9	45	6
natuur	14	32	10
gedrag & maatschappij	15	32	13
economie	9	22	10
techniek	12	18	9
rechten	9	24	15
taal & cultuur	12	27	20

In meer algemene termen geformuleerd zijn de grote winstpunten van KUO:

• Voor het eerst is het totale rendement van het WO in Nederland in kaart gebracht. Tot op heden was het onmogelijk het switchen van studenten tussen universiteiten onderling of het overstappen van het WO naar het HBO in de rendementsberekeningen mee te wegen.
• De vergelijkende waarde van de gegevens over de output van het WO is sterk toegenomen. En dat is niet alleen het gevolg van het op een lijn brengen van de onderliggende definities. Minstens zo belangrijk is dat de universiteiten hebben besloten de outputgegevens op een lager niveau te aggregeren. Niet meer alleen op dat van de universiteiten en HOOP-gebieden, maar ook op dat van de opleidingen. Hiermee zijn de mogelijkheden tot benchmarking verbeterd en is de relevantie van de kengetallen voor het onderwijsbeleid sterk verbeterd.
• De gegevens over het WO zijn opgeslagen in een gemeenschappelijke database. De gegevens zijn helder gedefinieerd; de database wordt op professionele wijze door het CBS beheerd, en jaarlijks geactualiseerd. Het grote voordeel is dat het WO daarmee in staat is (externe) informatievragen op een adequate en eenduidige wijze te beantwoorden. Dit geldt voor de verantwoording aan de overheid, voor vragen van de onderwijsvisitatie-commissies, voor de samenstellers van de Keuzegids Hoger Onderwijs, etc. Bijkomend voordeel is dat de afzonderlijke instellingen zich veel jaarlijks terugkerend werk kunnen besparen.

Kanttekeningen
De eerste KUO-publicaties leken vooral gemaakt te zijn voor de befaamde onbekende lezer op het ministerie van OCW. Je hoorde nooit eens ergens anders iemand over KUO, en al helemaal niet op de instellingen of faculteiten.
Nog lijkt de interesse niet brandend, maar er komt verandering. Waar sommige instellingen intern eigen samenvattingen of analyses van KUO uitbrengen en nu ook de eerste visitatiecommissies met KUO-cijfers worden geconfronteerd, gaan deze wat meer leven. Daarmee komen echter ook de eerste kritische kanttekeningen bij de KUO 1998. Voor een groot deel zijn deze te herleiden tot het euvel dat KUO te veel verschillende meesters lijkt te willen dienen. Hoewel bij de start van het KUO-proces nadrukkelijk de informatiebehoefte van de universiteiten en de wens om tot uitwisseling van adequate en onderling vergelijkbare kengetallen voorop stond, zijn in het project bijna sluipenderwijs ook andere doelen tot hoofdinzet gepromoveerd. De publicatie moest meer en meer én de universiteiten van vergelijkende onderwijskengetallen voorzien, én het parlement inzicht geven in de prestaties van het wetenschappelijk onderwijs, én aanstaande studenten en hun ouders betrouwbare informatie verschaffen, én de onderwijsvisitatie-commissies basismateriaal verstrekken.
Dat is te veel voor één publicatie, en bovendien een onnodige stapeling van doelstellingen. Eén van de winstpunten van het KUO-project is nu juist er een goed gedefinieerde en goed beheerde landelijke dataverzameling is ontstaan. Met behulp daarvan zijn de universiteiten in staat aan verschillende partijen en stock-holders informatie op maat te leveren. Want niet iedereen zit op dezelfde informatie te wachten of wil deze op hetzelfde moment hebben. Het samengaan van de verschillende doelen heeft nu als gevolg dat KUO 98 teveel het accent heeft gekregen van verantwoording naar politiek en maatschappij, en te weinig het karakter van stuurinformatie voor de universiteiten zelf. De stapeling van doelstellingen heeft ook tot gevolg gehad dat KUO 98 teveel details geeft - bijna 300 pagina's met uitgebreide tabellen is wel erg veel van het goede en verklaart wellicht ook de stilte waarmee het rapport is ontvangen.
Daarbij komt, en dat is een andere kanttekening, dat de gepresenteerde cijfers niet altijd de meest actuele zijn -het meest recente propedeuserendement heeft bijvoorbeeld betrekking op het cohort 1994/95. De keuze voor aggregatie op het niveau van de opleiding leidt in het geval van unieke opleidingen en opleidingen met een gering aantal studenten tot weinigzeggende informatie. En tot slot schiet de keuze voor de 'standaardselectie' van voltijd eerstejaarsstudenten met een VWO-vooropleiding zijn doel van het geven van kengetallen voorbij bij opleidingen, waar meer dan 50% in deeltijd studeert of afkomstig is van het HBO.

Meer kengetallen?
Vorig jaar geleden bracht de VSNU-Stuurgroep Informatie Beleid (SIB) de nota " Data Dienen Duizend Doelen" uit, tegelijkertijd 'een visie, een beleidskader en een actieplan'. De SIB constateert in deze notitie (opnieuw) de toenemende belangstelling van bestuurders voor empirische informatie.
De kern van bestuurlijke informatie zoekt de 'DDDD'-notitie vervolgens - terecht - in de wisselwerking tussen sturing en gegevens. De SIB komt vervolgens tot de conclusies dat de bestaande reeks VSNU-kengetallenpublicaties , doorgezet moet worden, dat er financiële kengetallen moeten komen (KUFI), en dat er een aantal nieuwe vormen van 'analyse, attendering en evaluatie' moeten worden beproefd, 'meer gericht op sturing dan op verantwoording'. Vervolgens schets zij een actieplan voor de verschillende kengetallen.
KUO 1998 is een eerste resultaat van het actieplan van vorig jaar. We bespraken al de on- en schaduwzijden van het KUO-publicatie. Wat leert ons dit project echter voor de andere aspectgebieden en voor nieuwe kengetalprojecten?

Succesfactoren 'KUO 1998' is niet uit de lucht komen vallen. De geschiedenis van dit project gaat ver terug - al in het begin van de jaren 90 circuleerden er concepten van een lijst onderwijskengetallen. Toen al was duidelijk dat er eenduidige cijfers zouden moeten komen over de aantallen inschrijvingen, de instroom, de studieduur en het studierendement.
Na een eerste project 'Kengetallen Hoger Onderwijs', dat geen doorslaand succes heeft willen worden, werd in 1995 het project opnieuw gestart, maar nu als KUO, waarin naast de 13 universiteiten alleen de VSNU -als procescoördinator- en het CBS participeerden. Ook de geschiedenis van het KUO-project is een roerige. De discussies waren verhit -wat niet verwonderlijk is wanneer er 13 partijen aan tafel zitten met heel verschillende posities, mogelijkheden en standpunten. Wat de een kan de ander niet. Wat het ene CvB graag wil is elders niet aan de orde. Wat sommige universiteiten uiterst interessant vinden, wordt bij andere überhaupt niet gevraagd.
Maar als gezegd, de groep is er uiteindelijk uit gekomen, en na eerste algemene rapportages in 1996 en 1997 verscheen het uitgebreide KUO-rapport in oktober 1998. Daarmee ligt er een duidelijk product en, minstens zo belangrijk, is er ervaring met het proces van kengetallenontwikkeling. Voor volgende projecten lijkt het belangrijk te kijken naar enkele kritische succesfactoren in dit proces.

De opdracht
Van belang was natuurlijk in de eerste plaats de bestuurlijke wil: het product moet echt gewenst zijn. In het KUO-traject was deze bestuurlijke wil nadrukkelijk aanwezig. Standpunten van het Algemeen Bestuur van de VSNU en van de VSNU-stuurgroep Informatie Beleid spoorden met toezeggingen van de Minister aan de Tweede Kamer en afspraken tussen de VSNU en het ministerie.

Dataleveranties en -verwerking
Het tweede element dat bijdroeg aan het succes van het project was de betrokkenheid van de onderwijsadministraties en van het CBS. De instellingen stuurden eigen bestanden naar het CBS ter verdere verwerking. Deze dataleveranties sloten aan op de klassieke leveringen in het kader van de algemene studenttellingen. Het feit dat de instellingen vertrouwen hadden in de ervaring en competentie van het CBS en dat dit vertrouwen ook waargemaakt werd, zijn uiteraard andere belangrijke succesfactoren.

De KUO-werkgroep
Kenmerken van de KUO-projectgroep waren in de eerste plaats de grote betrokkenheid van de leden en in de tweede plaats de veelal concrete zakelijkheid van de discussies. De sfeer was ondanks de gevoeligheid van het thema zakelijk en gericht op het verwerven van inzicht. Een van de aspecten die daaraan bijdroeg was naar ons idee de komst van een 'new kid on the block': veel van de projectgroepsleden waren in dit project aanwezig als informatiemakelaar . De expertise van deze nieuwe professionals ligt in het verzamelen, bewerken en analyseren van informatie vanuit het oogpunt van de bestuurlijk behoefte- en deze inbreng heeft duidelijk bijgedragen aan een zakelijk en resultaatgericht discussieklimaat.

Strategieën en valkuilen
Kengetallen projecten in het WO zijn altijd projecten van instellingen die weliswaar branche-genoten zijn, maar die onderling verschillen wat betreft administratieve systemen, technische mogelijkheden, organisatorische kaders en strategische doelstellingen. Zulke projecten tot een succes maken vergt buiten een sterke bestuurlijke wil en heldere competenties ook een goede combinatie van productiestrategieën. In het KUO-project (maar niet alleen daar) kwamen we drie strategieën tegen die van waarde bleken, maar op hun tijd ook valkuilen waren. De eerste hiervan is de administratieve strategie. Deze strategie kan een methode zijn om te komen tot heldere begripsafbakeningen. In het extreme getrokken wordt het echter een zoektocht naar 'de definities van alles voor iedereen'. Dit administratieve absolutisme leidt dan tot niet meer dan dikke definitiestudies en beslisdocumenten.
De tweede strategie die tot valkuil kan worden is de statistische. Als het goed gaat worden met deze methode de mogelijkheden van de statistiek geoptimaliseerd. Als het niet goed gaat wordt het een statistisch naturalisme: de neiging de werkelijkheid met behulp van statistische methoden en technieken volledig te beschrijven. Het is de zo mooi door Borges beschreven poging de landkaart zo precies te maken, dat ze uiteindelijk een schaal van 1:1 krijgt. Niets wordt weggelaten, elke student is naspeurbaar, maar de landkaart is onoverzichtelijk als het landschap zelf. De laatste strategie is de technische. Weer: in het gunstige geval ligt hier de ICT-bijdrage in de vorm van een technology push. Ook deze strategie kan doorslaan. Ze wordt technisch imperialisme als ze zich alle problemen tot technische problemen verklaart en met de belofte dat 'alles' kan, het onvermijdelijke selectieprobleem niet oplost, maar voor zich uitschuift.

Informatie op maat
Tegenover deze omvattende strategieën staat de ontwikkelstrategie van de " bestuurlijke informatie op maat". Dit is een incrementele benadering die geschikt is voor zowel de voortzetting van KUO als voor nieuwe projecten.
De 'informatie op maat'-strategie die ons voor ogen staat en die we in onze UvA-context ook toepassen, gaat uit van de behoefte aan stuurinformatie en maakt daarbij onderscheid tussen verschillendsoortige bedrijfsprocessen. Deze aanpak probeert niet in één beweging alles op te lossen maar baseert zich op het gegeven dat verschillende domeinen verschillende stuurbehoeften, technische mogelijkheden, en ontwikkelsnelheden kennen.
Elk domein wordt dan vanuit haar eigen mogelijkheden en behoefte aan stuurinformatie benaderd. In elk domein wordt informatie geproduceerd en vervolgens stap voor stap verbeterd. Studentenbeleid is nu eenmaal geen personeelsbeleid. Onderzoek is geen financieel beheer en kan met andere methoden en technieken benaderd worden.
De succesfactoren voor deze strategie hebben we genoemd. Binnen de instellingen zijn dat eerst en vooral bestuurders die weten dat ze adequate informatie nodig hebben en die niet langer in de grote beloftes geloven. Daarbij professionele informatiemakelaars die kennis van methoden en technieken paren aan 'institutional intelligence'. En natuurlijk de aanwezigheid van ICT-tools die zich eenvoudig laten gebruiken als spreadsheets, browsers of word processors - tools die ondertussen opmerkelijk snel krachtiger worden.

KUO 2000?
Ondertussen gingen en gaan de ontwikkelingen in het WO gewoon door.
Ten tijde van de publicatie van de KUO-rapportage in oktober 1998 werd er op het Ministerie van OCW druk gewerkt aan de voorbereiding van een nieuw stelsel van studiefinanciering; minister Hermans maakte de plannen enkele weken geleden bekend: de druk op studenten om zo snel mogelijk af te studeren wordt daardoor minder groot.
En in diezelfde periode werd aan de UvA - maar niet alleen daar - gewerkt aan de voorbereiding van een nieuwe allocatiesystematiek. De prestatie in het onderijs wordt in deze systematiek uitgedrukt in aantallen studiepunten per onderwijsinstituut en niet langer in termen van numerieke studierendementen.
Hebben hiermee, op het moment van verschijnen van het KUO-rapport, twee van de centrale begrippen daarin, rendement en studieduur, hun langste tijd als universitair onderwijskengetal gehad? Vragen als deze zullen opgeworpen blijven worden. Kengetallen zullen altijd weer ter discussie staan - en dat hoort ook zo. Het KUO project kan desondanks voortgezet worden. Hopelijk vanuit een perspectief dat - in lijn met de gedachten van de SIB-notitie - zal verschuiven van het verzamelen en definiëren van gegevens naar de interpretatie en analyse ervan. En vervolgens naar het gebruik ervan voor universitaire evaluatie en sturing.

drs J.P. Hoekstra is hoofd Bureau Bestuurlijke Informatie van de UvA
drs V. Vendel is projectleider van het Kengetallen Automatiseringsproject van de UvA