Deel 17: Facultair toetsbeleid

Uitgangspunt

• Dit is een kerntaak van de CKO en OC’s en een belangrijk  element bij de kwaliteitsbewaking van de opleiding : op welke manier worden beoogde competenties daadwerkelijk getoetst?
• Er is nood aan een overzicht (hoe en wat toetsen we?). Het gaat in eerste instantie om de vorm (hoe communiceer je dit naar de studenten, criteria). Daarnaast zal ook de inhoud worden bekeken in het kader van horizontale en/of verticale samenhang van het programma (leerlijnen).
• Goeie praktijken benadrukken. Vaak nog niet zichtbaar genoeg => meer reflectie dan controle. De faculteit wil meedenken over het toetsbeleid, niet controleren.
• Enkele concrete issues hebben het thema nog meer op de voorgrond geplaatst: lage slaagcijfers bij sommige vakken (bijvoorbeeld in hogere jaren), discrepantie in punten bij beoordeling papers (onderzoekspaper/masterproef), gebrek aan transparantie voor studenten (bv mondelinge examens: hoe wordt dit precies beoordeeld?), multiple choice enhogere cesuur , gebrek aan inzicht in lokale academische cultuur voor gast- en nieuwe docenten…
• Er wordt een overkoepelende facultaire toetscommissie opgericht, en een toetscommissie per opleidingscommissie, om een en ander op te volgen en te coördineren. Aan de lesgevers zal gevraagd worden om informatie over hun toetspraktijk (incl. examenvragen) mee te delen. Ook studenten zullen meer diepgaand bevraagd worden over de toetspraktijk. 

In deze nota:

(1)      Beknopte achtergrond over het UGent-toetsbeleid

(2)     Een voorstel voor Facultair Toetsconcept

(3)     Een voorstel voor oprichting Facultaire Toetscommissie + werkwijze

(4)     Een voorstel voor oprichting Opleidingsspecifieke Toetscommissies + werkwijze

Beknopte achtergrond UGent-toetsbeleid

 

Toetsbeleid UGent = samenhangend geheel van maatregelen en voorzieningen om de kwaliteit van toetsing te bewaken en te bevorderen. UGent opteert voor een toetsmodel bestaande uit drie fasen (nastreven, meten en borgen) en drie betrokkenheidsniveaus (docenten, opleidingen en de universiteit). In een eerste fase wordt een visie op kwalitatief toetsen geëxpliciteerd. Dit is de fase NASTREVEN.  Vervolgens wordt in een tweede fase regelmatig nagegaan of die vooropgestelde kwaliteit daadwerkelijk gerealiseerd wordt (cf. METEN). Tenslotte wordt in een derde fase de toetskwaliteitgegarandeerd (cf. BORGEN) in afspraken en reglementen, in de organisatie en planning van de evaluaties en door het ondersteunen van lesgevers en opleidingen. 

UGent toetsconcept: Onderwijskundige vertaling van ‘Durf denken’ op het vlak van toetsing. Het UGent-toetsconcept ‘Meten van Geïntegreerde Kenniscompetenties’ geeft aan waar onze instelling de nadruk op wil leggen bij de verdere ontwikkeling van toetsing. Met het toetsconcept willen we ook de eigenheid van toetsing aan de UGent meer onderwijskundig karakteriseren. 

Meer concreet:

1. Valide toetsing vertrekt vanuit beoogde competenties
2. Integratie toetst ook kennis
3. Authentiek toetsen in diverse contexten bevordert transfer
4. Discipline overstijgend toetsen stimuleert kritische zin
5. Feedback stimuleert creativiteit
6. Actie en interactie vereisen de hoogste betrouwbaarheid
7. Transparantie installeert vertrouwen in toetsing
8. Zelfreflectie is basis voor levenslang leren
9. Gevarieerde toetspraktijk respecteert diversiteit 

Toetsvisie faculteit PSW, gebaseerd op het toetsconcept van de UGent 

De kwaliteitsbewaking van de toetsing gebeurt op verschillende niveaus, namelijk binnen de opleiding zelf door de toetsingscommissie en de opleidingscommissie en buiten de opleiding door de examencommissie en de kwaliteitscel onderwijs. 

Facultair Toetsconcept

Valide toetsing vertrekt vanuit beoogde competenties

 Eén van de meest cruciale kwaliteitskenmerken voor toetsing is validiteit:  Evaluatie moet betekenisvol, bruikbaar en geldig zijn om uitspraak te doen over het bereiken van de vooropgestelde

competenties door de student(en).  De faculteit herschreef in 2013-14 de opleidingscompetenties die we bij studenten beogen. Deze uitgeschreven competenties vormen de basis voor doordachte keuzes wat betreft evaluatie.  De evaluatievorm moet steeds geschikt zijn om de beoogde competenties op een bepaald moment te meten. De Facultaire Toetscommissie zal een jaarlijkse evaluatie doen aan de hand van onze competentiematrixen per opleiding: zijn de gebruikte evaluatievormen in relatie tot de beoogde leerresultaten (examens en werkstukken) voor de Bachelor en Masteropleiding ? Naast dit globaal overzicht van de toetsingsvormen voor de volledige Bachelor – en Masteropleidingen wordt er tevens een analyse gemaakt van de toetsingsvormen voor de individuele leerresultatenblokken.

Grote diversiteit aan evaluatievormen vanuit onderwijs vernieuwend perspectief 

Onze opleidingen gebruiken klassieke evaluatievormen (schriftelijke en mondelinge examens) om na te gaan of studenten voldoende academische kennisbagage hebben verworven. We willen echter nog meer inzetten  op diverse vernieuwende evaluatievormen waarmee hogere, ruimere en/of meer complexe competenties geëvalueerd worden.  In ons toetsbeleid wensen we hierop sterker de nadruk te leggen door de bestaande good practices op dit vlak in kaart te brengen en ruimer te verspreiden in onze opleidingen. Hierbij willen we er ook over waken dat deze meer onderwijsvernieuwende evaluatievormen (o.a. peer-assessment, papers, ...) op een zo kwaliteitsvol mogelijk en voor studenten en lesgevers transparante manier worden ingevuld en in de praktijk toegepast. De kwaliteitscel onderwijs reikt hiervoor  ook bepaalde tools aan (bv. beoordelingsmatrixen, infonamiddagen, enz.)

Feedback stimuleert creativiteit 

De faculteit wil inzetten op kwaliteitsvolle feedback! Vooral  tussentijdse  of niet-periodegebonden evaluaties met onmiddellijke feedback vormen één van de meest krachtige stimuli tot leren. Deze  sporen studenten aan om regelmatig bezig te zijn met hun studies, verspreid over de hele duur van een opleidingsonderdeel. De faculteit wil het potentieel aan efficiënte feedbackmogelijkheden zo maximaal mogelijk benutten en zet in op al dan niet geautomatiseerde feedback, individuele of collectieve feedback, peerfeedback etc. Het meer collectief en repetitief organiseren van klassieke feedback is optie (klassieke feedback kun je hergebruiken want zelfde opmerkingen komen terug). Belangrijk om medewerkers te coördineren op dat vlak. Om de betrouwbaarheid van de toetsing en de kwaliteit van de feedback te garanderen, is het gebruik van heldere evaluatiecriteria van cruciaal belang. 

Transparantie en communicatie 

Transparantie en communicatie van de toetsing is essentieel. De facultaire toetscommissie wil dan ook richtlijnen meegeven hieromtrent. Interne communicatie onder PSW lesgevers over hun toetsing is cruciaal om tot een kwalitatief hoogstaand toetsbeleid te komen. We willen dit waarborgen door: 

• Jaarlijkse controle studiefiches door facultaire toetscommissie, deze beschrijven in een eenduidige terminologie de evaluatievormen,  -momenten en voorwaarden tot slagen. Criteria zijn niet alleen nodig omwille van de transparantie, maar dienen ook als leidraad voor studenten om bij te leren (bv. te verduidelijken wat een hoog niveau is). Studenten de juiste tools geven! 

• De lesgevers wijzen op het belang van:

ü  Toelichting van studiefiche in eerste les

ü  studiefiche in cursus opnemen (bv. vooraan in de cursus)

ü  Werkstukken en dergelijke die meetellen voor punten worden op fiche vermeld + deelpunten via persoonlijke communicatie bezorgen aan student

ü  Voorzien van voorbeeldvragen

ü  Lesgevers aanraden om soort inlichtingenfiche over de opzet van het vak op te maken die bij eerste les wordt meegegeven: wanneer en waar, leermateriaal, lesvoorbereiding, examen, communicatie (bijvoorbeeld via Ufora), lesschema en/of literatuurlijst

ü  Persoonlijke feedback na het examen. Er kan naar gestreefd worden om voor de high stake vakken systematisch feedback te voorzien (bijbvoorbeeld zoals bij MP, onderzoekspaper, papers, …) 

Zelfreflectie draagt bij tot persoonlijke ontwikkeling in het kader van levenslang leren 

Hoewel toetsing meestal als beoordelingsinstrument dient kan  evalueren ook als middel tot leren ingezet worden (= op individueel niveau, zelfreflectie).  Met het oog op levenslange kennisontwikkeling, is het van belang dat studenten tijdens hun UGent-periode  reflecteren  op hun eigen leerproces. De student kan dit doen via de onderwijsevaluaties, de ombudspersoon en via zijn vertegenwoordigers in de opleidingscommissies en CKO.  

Goede planning en spreiding bij examinering als onderdeel van kwaliteitsvolle en eerlijke toetsing 

Er wordt over gewaakt dat er sprake is van een goede programmering voor de toetsing. Er wordt gestreefd naar vaste examenroosters voor alle jaren (uitzonderingen natuurlijk bij programmawijzigingen, onbeschikbare auditoria, feestdagen, …. Studenten en lesgevers worden geconsulteerd. Gebruik van Centauro moet duidelijkheid naar student ook ten goede komen.                                                                                                                                                                                       

Toetscommissies als duurzame kwaliteitswaarborg 

Binnen de faculteit worden er een facultaire en opleidingsspecifieke toetscommissies opgericht, met de volgende doelstellingen:

1. Het bewerkstelligen van een consistente kwaliteitsborging van elke vorm van toetsing in de opleiding die kadert binnen de globale visie op toetsing van de opleiding
2. Het stimuleren van validiteit, betrouwbaarheid en transparantie van toetsing (tussentijdse en eindevaluaties) en duidelijke communicatie/feedback naar de docenten en studenten van de opleiding toe.
3. Het bewerkstellingen van een coherente toetspraktijk binnen elke opleiding waarin alle vooropgestelde opleidingscompetenties op een valide manier worden bereikt en afgetoetst.  

Facultaire Toetscommissie (FTC): samenstelling & werkwijze 

1. Opgericht in het AJ 2013/14, in de schoot van de KCO

 Wie?

• OD (zit voor), Vz OC, ombudspersoon, 1 AAP, 1 CKO, medewerker onderwijsinnovatie, 1 student
• op uitnodiging iemand van DOWA, curriculummanager/FSA (m.b.t. examenroosters)

 Frequentie: jaarlijks 

1. Kwaliteitsborgingscontrole door Facultaire Toetscommissie: 

• FTC maakt template examenvragen op (met oa. naam OO, richting, jaar, zittijd, examinator, duur examen, materiaal bruikbaar tijdens examen, meerkeuze (wel/geen giscorrectie, soort giscorrectie, naam student, ruimte om per vraag punten te geven + feedback )
• FTC maakt kwaliteitschecklist voor docenten: lijst op basis waarvan de lesgever tijdens en na het opstellen van de examenvragen kan checken of er voldaan is aan de verschillende aspecten van de kwaliteitsborging  van de examenvragen (denk maar aan de driedeling validiteit, betrouwbaarheid en transparantie + items m.b.t. vorm van examen, denk maar aan MC, open vragen, open boek, …).
• FTC stelt een screeningsmatrix op die gebruikt zal worden door de Opleidingsspecifieke Toetscommissies
• Jaarlijkse evaluatie aan de hand van onze competentiematrixen per opleiding: worden de vooropgestelde opleidingscompetenties voldoende bereikt en afdoende getoetst?
• De FTC fungeert tevens als toetscommissie eerste lijn (werking opleidingsspecifieke) voor de gemeenschappelijke vakken uit 1^e Bachelor
• Kwaliteitscontrole Masterproef (om de vier jaar) in schoot van facultaire toetscommissie (bv. beoordelingsmatrix)
• Algemene problematieken zoals slaagcijfers
• Roostering van examens (deadlines van bekendmaken)
• De Opleidingsspecifieke Toetscommissies rapporteert waar nodig aan de Facultaire Toetscommissie over hun werking. Op basis van alle rapporten worden globale adviezen opgemaakt die teruggekoppeld worden naar de OC’s (good & bad practices oplijsten om op die manier het toekomstig toetsbeleid te stofferen). 

Opleidingsspecifieke Toetscommissies (OTC): samenstelling & werkwijze 

1. Opgericht in het AJ 2013/14, in de schoot van de OC’s 

1. Wie?

• ·         Voorzitter OC (zit voor), 2 extra ZAP (bij voorkeur diegene die verantwoordelijk is voor luik toetsing in ZER/vakgroepvoorzitter), 1 AAP, 1 CKO + 1 student wordt bij de werking van de OTC betrokken
• Op uitnodiging kunnen er andere medewerkers (eventueel externen) de bijeenkomsten bijwonen. 

1. Kwaliteitsborgingscontrole door Opleidingsspecifieke Toetscommisies: 

1. A.      Voor examens van individuele opleidingsonderdelen 

• Jaarlijkse controle studiefiches (rubriek evaluatie + eindscoreberekening)

Zie facultair toetsconcept (punt 4 transparantie en communicatie) 

• Screenen van vakken

ü  Welke vakken?

• Nieuwe vakken altijd
• Als uit onderwijsevaluaties blijkt dat er problemen zijn of op vraag van studenten
• Als slaagcijfers extreem pieken of dalen (uitschieters)

ü  Wanneer?

• Voor nieuwe vakken/nieuwe lesgevers : Lesweek 13  (1^ste + 2^de semester) (reden: pro actieve supervisie)
• Voor andere vakken (week na afsluiten examenperiode)

ü  Wat?

• Laatste examenvragen (vragen op zich, wie stelt ze op/intervisie opstellen vragen, spreiding over de cursus/representativiteit?, …)
• Examenorganisatie (Hoeveel tijd? Wie verbetert er?...)
• Beoordelingscriteria, verbetersleutel (indien van toepassing)
• Er wordt gebruik gemaakt van een screeningsmatrix die door FTC wordt opgesteld:
  • Evaluatievorm en organisatie
  • Toetsvisie: hoe toetsen we de beoogde  eindcompetentie, en wat is de link met de opleidingscompetentie? Cruciale onderdelen zijn hierbij:
    • Doelstelling (vakcompetentie), duiding van de relatie van de vakcompetentie met de opleidingscompetentie
    • Scoringsmethode: oplijsten criteria en koppeling van die criteria aan puntenniveaus
    • Formuleren link tussen eindcompetentie en de puntenniveaus (overzichtstabel – zie beoordelingsmatrix masterproef, onderzoekspaper)
    • Toetscommunicatie (ECTS, syllabus, feedback,…)
    • Coördinatie (instructie van medewerkers inzake toetsing, intervisie bij opstellen examen)
    • Acties en conclusies
    • Scoringsdistributie: lesgevers ontvangen hun scoredistributie voor het desbetreffende vak. Dit geeft een statistische weergave van de examencijfers berekend per academiejaar (OASIS). 

• Geïnteresseerden kunnen ook gebruik maken van de ‘toetsmatrijs’ (onderwijstip: https://onderwijstips.ugent.be/nl/tips/toetsmatrijs-het-hulpmiddel-om-valide-te-toetsen/). Bij het opstellen van een examen is het belangrijk dat de verschillende doelstellingen en/of onderdelen van het opleidingsonderdeel op een evenwichtige manier zijn vertegenwoordigd. Het gebruik van een toetsmatrijs is vooral bedoeld voor evaluaties waarin representativiteit wordt nagestreefd, maar zeker ook zinvol om een doordachte kijk te krijgen op een ‘gewoon’ examen. 

ü  De OTC bespreekt de verschillende dossiers, en brengt ze ook in verband met de slaagcijfers. Er wordt – voor zover technisch mogelijk – ook nagegaan in hoeverre examenresultaten samenhangen met de examenresultaten op andere vakken. (wat niet per definitie betekent dat een gebrekkige samenhang met examenresultaten van andere vakken problematisch is)

ü  Feedback OTC naar lesgever (eventueel suggesties) 

• Adviezen voor OC

ü  op basis van alle ingediende dossiers globale adviezen opstellen

ü  hoogdringendheid en meer specifiek advies bij probleemvakken 

1. B.      onderzoekspaper en werkstukken (minstens om de vier jaar) 

• onderzoekspaper: bv. opstellen beoordelingsmatrix naar analogie met beoordelingsmatrix MP
• werkstukken:

ü  verdeling werkstukken binnen het  modeltraject over de Bachelorjaren en Master heen (met het oog op de opbouw van diverse leerlijnen)

ü  beoordelingscriteria bij permanente evaluatie: 

Pro Memorie: 

OC: leden van TC zitten vaak ook in OC, zaken die daar gemeld worden (bv. door studenten) kunnen zo teruggekoppeld worden naar TC

Examencommissie: waken over volledigheid en correctheid van de punten … ook hier kunnen problemen gesignaleerd worden

CKO:

• onderwijsevaluaties, ook hier wordt toetsing bevraagd (CKO kan op zoek gaan naar goeie praktijken, alsook probleemvakken)
• kan scoredistributietabellen voorzien (kan uit OASIS gehaald worden) (statistische weergave van de examencijfers berekend per AJ – loopt over periode van 5 jaar)
• slaagcijfers per vak 

Activiteiten & instrumenten voor OC’s en/of TC’s om de kwaliteit van toetsing te bewaken

Geïntegreerd binnen PSW 

Basisactiviteiten

 

	Activiteit	Toelichting, richtvragen, tools en good practices
1	Er op toezien dat de facultaire of opleidingsspecifieke toetsvisie actueel blijft en desgevallend aanpassingen doen	Een toetsvisie is geen statisch of op zichzelf staand gegeven. De Facultaire toetscommissie engageert er zich toe om jaarlijks de facultaire nota ‘toetsbeleid’ te actualiseren. Waar nodig passen we ook de instrumenten aan.
2	De taakverdeling tussen CKO, OC, eventuele TC, faculteitsraad en lesgevers bepalen, regelmatig evalueren en waar nodig bijsturen	Zie ‘samenstelling en werkwijze FTC en OTC’s’
3	Een tijdlijn opmaken met inplanning van recurrente en ad hoc activiteiten in functie van toetskwaliteit in de OC/TC kalender	Om de toetskwaliteit op een systematische manier te bewaken, is een tijdlijn met activiteiten voor de OC/TC onontbeerlijk: Zie ‘samenstelling en werkwijze FTC en OTC’s’ (frequentie).
4	De afstemming tussen evaluaties en opleidingscompetenties bewaken (cf. constructive alignment binnen de opleiding)	Eén van de belangrijkste aandachtspunten in een toetsbeleid, is het nagaan of de evaluatievormen voldoende aansluiten bij de opleidingscompetenties, of ze sporen met het toetsbeleid van de UGent en met de visie van de faculteit/opleiding. Dit houdt ook in dat er nagegaan wordt of de evaluatie doorheen de opleiding goed opgebouwd is: zie jaarlijkse analyse van onze ‘competentiematrices’.   Richtvragen hierbij zijn: Wordt elke opleidingscompetentie in min 2 vakken doorheen de opleiding getoetst? (bij ons: min 3) Wordt een opleidingscompetentie voldoende gedekt door het geheel aan eindcompetenties van de verschillende opleidingsonderdelen? Zijn de evaluatievormen passend voor de beoogde opleidingscompetenties? Zijn de evaluatievormen voldoende gevarieerd om de beoogde competenties valide te toetsen?
5	Reflecteren over de aard, samenhang, plaats in de opleiding en variatie van de evaluatievormen en - momenten (PGE en NPGE)	Reflectie kan aan de hand van het analyseren van frequenties, samenhang, timing in de opleiding van evaluatievormen en evaluatiemomenten op basis van de informatie in de studiefiches: zie jaarlijkse analyse van onze ‘competentiematrices’ + tweejaarlijkse oefening ‘werk- en examenvormen’   Richtvragen hierbij zijn: Is er een evenwichtige variatie van evaluatievormen en -momenten in elk modeltrajectjaar? Steekt er een logische opbouw doorheen de opleiding m.b.t. de evaluatievormen en –momenten? Is de opleiding studeerbaar? Zijn er m.a.w. geen al te grote pieken qua werkbelasting door de frequentie en timing van NPGE en PGE?
6	Analyseren van de spreiding van examencijfers, slaagcijfers en studieduurgegevens	Doel is zaken die opvallen bespreken en nagaan of er logische verklaringen kunnen gegeven worden voor afwijkende distributies en of er al dan niet acties nodig zijn. Zie scoredistributies van examencijfers en jaarlijkse slaagcijferanalyse.   Richtvragen hierbij zijn: Komen de slaagcijfers en scoredistributies van de opleidingsonderdelen overeen met wat verwacht kan worden gezien de aard, plaats in het curriculum, vereiste voorkennis, … van die opleidingsonderdelen? Correspondeert het percentage geslaagden per jaar van het modeltraject met de verwachtingen? Is er een gewenste distributie in examencijfers? Slagen studenten binnen een aannemelijke studieduur voor de opleiding?
7	Opleidingsevaluaties, onderwijsevaluaties en lesgeversbevragingen opvolgen	Hierbij worden de resultaten van de onderwijs- en opleidingsevaluaties en lesgeversbevragingen op regelmatige basis geanalyseerd i.f.v. de kwaliteit van toetsing binnen de opleidingsonderdelen en opleiding. De onderwijsevaluaties bieden informatie over hoe studenten de betrouwbaarheid en validiteit van de toetsing binnen de afzonderlijke opleidingsonderdelen ervaren en de opleidingsevaluaties bieden informatie over hoe studenten de variatie in de evaluatievormen, de transparantie en validiteit van toetsing en mate van feedback in de opleiding inschatten. In de lesgeversbevragingen rapporteren lesgevers zelf over hun toetspraktijk. Aan de faculteit PSW gebeurt dit zowel in CKO als OC’s.   Richtvragen hierbij zijn: In welke mate komen de onderwijsevaluaties van vergelijkbare opleidingsonderdelen overeen? Welke aandachtspunten m.b.t. toetsing zijn voor de opleiding of voor bepaalde opleidingsonderdelen af te leiden uit de resultaten van onderwijs- of opleidingsevaluaties? Is er een evolutie merkbaar in de resultaten van onderwijs- en opleidingsevaluaties door de jaren? Welke acties om de kwaliteit van de toetsing te borgen kunnen afgeleid worden uit de lesgeversbevragingen?
8	De kwaliteit van het eindniveau van de afgestudeerden benchmarken	Om te kunnen garanderen dat afgestudeerden de beoogde competenties hebben verworven, is het nodig dat opleidingen niet alleen de toetsprocessen maar ook het behaalde eindniveau in kaart brengen.   Dit gebeurt via alumni- en werkveldbevragingen, analyses van de kwaliteit van masterproeven.   Good practice: in 2015 in de opleiding Sociologie: screening niet geslaagden versus nipt geslaagden
9	Analyseren en in kaart brengen van (tussentijdse) feedback in het programma	Het is nodig om als opleiding zicht te hebben op de feedbackcultuur, deze te benoemen en waar wenselijk bij te sturen. De resultaten op de vragen in opleidingsevaluaties (“Je kreeg voldoende tussentijdse feedback op de opdrachten en werkstukken”) en onderwijsevaluaties (“De feedback over de evaluaties was nuttig en relevant”) geven een eerste, zij het wel beperkt, beeld van de feedbackcultuur.     Het kan zinvol zijn om meer specifieke informatie te verzamelen rond enkele feedbacktopics.   Voorbeelden hiervan zijn: In welke mate wordt er naast de door het OER voorgeschreven feedbackmomenten feedback voorzien doorheen de opleiding? Op welke momenten wordt tussentijdse (versus na de evaluatie) feedback aangeboden? Ontvangen de studenten deze feedback tijdig? Zijn er bepaalde high stakes opleidingsonderdelen (waarin bv. complexe opleidingscompetenties getoetst worden) waar het wenselijk is om tussentijdse en/of meer diepgaande feedback te voorzien? Kan het nodige personeel worden vrij gemaakt? Om welke vormen van feedback gaat het (individuele feedback, groepsfeedback, geautomatiseerde feedback, peer feedback)? Wordt feedback ook telkens benoemd als feedback zodat de studenten bewust zijn van de feedbackcultuur? Worden de technologische mogelijkheden om feedback te maximaliseren voldoende benut?
10	Teamoverleg binnen de opleiding organiseren over examens	Essentieel voor een kwalitatieve toetsing en een coherent toetsbeleid in de opleiding is onderlinge afstemming tussen de verschillende lesgevers. Kwaliteitsvol toetsen gebeurt immers vanuit een gedeelde toetsvisie en verantwoordelijkheid. Iedereen in de opleiding moet betrokken zijn bij het toetsbeleid binnen de opleiding. Samenzitten en inzoomen op voor de opleiding relevante topics, evaluaties of evaluatievormen is zeker zinvol, maar absoluut nodig wanneer deze belangrijk, prioritair, samenhangend of prangend zijn. Het kan dan bijvoorbeeld gaan over een teamoverleg van lesgevers van opleidingsonderdelen die voor of na elkaar komen, van alle lesgevers die schrijf- of presentatieopdrachten geven, van alle lesgevers van Ba1.   Richtvragen hierbij zijn: Welke essentiële zaken worden op welke manier en op welk niveau in een voorgaand opleidingsonderdeel getoetst? Op welke criteria worden studenten op een schrijf- of presentatieopdracht beoordeeld in de verschillende betrokken opleidingsonderdelen? Is het zinvol om een gemeenschappelijke beoordelingslijst te ontwikkelen?   Good practice: Er wordt gekeken of doorheen de opleiding en binnen elk modeltrajectjaar de werklast meevalt Zeker binnen methodologische leerlijn blijkt dit noodzakelijk en gebeurt dit, ook in functie van overlap Ook in Ba1 is er overleg, mede gezien de gemeenschappelijke stam in het eerste semester
11	Facultaire of opleidingsgebonden richtlijnen over de modaliteiten van evaluaties formuleren (bovenop de centrale richtlijnen) waar wenselijk	Faculteiten of opleidingen kunnen bijkomende richtlijnen formuleren wanneer dat wenselijk of nodig is. Deze bijkomende richtlijnen kunnen naargelang van de opleidingsspecifieke accenten in de toetsvisie gericht zijn op validiteit, betrouwbaarheid, transparantie, feedback, fraudebestrijding, … en kunnen al dan niet behoren tot de facultaire OERs.   Good practice bij ons: Binnen de 4 weken na het indienen van papers wordt er feedback voorzien. Studenten krijgen minstens 2 voorbeeldexamenvragen te zien. Er zijn de proefexamens in Ba1 + de vele proefexamens op Ufora. Itemanalyse is standaard na afloop van meerkeuze- examens. Voor de masterproef/stage wordt een gestandaardiseerde criterialijst gebruikt door de verschillende beoordelaars. Zie F-OER. Bij (meeste) mondelinge examens wordt met een schriftelijke voorbereiding gewerkt. Voor elk schriftelijk examen met >200 studenten wordt een zitplan opgemaakt waarbij studenten optimaal gespreid worden over het auditorium. Gebeurt in de praktijk.   Andere mogelijke voorbeelden (niet ex-haustief):   Bij meerkeuze-examens wordt er altijd een toetsmatrijs opgesteld. Bij grootschalige opdrachten of projecten wordt er minimaal 1 keer tussentijdse feedback voorzien. Schriftelijke examens met meerkeuzevragen bevatten ook minstens 1 open vraag. Bij highstake evaluaties of evaluaties van complexe competenties met expertbeoordelingen worden minstens 2 beoordelingsmomenten ingebouwd en/of wordt telkens met minstens 2 onafhankelijke beoordelaars gewerkt.

 

 

Optionele activiteiten

 

Naast de bovenstaande basisactiviteiten, is het aangewezen om te werken rond bepaalde aspecten van evaluatie naargelang van de opleidings- of faculteitsspecifieke prioriteiten/accenten of occasionele problemen of vraagstukken.

Hieronder een niet-exhaustieve lijst van voorbeelden van dergelijke optionele acties waarvan wij er als opleiding al heel wat verwezenlijken:

 

	Activiteit	Toelichting, richtvragen, tools en good practices
14	Documenteren en consulteerbaar maken van examens en bijhorende tools	Wij doen dit via de screeningsmatrix voor OO die op de TC’s passeren (toetsvorm en organisatie, toetsvisie, toetscommunicatie, coördinatie). Verdere leveren zij ook de laatste examenvragen en een verbetersleutel aan.  Ook de studiefiche wordt steeds toegevoegd.
15	Analyseren van de organiseerbaarheid van de toetsing in de opleiding	Sowieso wordt bij ons gestreefd naar vaste examenroosters (FSA).   Belangrijk is om de toetsing van complexe competenties niet louter en alleen naar het laatste of laatste jaren van een opleiding door te sturen, maar om eerder in de opleiding evaluaties in te bouwen waarin (aspecten) van die competenties een plaats krijgen en studenten feedback krijgen op hun prestaties.
16	Uitwerken van leer- en/of toetslijnen in de opleiding en teamoverleg organiseren over examens binnen een leer- en/of toetslijn	Leerlijnen en/of toetslijnen verduidelijken hoe de student doorheen het programma geleidelijk competenties verwerft en waar en wanneer die getoetst worden. Het is belangrijk om het niveau van het onderwijs en toetsing geleidelijk aan op te bouwen.   Leerlijnen en/of toetslijnen maken deze opbouw transparant voor studenten en lesgevers onderling. De studenten krijgen hierdoor een beter zicht op hun leerproces en lesgevers kunnen de evaluatie gemakkelijker scherp stellen.
17	Toezien op voldoende Toetsprofessionalisering van de examinatoren (en de betrokkenen bij de kwaliteitsbewaking van toetsing)	Professionalisering is essentieel in functie van de toetsdeskundigheid van examinatoren en andere betrokkenen bij de kwaliteitsbewaking van toetsing.   Verschillende mogelijkheden om hier aan te werken zijn: Deelnamecijfers aan centrale basistrainingen (voor nieuwe docenten verplicht) en specifieke trainingen rond evalueren opvolgen. Lesgevers collectief of gericht aansporen om bepaalde basistrainingen of specifieke trainingen rond evalueren uit het centrale aanbod te volgen (bv. streefcijfer dat minimum 1 betrokken lesgever per meerkeuze-examen de meerkeuze-training volgde). korte demo’s van eigen good practices binnen de faculteit organiseren.
18	Analyseren van de masterproef- en/of stagebeoordelingen	Dit houdt de screening in van de bestaande praktijken qua toetsing in de masterproef en stage. Ook het bijsturen van de beoordelingsprocedure en - criteria sluit hierbij aan. Gebeurt 4-jaarlijks bij ons!
19	De aard, het aantal en de spreiding van PGE en NPGE analyseren i.f.v. een optimale studeerbaarheid voor studenten	Hiertoe kan het interessant zijn om een tijdlijn van alle evaluatiemomenten en de geschatte voorbereidingstijd voor studenten op te maken. Hierbij kan ook nagaan worden of de studeerbaarheid voor studenten optimaal is.     Richtvraag hierbij is bijvoorbeeld: Staan de meest selectieve opleidingsonderdelen op juiste plaats in de jaren van het modeltraject?
20	Fraudebestrijdingsbeleid uittekenen, evalueren en bijsturen	Zie plagiaatreglement in F-OER + plagiaatsoftware Ephorus https://icto.ugent.be/nl/handleidingtrefwoorden/plagiaatcontrole
21	Quoteringsafspraken maken in het lesgeversteam (bv. wat betekent 10/20, 18/20,…)	Doel hiervan is standaardisering waarbij er gezorgd wordt dat gelijkwaardige prestaties dezelfde score krijgen. Dit is eveneens een mogelijkheid om te werken rond excellentie: hoe excellente prestaties van studenten valoriseren?   Good practice: Binnen onze faculteit bestaat een beoordelingssysteem voor examencijfers en de beoordeling van masterproeven. Dit systeem maakt duidelijk wat als excellent beschouwd wordt en waarvoor een bepaalde beoordeling of examencijfer staat. https://onderwijstips.ugent.be/nl/tips/toetsvisie-en-toetsbeleid/
22	Analyseren van bijzondere voorwaarden tot slagen binnen de verschillende opleidingsonderdelen in een deliberatiepakket	Het is zinvol om na te kijken of de bijzondere voorwaarden die in elk van de individuele opleidingsonderdelen ingebouwd zijn, redelijk zijn en of ze als geheel binnen bepaalde delen van het modeltraject wenselijk zijn. Zie bijvoorbeeld de regel in sommige OO waarbij je voor beide delen (PE en NPE) moet slagen vooraleer je in het totaal kunt slagen (anders max. 9/20).

 

Bijlage

Screeninmatrix