Jeg underviser bl.a. i statistisk kvalitetsudvikling. Et af mine hovedbudskaber er, at man skal kunne måle kvaliteten løbende over tid for at kunne udvikle den. Men hvordan måler man kvaliteten af undervisning?

Jeg har gennem årene afprøvet mange evalueringsredskaber, som hver på deres måde søger at evaluere forskellige aspekter af kvalitet ved undervisning: indhold, sværhedsgrad, præsentation, engagement, forplejning, lokaler osv.

Men ingen metode har vist sig så enkel og nyttig som denne:

Ved afslutningen af et kursus beder jeg hver kursist skrive en karakter på et lille stykke forhåndenværende papir. Karakteren er et heltal fra 1 til 5, hvor 5 er bedst, og angiver kursistens personlige udbytte af undervisningen. Samtidig opfordrer jeg kursisterne til at give forslag til forbedring af min undervisning.

Jeg samler papirstumperne (svarprocent = 100, svarforsinkelse = 0), putter dem i lommen, og på vej hjem i toget eller bussen læser jeg kommentarerne og tæller, hvor mange, der har svaret hhv. 1, 2, 3, 4 og 5. Når jeg kommer hjem, skriver jeg resultaterne ind i dette regneark. Kommentarerne gemmer jeg i hjertet, hvorefter jeg smider papirstumperne væk.

Kursusudbytte

Jeg har skrevet et R-program, som automatisk og med hjælp fra min R-pakke, qicharts2 analyserer resultaterne.

Siden begyndelsen af 2013 er har jeg samlet evalueringer fra indtil nu 139 kurser med i alt 3148 kursister.

Figur 1: Andel kursister med højt udbytte

Figur 1 er et P-kontroldiagram, som viser andelen af kursister, som angiver højt udbytte af undervisningen. “Højt udbytte” betyder, at kursisten har angivet sit udbytte til mindst 4 på 5-punktsskalaen. I gennemsnit angiver 91% af kursisterne højt udbytte af mine kurser. Men et kursus, nr. 11, hvor kun 23% angiver højt udbytte, falder langt under den nedre kontrolgrænse.

Det særlige ved kursus 11 var, at jeg ikke selv underviste. Jeg var kursusleder og havde gæstelærere på det meste af dagen. Jeg kunne sagtens overbevise mig selv om, at dette kursus ikke skal med i opgørelsen ☺ Men som kursusansvarlig må jeg vel påtage mig ansvaret for at underviserne ikke var klædt på til at levere det indhold, som kursisterne havde forventet, hvilket også afspejlede sig i deres kommentarer. Underviserne er der nemlig ikke noget galt med, ved jeg fra mange andre sammenhænge.

Flere andre kurser ligger ubehageligt tæt på den nedre kontrolgrænse, og jeg husker nogle af dem som ikke specielt vellykkede. Kursus nr. 2, fx, var for jordemødre, og skal man lære dem noget nyt, skal man godt nok stå tidligere op, end jeg er vant til.

Hvor ska’ vi hen du?

Med enkelte afvigere er der almindelig variation omkring et gennemsnit på 91%. Er det tilfredsstillende? Nej, det synes jeg ikke. Det betyder jo, at der ved næsten hvert kursus sidder en eller flere kursister, som får middelmådigt eller ringe udbytte. Det er jeg ikke tilfreds med.

Og det er så her de kvalitative data, kursisternes forslag til forbedringer, kommer ind i billedet. Mange skriver pæne ord om, hvor meget de har lært, og hvor dygtig underviseren er – tak for det. Men det er de kradse kommentarer, jeg lærer noget af.

Pas på, at du og din fremstillling ikke bliver nedlandende! Vi er ikke alle ledere, og vi er flere, der ikke arbejder med hverken ledelse eller statistik til daglig.

Kommentar fra deltager på Region Hovedstadens lederudviklingsprogram

Et gennemgående tema er, at undervisningen er enten for svær eller for let. Nogle har det svært især med matematikken, andre bliver utålmodige, hvis jeg bruger for meget tid på at forklare fx den indlysende forskel på en median og et gennemsnit og aldrig når frem til, hvordan man beregner den vægtede standardafvigelse i Xbar-diagrammer.

Et andet almindeligt kritikpunkt er, at nogle gerne vil have mere. Det vælger jeg at opfatte som ros. Men det går alligevel ud over mine karakterer.

Hvad gør en klog kvalitetsudviklingsekspert så? Foreløbig har han analyseret sig frem til, at alt handler om forventninger, forventninger, forventninger.

Når der på samme kursus åbenbart kan befinde sig kursister, som oplever undervisningen for svær og for let, er der noget galt med forventningsafstemingen. Jeg har altså ikke formået at forklare forklare kursusindhold og forudsætninger tilstrækkeligt godt til, at alle møder op med de nødvendige forudsætninger og velkalibrerede forventninger.

Så langt diagnosen. Men hvad er så kuren? Jeg ved det ikke. Jeg har gennem de sidste par år forsøgt alt, synes jeg. Alligevel dukker der på næsten alle kurser én op, som får for lidt, og én, som får for meget.

Måske jeg bare skal acceptere, at man ikke kan gøre alle tilfreds.

Figur 2: Gennemsnitligt kursusudbytte

Figur 2 viser de samme data opgjort på en anden måde: Den gennemsnitlige karakter for hvert kursus. Konklusionen er den samme som i figur 1.

Figur 3: Fordeling af kursusudbytte

Figur 3 viser den samlede fordeling af scorer. Den er måske enklere at forstå, men har jo ikke tidsfaktoren med og er derfor kun meningsfuld, når man på forhånd har sikret sig, at der alene forekommer almindelig variation i processen over tid. Det har jeg gjort ved at udelade kursus nr. 11 i optællingen til figuren.

Årets underviser – ikke!

Her, hvor de fleste læsere er faldet fra, vil jeg med forsigtig stolthed tillade mig at flashe indholdet af en mail, jeg modtog fra det Medicinske Studienævn på Aalborg Universitet i januar 2015, hvor nogle studerende fandt det passende at nominere mig til årets underviser 2014:

Jacob er underviser på MMA, i Kvalitetsudvikling og Patientsikkerhed. Hans engagement og forelæsningsteknik kan få alle til at slippe computeren, lytte efter og deltage aktivt i diskussionerne. Han er en utroligt kompetent forelæser, der har stor forståelse for hvad vi kan og ikke kan, som studerende. Han fortjener en nominering selvom han umiddelbart er gæsteforelæser – så god er han.

Jeg vandt ikke. Men for sevan da! (som man siger på de kanter), hvor det lunede. Tak for det, MMA-studerende ☺

Tabel med rådata

Tabellen nedenfor viser karaktererne for alle mine kurser siden 2013.

Forklaring

Dato Emne Deltagere 1 2 3 4 5 Kommentar n N p m
1 2013-02-04 SPC for læger Læger fra PSS 0 0 0 10 7 17 17 1.00 4.41
2 2013-04-10 Sjov med tal SF: LS2 2 3 13 42 29 71 89 0.80 4.04
3 2013-04-23 Mål med mening Patientsikkerhedskonference dag 2 0 0 2 12 15 27 29 0.93 4.45
4 2013-04-29 MFI + SPC Kvalitetsafdelingen i psykiatrien, Region M 0 0 0 9 5 14 14 1.00 4.36
5 2013-05-22 Mål med mening PS-opfølgningskursus, Region M/N 0 0 3 20 24 44 47 0.94 4.45
6 2013-05-22 Mål med mening PS-opfølgningskursus, Region M/N 0 0 5 2 9 11 16 0.69 4.25
7 2013-09-04 Mål med mening MeDIS, AAU 0 0 0 8 7 15 15 1.00 4.47
8 2013-09-10 Mål med mening Patientsikker kommune 0 0 1 8 11 19 20 0.95 4.50
9 2013-09-12 Mål med mening Nordisk FA 0 1 8 16 14 30 39 0.77 4.10
10 2013-09-25 Fra kontrol til forbedring MeDIS, AAU 0 0 0 10 6 16 16 1.00 4.38
11 2013-10-04 Kvalitetsudvikling MeDIS, AAU 0 2 8 3 0 Gæsteundervisere 3 13 0.23 3.08
12 2013-10-09 Mål med mening AUH 0 0 3 7 15 22 25 0.88 4.48
13 2013-10-09 Mål med mening AUH 0 0 0 13 9 22 22 1.00 4.41
14 2013-10-23 Videregående SPC Nordisk FA 0 2 1 16 11 27 30 0.90 4.20
15 2013-10-24 Mål med mening Holbæk Hospital 0 0 1 4 6 10 11 0.91 4.45
16 2013-10-30 Mål med mening DSFP + EfPS 0 0 0 2 12 14 14 1.00 4.86
17 2013-10-30 Mål med mening Læger, ITA Hillerød 0 1 1 12 3 15 17 0.88 4.00
18 2013-11-15 Mål med mening Holbæk Hospital 0 0 3 10 8 18 21 0.86 4.24
19 2013-12-16 Mål med mening Rigshospitalet 0 0 1 6 6 12 13 0.92 4.38
20 2014-01-10 Mål med mening DSKS 0 0 3 29 20 49 52 0.94 4.33
21 2014-01-16 Mål med mening Rigshospitalet 0 0 1 6 5 11 12 0.92 4.33
22 2014-02-08 Mål med mening MPQM, SDU 0 0 0 6 14 20 20 1.00 4.70
23 2014-02-17 Mål med mening RH 0 0 0 3 3 6 6 1.00 4.50
24 2014-03-08 Mål med mening MPQM, SDU 0 0 1 5 14 19 20 0.95 4.65
25 2014-03-12 Mål med mening RH 0 0 0 0 8 8 8 1.00 5.00
26 2014-04-02 Fra kontrol til forbedring RH 0 0 0 5 5 10 10 1.00 4.50
27 2014-04-09 Mål med mening RH 0 0 2 3 8 11 13 0.85 4.46
28 2014-05-13 Mål med mening RH 0 0 0 2 4 6 6 1.00 4.67
29 2014-06-11 Mål med mening RH 0 0 1 6 0 6 7 0.86 3.86
30 2014-06-17 Mål med mening Surveykursus, infektionshygiejne 0 1 2 3 11 14 17 0.82 4.41
31 2014-06-20 Mål med mening Aalborg Universtitetshospital 0 0 6 46 20 66 72 0.92 4.19
32 2014-06-23 Mål med mening Aalborg Universtitetshospital 0 1 8 34 26 60 69 0.87 4.23
33 2014-09-15 Mål med mening Region H 0 0 2 10 5 15 17 0.88 4.18
34 2014-09-29 Mål med mening MeDIS, AAU 0 0 0 8 8 16 16 1.00 4.50
35 2014-09-30 Fra kontrol til forbedring MeDIS, AAU 0 0 0 4 10 14 14 1.00 4.71
36 2014-10-14 Mål med mening Region H 0 1 1 7 7 14 16 0.88 4.25
37 2014-10-27 Mål med mening Region H, lederudvikling 0 0 5 9 2 11 16 0.69 3.81
38 2014-10-29 Kvalitetsudvikling MeDIS, AAU 0 0 4 7 1 8 12 0.67 3.75
39 2014-11-06 Mål med mening RH, ledelse af medarbejdere 0 0 1 6 3 9 10 0.90 4.20
40 2014-11-12 Mål med mening Region H 0 1 7 26 11 37 45 0.82 4.04
41 2014-12-18 Mål med mening Region H 1 1 3 9 4 13 18 0.72 3.78
42 2014-12-18 Mål med mening Region H 0 0 0 6 8 14 14 1.00 4.57
43 2015-01-09 Mål med mening DSKS 0 0 1 14 18 32 33 0.97 4.52
44 2015-01-15 Mål med mening Holbæk Hospital 0 0 5 6 4 10 15 0.67 3.93
45 2015-01-21 Mål med mening Region H 0 0 1 10 9 19 20 0.95 4.40
46 2015-02-03 Mål med mening Holbæk Hospital 0 0 2 5 8 13 15 0.87 4.40
47 2015-02-21 Mål med mening MPQM, SDU 0 0 0 3 13 16 16 1.00 4.81
48 2015-02-26 Mål med mening Region H 0 0 1 4 9 13 14 0.93 4.57
49 2015-03-09 Mål med mening RegionH, lederudvikling 0 0 4 10 7 17 21 0.81 4.14
50 2015-03-11 Mål med mening Metropol, diplomuddannelse 0 0 0 3 13 16 16 1.00 4.81
51 2015-03-24 Fra kontrol til forbedring Metropol, diplomuddannelse 0 0 0 4 12 16 16 1.00 4.75
52 2015-03-24 Mål med mening Region H 0 0 1 9 8 17 18 0.94 4.39
53 2015-04-11 MFI MPQM, SDU 0 0 1 3 9 12 13 0.92 4.62
54 2015-04-28 Mål med mening Region H 0 0 0 2 5 7 7 1.00 4.71
55 2015-06-09 Mål med mening Region Sjælland 0 1 4 7 16 23 28 0.82 4.36
56 2015-06-18 Mål med mening Region H 0 0 0 2 9 11 11 1.00 4.82
57 2015-09-02 Mål med mening RegionH, lederudvikling 0 1 3 11 6 17 21 0.81 4.05
58 2015-09-04 Mål med mening Region H, lederudvikling 0 0 0 6 17 23 23 1.00 4.74
59 2015-09-08 MFI Norske Lægeforening 0 0 3 18 12 30 33 0.91 4.27
60 2015-09-09 Mål med mening Norske Lægeforening 0 0 0 13 22 35 35 1.00 4.63
61 2015-09-10 Mål med mening Nordisk FA 0 0 0 7 15 22 22 1.00 4.68
62 2015-09-14 MFI + MMM Frederiksberg Kommune 0 0 3 8 16 24 27 0.89 4.48
63 2015-09-22 Mål med mening Nordisk FA2 0 0 2 10 11 21 23 0.91 4.39
64 2015-10-13 Mål med mening AAU, Medis 0 0 0 9 6 15 15 1.00 4.40
65 2015-10-14 Fra kontrol til forbedring AAU, Medis 0 0 1 8 10 18 19 0.95 4.47
66 2015-10-20 Mål med mening Nordisk FA2 0 0 1 12 12 24 25 0.96 4.44
67 2015-10-27 Mål med mening Region Sjælland 0 1 3 6 19 25 29 0.86 4.48
68 2015-11-05 Mål med mening DSFP, Primæsektorkonference 0 0 4 17 29 46 50 0.92 4.50
69 2015-11-11 Mål med mening I Sikre Hænder, LS5-team 0 0 3 17 12 29 32 0.91 4.28
70 2015-11-11 Mål med mening I Sikre Hænder, LS5-ledere 0 0 2 10 22 32 34 0.94 4.59
71 2015-11-20 Mål med mening KU, folkesundhedsvidenskab 0 0 2 10 18 28 30 0.93 4.53
72 2015-12-01 Mål med mening Nordisk FA2 0 1 3 6 17 23 27 0.85 4.44
73 2016-02-27 Mål med mening MPQM, SDU 0 0 0 2 11 13 13 1.00 4.85
74 2016-04-06 Mål med mening Metropol, diplomuddannelse 0 0 0 7 6 13 13 1.00 4.46
75 2016-04-18 Fra kontrol til forbedring Metropol, diplomuddannelse 0 0 0 6 7 13 13 1.00 4.54
76 2016-04-26 Mål med mening Den Norske Legeforening 0 0 2 8 7 15 17 0.88 4.29
77 2016-06-01 Mål med mening Nordisk FA 8,2 0 0 1 14 12 26 27 0.96 4.41
78 2016-06-08 Mål med mening Region Sjælland 0 1 6 13 16 29 36 0.81 4.22
79 2016-06-14 Mål med mening RH, Finsencenter 0 0 0 1 10 11 11 1.00 4.91
80 2016-06-16 Mål med mening Viborg Kommune 0 1 1 5 12 17 19 0.89 4.47
81 2016-06-20 Mål med mening Psykiatrisk Center Ballerup 0 0 4 19 5 24 28 0.86 4.04
82 2016-06-22 Mål med mening + regneark Lolland Kommune 0 0 1 9 16 25 26 0.96 4.58
83 2016-06-27 Mål med mening RH, Finsencenter 0 0 0 6 3 9 9 1.00 4.33
84 2016-06-29 Mål med mening RH, Finsencenter 0 0 0 3 5 8 8 1.00 4.62
85 2016-08-25 Mål med mening Region Midt, Forbedringsvejledere 0 0 0 9 17 26 26 1.00 4.65
86 2016-09-07 Mål med mening Nordisk FA 9,1 0 0 4 20 16 36 40 0.90 4.30
87 2016-09-13 Mål med mening Nordsjællands Hospital 0 0 0 15 9 24 24 1.00 4.38
88 2016-10-03 Mål med mening Helse Vest, Norge 0 1 1 21 17 38 40 0.95 4.35
89 2016-10-03 Mål med mening Kliniske databaser, Norge 0 0 0 6 7 13 13 1.00 4.54
90 2016-10-06 SPC-masterclass Region Sjælland 0 0 1 5 12 17 18 0.94 4.61
91 2016-10-10 Mål med mening Jordemodervidenskab, SDU 0 0 0 3 8 11 11 1.00 4.73
92 2016-11-15 Mål med mening Den Norske Legeforening 0 1 4 13 14 27 32 0.84 4.25
93 2016-11-25 Mål med mening MPQM, SDU 0 0 2 16 13 29 31 0.94 4.35
94 2016-12-13 Mål med mening Psykiatriledere, Region Nord 0 0 0 11 17 28 28 1.00 4.61
95 2017-01-02 Mål med mening Koncernledelsen i Region M 0 0 3 6 12 18 21 0.86 4.43
96 2017-01-03 Mål med mening MedTek-studerende 0 0 0 9 7 16 16 1.00 4.44
97 2017-02-03 SPC-masterclass Dataspecialister 0 0 3 7 8 15 18 0.83 4.28
98 2017-02-06 Mål med mening LKT, palliation 1 2 11 18 11 29 43 0.67 3.84
99 2017-02-23 Mål med mening Region Midt, Forbedringsvejledere 0 1 1 9 15 24 26 0.92 4.46
100 2017-03-02 SPC med R Københavns Kommune 0 1 0 7 5 12 13 0.92 4.23
101 2017-03-09 Mål med mening Lægeforeningen 0 0 1 3 7 10 11 0.91 4.55
102 2017-03-15 Mål med mening Region Nord 0 0 6 21 51 72 78 0.92 4.58
103 2017-03-15 SPC med Excel Region Nord 0 2 1 8 12 20 23 0.87 4.30
104 2017-04-06 Mål med mening Region Midt, Forbedringsvejledere 0 0 1 6 16 22 23 0.96 4.65
105 2017-05-02 Mål med mening Københavns Kommune 0 0 4 10 9 19 23 0.83 4.22
106 2017-05-15 Mål med mening Kirurgisk afdeling, SUH 0 0 3 14 9 23 26 0.88 4.23
107 2017-06-08 SPC Nasjonale Kvalltetsregistre, Trondheim 0 0 3 8 8 16 19 0.84 4.26
108 2017-08-17 Mål med mening Region Midt, Forbedringsvejledere 0 0 0 7 17 24 24 1.00 4.71
109 2017-09-05 Mål med mening Nationalt lederprogram 0 0 2 11 25 36 38 0.95 4.61
110 2017-09-07 Mål med mening Kandidatuddannelse i sundhedsvidenskab, AU 0 0 0 10 5 15 15 1.00 4.33
111 2017-09-18 Mål med mening Jordemodervidenskab, SDU 0 0 0 3 6 9 9 1.00 4.67
112 2017-09-21 Mål med mening MeDIS, AAU 0 0 0 5 11 16 16 1.00 4.69
113 2017-09-22 Forbedringsmetode MeDIS, AAU 0 0 1 3 7 10 11 0.91 4.55
114 2017-10-03 Mål med mening Nordisk FA, 11.2 0 1 6 15 6 21 28 0.75 3.93
115 2017-10-06 Mål med mening MPQM, SDU 0 0 1 11 5 16 17 0.94 4.24
116 2017-10-23 Mål med mening Hospitalsenhed Vest 0 1 2 29 33 62 65 0.95 4.45
117 2017-10-24 SPC-masterclass Hospitalsenhed Vest 0 0 1 8 6 14 15 0.93 4.33
118 2017-11-01 Mål med mening Nordisk FA, 13.1 0 0 4 5 12 17 21 0.81 4.38
119 2017-11-08 Mål med mening Helse Vest, Norge 0 0 1 12 25 37 38 0.97 4.63
120 2018-05-07 Mål med mening Jordemodervidenskab, SDU 0 0 0 4 6 10 10 1.00 4.60
121 2018-05-08 Mål med mening Nationalt lederprogram 0 0 2 10 17 27 29 0.93 4.52
122 2018-06-01 Mål med mening Københavns Kommune 0 0 4 17 9 26 30 0.87 4.17
123 2018-06-06 Introduktion til kvalitetsudvikling MedTek-studerende 0 0 4 10 9 19 23 0.83 4.22
124 2018-09-14 Mål med mening Kandidatuddannelse i sundhedsvidenskab, AU 0 0 2 11 6 17 19 0.89 4.21
125 2018-10-18 MfI+SPC MeDIS, AAU 0 0 2 10 8 18 20 0.90 4.30
126 2018-10-29 Mål med mening Sygehusledelsen, SUH 0 1 3 7 6 13 17 0.76 4.06
127 2018-10-03 Mål med mening MPQM, SDU 0 0 0 0 20 20 20 1.00 5.00
128 2018-10-26 Mål med mening NAU Fellows 0 0 0 3 3 6 6 1.00 4.50
129 2019-02-20 SPC-masterclass, dag 1 Region H 0 0 3 9 3 12 15 0.80 4.00
130 2019-04-25 Mål med mening Nationalt lederprogram 0 0 3 17 18 35 38 0.92 4.39
131 2019-06-04 Mål med mening MedTek-studerende 0 1 1 12 11 23 25 0.92 4.32
132 2019-09-27 Mål med mening MPQM, SDU 0 0 1 6 8 14 15 0.93 4.47
133 2019-11-25 Mål med mening NAU Fellows 0 0 0 3 2 5 5 1.00 4.40
134 2020-01-09 SPC-masterclass, dag 1 Region H + N 0 0 2 12 5 17 19 0.89 4.16
135 2020-01-14 Mål med mening Bispebjerg Frederiksberg Hospital 0 0 1 11 11 22 23 0.96 4.43
136 2020-02-06 SPC-masterclass, dag 2 Region H + N 0 0 1 12 6 18 19 0.95 4.26
137 2020-09-11 Mål med mening Patientsikkerhed og læringskultur, KU 0 0 2 4 11 15 17 0.88 4.53
138 2020-09-22 Mål med mening Nationalt lederprogram 0 0 0 9 17 26 26 1.00 4.65
139 2020-09-28 Mål med mening Uddannelseslæger, NoH 0 0 1 1 4 5 6 0.83 4.50

© Anhøj 2021