Årsrapport 2009/

Årsrapport 2009/10

2010-11-15

Innehåll

Innehåll ... 2

1. Inledning ... 3

Innehåll ... 3

Målgrupp ... 3

Begrepp ... 3

2. Utvärdering i VÅGA VISA ... 4

Observationer ... 4

Kundundersökningen ... 4

Självvärderingen... 5

Styrning och ledning ... 5

3. Verksamhetsberättelse ... 6

Observationer ... 6

Självvärdering ... 10

Kundundersökning ... 10

4. Viktiga händelser under året ... 12

Fler uppdragsformer för observatörer ... 12

Bedömningsmatriser som stöd i observationer ... 13

Utökning till fler kommuner ... 13

Ny upphandling av kundundersökning ... 13

5. Övergripande utvärderingsresultat ... 14

Bedömningar i observationer ... 14

Generella trender i kundundersökning ... 17

6. Hur används resultaten i VÅGA VISA i våra kommuner? ... 19

Hur överlämnas observationsrapporten? ... 19

Vad händer efter att observationen överlämnats? ... 19

Vad händer efter kundundersökningen? ... 21

Hur används utvärderingsresultaten vidare? ... 22

7. Resultat i korthet och styrkor, svagheter, möjligheter och hot ... 25

1. Inledning

VÅGA VISA är ett utvärderingssamarbete inom utbildningsområdet mellan åtta kommuner i Stockholmsområdet; Ekerö, Nacka, Salem, Sollentuna, Tyresö, Upplands Väsby, Värmdö och från och med 2008 även Danderyd. Syftet med samarbetet är att utvärdera verksamheten ur ett medborgarperspektiv på uppdrag av de politiska nämnderna i respektive kommun. Rapporter och resultat skrivs för uppdragsgivarna, politikerna, och ska också vara till nytta i

verksamheternas utveckling. Samarbetet startade 1998 med observationer i grundskolan. Från och med 2006 har samarbetet namnet VÅGA VISA. Metoderna omfattar idag observationer från förskola till vuxenutbildning, gemensam kundenkät samt självvärdering genomförd av verksamhetens personal. Samarbetet är numera öppet även för andra kommuner som vill ansluta sig.

Från och med 2008 finns ett särskilt VÅGA VISA-samarbete för musik- och kulturskolor där Ekerö, Nacka, Salem, Stockholm, Upplands Väsby och Värmdö samarbetar. Resultat från det samarbetet omfattas dock inte av denna rapport.

Denna årsrapport summerar utvärderingen för läsåret 2009/2010. Rapporten skrevs i oktober - november 2010 och redovisar också en del uppgifter avseende hösten 2010. Årsrapporten har i år skrivits gemensamt av de åtta kommunernas samordnare för VÅGA VISA.

Innehåll

Årsrapporten ger en samlad bild av metoder och resultat i VÅGA VISA, d v s

kundundersökning, självvärdering och observationer. Rapporten visar verksamheten i siffror och viktiga händelser i samarbetet. Årets rapport belyser också hur resultat från utvärderingen används i våra kommuner, i syfte att vi ska kunna lära av varandras arbetssätt. Avslutningsvis diskuteras hur samarbete och metoder kan utvecklas.

Målgrupp

Målgrupp för årsrapporten är politiker i utbildningsnämnder, styrgrupp och andra tjänstemän, andra kommuner som vill veta mer om metoden.

Även observatörer har intresse av rapporten, liksom skolledare och chefer i verksamheten.

Denna rapport kan sparas ned från www.nacka.se/vagavisa . Där finns också en Power point version som visar de viktigaste resultaten.

Begrepp

I rapporten används begreppet skola för alla verksamheter som förskola, grundskola, gymnasieskola och anordnare inom vuxenutbildning.

2. Utvärdering i VÅGA VISA

Observationer

Observationer genomförs av skolledare och pedagoger som utbildats särskilt för uppdraget.

Observatörerna bildar lag som besöker en skola i en annan kommun under en period.

Observatörerna skaffar sig en så heltäckande bild som möjligt av skolan och dess verksamhet genom verksamhets- eller lektionsbesök och samtal med elever, föräldrar, personal och skolledning. I observationsarbetet ingår också att ta del av skolans pedagogiska

dokumentation. En metodbok styr och stödjer observatörernas arbete. Metodboken är gemensam för alla verksamheter från förskola till vuxenutbildning.

Observationerna avser fem målområden som utgår från läroplanerna:

Normer och värden

Utveckling och lärande/kunskaper Ansvar och inflytande

Bedömning och betyg (gäller inte förskola) Styrning och ledning

Observatörerna beskriver och bedömer skolans arbete och resultat inom de olika målområdena. Om skolan har observerats tidigare följer observatörerna upp de

förbättringsområden som redovisats i den tidigare rapporten. Observationen redovisas i en rapport enligt särskild mall, där bedömningen görs dels i text och dels i en skala¹:

Innan rapporterna är slutgiltiga faktagranskas de av skolan som har observerats och metodgranskas av tjänstemännen i kommunerna och vid behov utvecklas rapporterna av observatörerna efter granskningen. Den slutliga rapporten överlämnas till den observerade skolan samt till kommunens förvaltningschef. Ambitionen har varit att skolorna ska observeras vart tredje år.

Kundundersökningen

Kundundersökningen är en årlig enkätundersökning som genomfördes första gången 2005.

Målgruppen är föräldrar till barn i kommunernas förskole- och grundskoleverksamheter (förskoleklass, skolår två, fem och åtta) samt elever i grundskolan (skolår fem och åtta) och gymnasieskolan (år två) samt vuxenutbildningen. Enkäterna innehåller 18 till 25

gemensamma frågor. Ytterligare cirka fem frågor kopplas till varje kommuns egna mål. De gemensamma frågorna anknyter till och analyseras utifrån sju målområden, baserade på läroplanerna:

1 4.0 MYCKET GOD KVALITET – verksamheten uppvisar goda lösningar och förhållanden som visar att den kommit långt i sin strävan att nå målen.

3.0 GOD KVALITET – verksamheten har i huvudsak god kvalitet med vissa förbättringsområden

2.0 TILLFREDSTÄLLANDE – verksamheten är i huvudsak tillfredsställande, men har varierande kvalitet eller vissa brister.

1.0 EJ TILLFREDSTÄLLANDE – verksamheten är utifrån gällande styrdokument inte tillfredställande.

Normer och värden

Utveckling och lärande/kunskaper Ansvar och inflytande

Förskola/skola och hem (gäller inte vuxenutbildning) Övergångar, samverkan och omvärld

Bedömning och betyg (gäller inte förskola) Styrning och ledning

De som svarar på enkäten anger på en fyrgradig skala i vilken grad de instämmer i olika (positivt formulerade) påståenden. Vid behov anpassas frågorna till olika svarsgrupper.

Självvärderingen

Självvärdering genomförs som en webb - baserad enkät som besvaras anonymt av all personal som arbetar med barn, elever, vilket även inkluderar skolans ledning. Enkäten består av 35 påståenden där den som svarar anger i vilken grad han eller hon instämmer enligt en fyrgradig skala. Frågorna utgår från samma sju målområden som kundundersökningen, och frågorna har en nära koppling till läroplanerna.

Syftet är att visa medarbetarnas bedömning av skolans verksamhet och att kunna jämföra värderingen med observatörernas och kundernas bedömning.

Självvärderingen genomförs strax innan en skola ska observeras.

Styrning och ledning

Arbetet i VÅGA VISA styrs av en styrgrupp, där skolchef eller motsvarande ingår, dvs den tjänsteman som har den politiska nämndens uppdrag att ansvara för utbildningsfrågor. En gång per år presenteras även resultatet i utvärderingen för ordförande i de politiska nämnderna i de deltagande kommunerna.

Varje kommun har en samordnare för VÅGA VISA. I samordnarnas uppdrag ingår att ansvara för genomförandet av utvärderingen och att säkra kvaliteten. Samordnarna rekryterar och utbildar observatörer. Samordnarna ansvarar också för att utveckla och uppdatera metoderna, sprida information om VÅGA VISA samt genomföra uppdrag som initieras av styrgruppen.

VÅGA VISA har också en gemensam samordnare, Kerstin Sjöstrand, som svarar för gemensam administration och som är sekreterare i styrgrupp och samordnargrupp.

Gruppernas sammansättning november 2010:

Kommun Styrgrupp Samordnare

Danderyd Birgitta Jacobsson Monica Olsson

Ekerö Anders Anagrius Birgitta Bergvall

Nacka Björn Jacobsson Carina Legerius

Salem Inger Pripp Jörgen Lundqvist

Sollentuna Leif Hildebrand Ylva Elenius

Tyresö Birgitta Wigren Sandra Fritz

Upplands Väsby Eva Dahlgren Kerstin Jakobsson

Värmdö Maria Ljungkvist Ingrid Owesson

3. Verksamhetsberättelse

Observationer

Under läsåret har totalt 84 enheter observerats. Det är något färre än föregående läsår då 97 enheter observerades. Minskningen gäller alla skolformer, men är särskilt tydlig i förskolan där 48 enheter observerats i år jämfört med 57 föregående år samt i gymnasiet och

vuxenutbildningen, där endast en enhet observerats i varje skolform jämfört med tre respektive två föregående år.

Totalt har 138 observatörer varit ute och observerat, jämfört med 140 föregående år. Antalet observationsdagar uppgick till 632 på hösten 2009 och 564 på våren 2010 totalt 1 196 dagar.

Föregående läsår genomfördes 1 396 observationsdagar.

Genomförda observationer veckorna 42-50 2009

Kommun Förskola Grundskola Gymnasium Vux Totalt

Danderyd 2 2 4

Ekerö 2 0 2

Nacka 8 3 11

Salem 3 0 3

Sollentuna 4 3 7

Tyresö 2 3 5

Upplands Väsby 3 3 6

Värmdö 5 4 9

Summa: 29 18 47

Genomförda observationer veckorna 10-16 2010

Kommun Förskola Grundskola Gymnasium Vux Totalt

Danderyd 2 3 5

Ekerö 0

Nacka 4 5 9

Salem 0

Sollentuna 4 2 1 1 8

Tyresö 2 2 4

Upplands Väsby 4 1 5

Värmdö 3 3 6

Summa: 19 16 1 1 37

Rekrytering av observatörer

Varje kommun rekryterar det antal observatörer som behövs. Våga Visa - samordnaren i respektive kommun ansvarar för detta. Den som vill bli observatör skickar en skriftlig

ansökan till kommunens samordnare för VÅGA VISA. Eftersom rapportskrivning är en viktig del av uppdraget bör observatören skicka med exempel på något han/hon skrivit, t ex en rapport, en plan, ett föräldrabrev. Samordnaren tar referenser från observatörens närmaste chef. Som regel genomförs en intervju som en del i rekryteringen.

För att bli en bra observatör ska man vara en erfaren och erkänt skicklig pedagog, ha visat på

intresse för skolutvecklingsfrågor, vara väl insatt i gällande styrdokument samt ha vana att uttrycka sig i tal och skrift och ha förmåga att se samband och dra slutsatser. Observatörer ska ha en pedagogisk högskoleutbildning eller motsvarande.

Samordnarna har under året tillsammans med en rekryteringskonsult identifierat vilka egenskaper och färdigheter som är särskilt viktiga att observatörerna har.

Personlig mognad Självgående Samarbetsförmåga Muntlig kommunikation Gott omdöme

Strukturerad

Språklig analytisk förmåga Utbildning för observatörer

För att säkra en hög kvalitet i observationernas genomförande är utbildningen av observatörer mycket viktig. Utbildningen består av en tvådagars introduktionsutbildning för nya

observatörer. För att utveckla kompetensen hos observatörer erbjuds två fortbildningsdagar under året, så kallade inspirationsdagar. Efter en observation deltar observatören dessutom i en opposition där han eller hon försvarar sin rapport och granskar andra rapporter. Vid sidan av den gemensamma utbildningen ordnar samordnaren i varje kommun träffar för de egna observatörerna.

Introduktionsutbildning

Syftet med utbildningen är att få en introduktion i vad uppdraget som observatör innebär och att få en grundkurs i rapportskrivning. Utbildningen omfattar två dagar och innehåller

presentation av VÅGA VISA-konceptet, presentation av observatörsuppdraget och hur en observation går till, från A-Ö, samt utbildning i rapportskrivning. Utbildningen genomförs av två samordnare tillsammans med tre erfarna skolobservatörer.

Antal nya observatörer som deltagit i introduktionsutbildning de tre senaste terminerna:

17-18 september 2009 antal deltagare 27 18-19 februari 2010 antal deltagare 21 2-3 september 2010 antal deltagare 7

Antalet observatörer som nyrekryteras varierar över tid. Det lägre antalet hösten 2010 kan kopplas till att systemet med terminsobservatörer införts.

Inspirationsdagar

Samordnarna för VÅGA VISA planerar varje termin en utbildningsdag för samtliga observatörer. Dagen har fått namnet ”Inspirationsdag” och syftar till att stödja och vidareutbilda observatörerna i observatörsrollen. För att skapa möjlighet till dialog under dagen genom ett mindre antal deltagare, får observatörerna välja mellan två datum med samma innehåll.

Inspirationsdagen hösten 2009

Kursledare var Karin Nordell och Anders Karlsson, organisationskonsulter specialiserade inom offentlig sektor. Under dagen varvades föreläsning med samtal och grupparbeten utifrån

följande frågeställningar:

1. Vilka situationer/processer och dialoger behöver observeras för att ligga till grund för en bedömning av om förskolan/skolan är en mötesplats för alla på lika villkor? Hur bör observationen gå till för att fånga upp både form och innehåll av olika

situationer/processer och dialoger?

2. Vilken betydelse uppfattar ni att förskolechefens/rektors demokratiska vilja har i arbetet med att utveckla barns/elevers och föräldrars inflytande och ansvar? Vad skulle ni behöva samtala om tillsammans med förskolechef/rektor för att sätta er in i

uttryckta viljeyttringar? Vad och hur skulle ni kunna observera för att ta reda på om förskolechefens/rektors vilja fått effekt i samarbetet mellan pedagoger och

barn/elever/föräldrar?

3. Hur märks det att förskolan/skolan arbetar med integrering av barn/elever från andra kulturer? Vad behöver observeras för att belysa och bedöma området?

Inspirationsdagen våren 2010

Dagen inleddes av Pia Johansson, som illustrerade kroppsspråkets betydelse, ett mycket uppskattat inslag som ledde till många reflektioner om vad som händer i möten mellan människor. Under dagen diskuterade observatörer och samordnare observationens genomförande utifrån olika dilemman och frågeställningar, några exempel:

Diskussionsfråga: Vad är det som vårt lag kommer att ha lätt för att se när vi

observerar? Vad är det som vi riskerar att missa eller har svårt att upptäcka/bedöma?

Diskussionsfråga: Om ni har fått olika bilder av hur något fungerar, hur gör ni då?

Skillnader och likheter, vad är viktigast under observationen?

Diskussionsfråga: Vad är det som gör att ni väljer att besöka just dessa lektioner/aktiviteter/verksamheter?

Två områden som ofta är bristfälligt belysta i observationsrapporterna är rektors roll som pedagogisk ledare samt hur skolan följer upp och utvärderar och utvecklar sin verksamhet.

Observatörerna arbetade fram vilka frågor som kan ställas till olika personer för att belysa detta, några exempel:

Rektor som pedagogisk ledare

Till rektor/ förskolechef/verksamhetsansvarig:

Hur tycker du att du fungerar som pedagogisk ledare? Hur tror du att du uppfattas? Hur ser man i verksamheten att du är pedagogisk ledare?

Hur vet du att verksamheten fungerar? Hur vet du att styrdokumenten fungerar?

När diskuterar ni pedagogiska frågor på den här skolan – vilka frågor?

Vilka visioner har du för verksamheten?

Till personal

Hur ser ni på skolans ledning?

När diskuterar ni pedagogiska frågor med rektor? Hur stöttar ledningen dig i pedagogiska frågor?

Är rektor synlig i verksamheten?

Vilka visioner har ni på den här skolan?

Elever

Hur ofta träffar du din rektor? Vet du vem det är?

Hur skolan följer upp och utvärderar och utvecklar sin verksamhet Till rektor/ förskolechef/verksamhetsansvarig:

Hur utvärderar ni – vilka verktyg använder ni, hur ofta? Hur sammanställer ni och följer upp resultaten?

Reflekterar ni kring resultaten? Leder det till åtgärder?

Vilka har varit med i kvalitetsredovisningsarbetet? Hur arbetar ni vidare med den?

Finns ett klimat som främjar utveckling?

Har ni gjort något med anledning av den förra observationsrapporten?

Till personal

Hur följer ni upp att ni når målen? Hur utvärderar ni?

Reflekterar ni kring resultaten? Leder det till åtgärder?

Vilka prioriterade områden har skolan (dvs har det som skolan lyft fram nått ut) Vilka har varit med i kvalitetsredovisningsarbetet?

Finns ett klimat som främjar utveckling?

Inspirationsdagen hösten 2010

Syftet med arbetet var att göra det tydligare vad som ska bedömas och öka likvärdigheten i bedömningarna. Med ett enklare och tydligare underlag skapas möjligheter för

observatörslaget att komma fram till en gemensam bedömning.

Observatörerna arbetade gruppvis med två målområden och fick i uppdrag att beskriva kriterier i progressionsordning under skalstegen från 1 till 4.

Under dagen medverkade Stockholms Improvisationsteater som på ett förtjänstfullt sätt gestaltade olika dilemman som observatörer kan uppleva i sitt arbete. Ett exempel på dilemma

som teatern iscensatte och grupperna fick i uppdrag att diskutera var: ”Vad händer när observationsteamet värderar det de ser olika”.

Antal observatörer som deltagit i inspirationsdagar de senaste tre terminerna:

22-23 september 2009 101 observatörer deltog en av dessa dagar.

18-19 februari 2010 100 skolobservatörer+11 kulturobservatörer deltog en av dessa dagar

21 -22 september 2010 62 observatörer deltog en av dessa dagar.

De observatörer som deltar på inspirationsdagen är oftast de som ska observera samma termin. Det lägre antalet observationer i kombination med terminsobservatörernas införande är därför en viktig förklaring till det lägre antalet deltagare hösten 2010.

Opposition

Ett ytterligare utbildningstillfälle ges i den opposition på observationsrapporterna som genomförs när observationerna är klara. Observatörer som observerat i en kommun samlas som regel under en halvdag. Några målområden väljs ut för närmare granskning under dagen, t ex Utveckling och lärande och ytterligare ett område. Observatörerna läser in sig på

varandras texter för dessa områden och belyser följande frågeställningar:

Omfattar rapporten det som metodboken anger för målområdet?

Hänger beskrivning, bedömningstext och skalbedömning samman? Är bedömningarna välmotiverade?

Är texten lätt att förstå för olika målgrupper?

Utvärderingar i samband med oppositionerna visar att observatörerna anser att oppositionen är ett värdefullt lärtillfälle, för såväl erfarna som nya observatörer. Oppositionen ger ofta

intressanta pedagogiska diskussioner. Det blir en fördjupning i rapportskrivning och utvecklar observatörernas kompetens att göra likvärdiga och välavvägda bedömningar.

47 av 77 observatörer anmälde sig till opposition 22 januari 2010 som avsåg observationer utförda hösten 2009

35 av 61 observatörer anmälde sig till opposition 1 juni respektive 2 juni 2010 som avsåg observationer utförda våren 2010.

Det är viktigt att alla observatörer deltar i oppositionen, men alltför många har dock av olika skäl inte varit med.

Självvärdering

Självvärdering har genomförts på de förskolor och skolor som har observerats.

Kundundersökning

Förskola t o m gymnasieskola

I årets kundundersökning deltog 44 700 föräldrar och elever i de åtta kommunerna.

Svarsfrekvensen var 82 procent, en liten minskning från 84 procent året innan.

Kundundersökningen 2010 genomfördes i februari-mars, ca en månad senare än tidigare år pga upphandlingsprocessen. Undersökningen genomfördes av Pilen Affärsutveckling AB.

I årets undersökning deltog även fyra ytterligare kommuner. Dessa kommuner var Karlstad (endast gymnasiet), Norrtälje, Täby och Österåker.

Tabell 1: Svarsstatistik för kundundersökningen förskola-gymnasieskola 2010

Antal svar Svarsfrekvens

Danderyd 4 462 79%

Ekerö 2 988 78%

Nacka 12 440 86%

Salem 2 045 78%

Sollentuna 8 953 83%

Tyresö 4 853 78%

Upplands Väsby 3 896 79%

Värmdö 5 057 80%

Norrtälje 4 945 75%

Österåker 4 904 78%

Täby 7 389 77%

Karlstad 1 040 80%

Totalt 62 972 80%

Totalt VÅGA VISA 44 694 82%

Andelen svar som lämnades via Internet var 14 procent. Sedan 2005 har andelen ökat med cirka sex procentenheter. Högst andelen webb -svar hade Danderyd (18 procent).

Vuxenutbildning

I undersökningen bland studerande i vuxenutbildningen deltog 4 600 elever i de fem VÅGA VISA -kommuner som genomförde undersökningen, nämligen Nacka, Salem, Sollentuna, Upplands Väsby samt Värmdö. Danderyd deltog genom Kunskapscentrum Nordost.

Svarsfrekvensen var 58 procent, en liten minskning från 60 procent året innan.

Kundundersökningen i vuxenutbildningen genomfördes i april-maj 2010. Tidigare har undersökningen genomförts på hösten, men tidpunkten ändrades till följd av

upphandlingsprocessen. Undersökningen genomfördes av Pilen Affärsutveckling AB.

Utöver VÅGA VISA -kommunerna deltog Solna stad, Uppsala samt Kunskapscentrum Nordost, som tar emot studerande från fyra kommuner, Danderyd, Täby, Vallentuna och Vaxholm.

Tabell 2: Svarsstatistik för kundundersökningen vuxenutbildning 2010

Antal svar Svarsfrekvens

Nacka 1 060 57%

Sollentuna 432 74%

Upplands Väsby 392 63%

Värmdö 413 71%

Salem 51 33%

Norrtälje 318 53%

Solna 617 56%

KC Nordost 860 56%

Uppsala 1 430 60%

Totalt 5 573 59%

Totalt VÅGA VISA 4 596 58%

Andelen svar via Internet var 53 procent. I de två kommuner där enkäten skickades ut med e- post var andelen webb -svar högre (Nacka och Uppsala).

4. Viktiga händelser under året

Fler uppdragsformer för observatörer

För att ha hög kvalitet i observationerna är kompetenta observatörer helt avgörande. Två nya uppdragsformer för observatörer har skapats.

Våren 2010 infördes möjligheten att bli seniorobservatör. Observatörer som genomfört minst fem observationer i VÅGA VISA (fr o m 2006) kan bli seniorer. För att bli senior ska

observatören ha varit sammankallande i minst två observationer, bedömts vara stark i observationsrollen inkl rapportskrivning och överlämning samt ha deltagit i flertalet utbildningstillfällen inkl opposition.

Syftet är att säkra att VÅGA VISA behåller och uppmuntrar duktiga observatörer. Seniorer förväntas ta ansvar som sammankallande och vid behov vara mentorer för nya observatörer och på olika sätt bidra till utveckling av VÅGA VISA. Seniorer bör observera en gång per år.

Seniorer får dubbelt observatörsarvode.

Den som uppfyller kriterierna ovan får förfrågan om han/hon vill ta det extra ansvar som uppdraget som senior innebär från samordnargruppen. Våren 2009 blev tolv observatörer seniorobservatörer.

Hösten 2010 infördes terminsobservatörer för att säkra kontinuitet och kvalitet i

observationerna. Tre observatörer har under hösten haft uppdrag som terminsobservatörer och observerat kontinuerligt mellan 1 september till 3 december. Våren 2010 ges terminsuppdrag till ett antal nya terminsobservatörer.

Tanken är att terminsobservatörerna ska säkra kvalitet och kontinuitet och också minska risken för inställda observationer. Uppdraget som terminsobservatör är också ett sätt att erbjuda duktiga observatörer att utvecklas som observatörer. Avsikten är även fortsättningsvis att VÅGA VISA ska ha observatörer som observerar en till två gånger per termin, men genom den nya uppdragsformen ges möjlighet till fördjupning, samtidigt som kvaliteten säkras.

Den utvärdering som genomförts med höstens terminsobservatörer visar att dessa upplever uppdraget som mycket positivt. Då terminsobservatörerna utför flera uppdrag i rad tränar de upp och höjer sin kompetens och blir också effektivare i genomförandet.

Samordnargruppen rekryterar terminsobservatörer bland observatörer som genomfört ett antal observationer och som bedöms som starka i observatörsrollen. Observatörer med

förskolekompetens har prioriterats då behovet där är som störst. Även kommunens storlek påverkar valet.

Under hösten 2010 har följade observatörer haft terminsuppdrag:

Susanne Hansen, Tyresö Kommun:

Annika Nilsson, Nacka

Annika Svartserud, Sollentuna

Bedömningsmatriser som stöd i observationer

Under 2010 har samordnarna arbetat med att precisera vad som krävs inom varje målområde för att en skola/förskola ska uppnå en viss sifferbedömning i observationsrapporten. Kriterier för varje heltal inom skalan håller på att tas fram i syfte att öka likvärdigheten i de

bedömningar som görs. Exemplet nedan visar hur en av punkterna under målområdet Utveckling och lärande kan beskrivas med kriterier där varje skalsteg bygger vidare på det närmast föregående.

Utveckling och

lärande 1 2 3 4

Dokumentation av barns/elevers lärande.

* Dokumentation saknas

eller förekommer i liten utsträckning.

* Barns/elevers lärprocesser dokumenteras.

* Dokumentationen används i lärandesyfte.

* Föräldrar har möjlighet att ta del av dokumentationen

* Dokumentation av lärandet finns på väggar och i t.ex.

portfolios (Förskolan)

*Dokumentationen används systematiskt för att stödja barn/elever i deras lärande och utveckling.

* Föräldrar tar kontinuerligt del av dokumentationen

*Dokumentation finns i alla ämnen.

*Eleverna tar ansvar för att deras arbeten dokumenteras

*Barn/elever känner till mål och innehåll i sin IUP.

Utökning till fler kommuner

Under året har styrgrupp och samordnargrupp diskuterat hur en utvidgning av

utvärderingssamarbetet till fler kommuner skulle kunna hanteras . I kundundersökningen har flera kommuner redan anslutit sig till vår undersökning. När det gäller observationer har samtal förts med några kommuner. Styrgruppen har fastställt en avgift på 120 000 kr för nya kommuner som vill ansluta sig till samarbetet. Pengarna skall bl.a. användas till

kompetensutveckling.

Ny upphandling av kundundersökning

Under 2010 har genomförandet av kundundersökningen i VÅGA VISA upphandlats. Förutom de åtta kommunerna i VÅGA VISA deltog ytterligare fem kommuner, Botkyrka (gymnasiet), Karlstad (gymnasiet), Norrtälje, Vallentuna, Täby, Solna (vuxenutbildning) och Österåker.

Upphandlingen genomfördes av samordnare från Nacka och Danderyd samt ytterligare en tjänsteman från Nacka med erfarenhet från tidigare upphandlingar. Nackas

upphandlingsexperter svarade för juridisk och administrativ hantering. Upphandlingen innehåller option för kundundersökning musik- och kulturskola där även Stockholm ingår.

Upphandlingen har genomförts med selektiv upphandlingsform. I den första omgången inkom 10 ansökningar. Fem ansökningar gick vidare till att lämna anbud, varav fyra anbud kom in.

ScandInfo Marketing Research AB var det företag som bedömdes ha det mest fördelaktiga anbudet och som vann upphandlingen. Upphandlingen överprövades av förvaltningsrätten, men förvaltningsrätten avslog överklagandet. Kommunerna har nu tecknat kontrakt som gäller tre år med möjlighet till två års förlängning.

5. Övergripande utvärderingsresultat

Bedömningar i observationer

Observationerna innehåller en mycket stor mängd bilder av hur verksamheten på förskolor och skolor fungerar. Här ges en övergripande bild av de bedömningar som finns i

observationerna.

Högre genomsnittlig bedömning, särskilt för Styrning och ledning

Bedömningarna i årets observationer ligger för samtliga målområden i genomsnitt något över föregående års genomsnitt. Vid jämförelser över tid bör man vara medveten om att skalan ändrats och fr o m våren 2009 ges med en decimal, medan den dessförinnan gavs utan decimal. Det är dock svårt att bedöma i vilken utsträckning förändringen hänger samman med den nya skalan, eftersom det är olika enheter som observerats de olika terminerna.

Urvalet av förskolor och skolor kan också variera över tid.

Allra högst omdöme i observationerna får området Normer och värden, medan Bedömning och betyg ligger lägst (ges ej på förskolor). Störst ökning sedan föregående år är det för området Styrning och ledning.

Figur 1: Genomsnittlig bedömning per målområde i observationer 2006/07 – 2009/10, förskola t o m vuxenutbildning

Ökningen mellan de två senaste åren gäller främst förskolan, vilket framgår av tabellen nedan.

Allra tydligast är ökningen för området Styrning och ledning för förskolan, där den genomsnittliga bedömningen ökat från 2,5 till 3,0.

I förra årsrapporten konstaterades att grundskolorna i genomsnitt fått högre bedömningar i observationerna än förskolorna. I årets observationer har skillnaderna minskat. På området Ansvar och inflytande låg bedömningen t o m högre för förskolorna.

Tabell 3: Genomsnittlig bedömning per målområde i observationer förskola och grundskola (Enheter i särskola, gymnasieskola och vuxenutbildning särredovisas inte här då endast en enhet observerats i varje skolform under läsåret.)

Läsår Antal

enheter

Normer och värden

Utveckling och

lärande

Ansvar och inflytande

Bedöm- ning och betyg

Styrning och ledning

Genom- snitt av samtliga

Förskola 08/09 56 3,1 2,8 2,7 2,5 2,8

09/10 43 3,3 2,9 3,1 3,0 3,1

Grundskola 08/09 36 3,3 3,0 2,8 2,7 3,0 3,0

09/10 34 3,3 3,0 2,9 2,8 3,1 3,0

En jämförelse mellan kommunerna visar att fyra kommuner hade samma högsta

genomsnittliga bedömning, 3,2, nämligen Danderyd, Nacka, Tyresö och Värmdö. Ekerö och Salem hade lägst genomsnittlig bedömning, men antalet observationer var där litet. Det högsta värdet för ett målområde har Upplands Väsby för Normer och värden.

Tabell 4: Genomsnittligt bedömning per målområde i observationer 2009/10, förskola t o m vuxenutbildning

Antal

obser- verade enheter

Normer och värden

Utveckling och lärande

Ansvar och inflytande

Bedöming och betyg

Styrning och ledning

Genom- snitt av samtliga

Danderyd 9 3,4 3,1 3,2 3,1 3,3 3,2

Ekerö 2 2,3 2,0 2,0 3,3 2,4

Nacka 19 3,4 3,2 3,2 2,8 3,1 3,2

Salem 2 2,6 2,8 2,5 2,7 2,8 2,7

Sollentuna 14 2,9 2,6 2,6 2,4 2,7 2,7

Tyresö 8 3,6 3,0 3,1 2,9 3,1 3,2

Upplands Väsby 11 3,5 3,0 2,9 2,9 3,0 3,1

Värmdö 15 3,4 3,1 3,1 3,0 3,3 3,2

Totalt 80 3,3 3,0 3,0 2,8 3,1 3,1

Fler enheter har hög genomsnittlig bedömning

Skillnaderna mellan kommunerna och mellan olika målområden är alltså relativt små.

Skillnaderna är betydligt större mellan olika enheter. Den lägsta genomsnittliga bedömningen 2009/10 för en enhet var 2,0 och den högsta 3,8.

Diagrammet nedan visar hur den genomsnittliga bedömningen fördelar sig de två senaste läsåren. Det är färre som har riktigt låga bedömningar 2009/10, och något fler som har höga värden. 25 procent av enheterna hade en genomsnittlig bedömning mellan 3,41 och 4.

Motsvarande andel året innan var 12 procent.

Figur 2: Genomsnittlig bedömning per observation, 2008/09 och 2009/10

Samband mellan bedömningen av Styrning och ledning och Utveckling och lärande

Det finns ofta ett samband mellan bedömningar på olika målområden för en enhet, dvs en förskola eller skola som får höga bedömningar på ett målområde får också ofta höga bedömningar inom andra områden. Tydligast är sambandet mellan bedömningen på Utveckling och lärande och Styrning och ledning. Svagast är det när det gäller Bedömning och betyg och Normer och värden.

Tabell 5: Korrelationsmatris för bedömningar i observationer 09/10²

Normer och värden

Utveckling och lärande

Ansvar och inflytande

Bedömning och betyg

Styrning och ledning

Normer och värden 1

Utveckling och lärande 0,62 1

Ansvar och inflytande 0,60 0,71 1

Bedömning och betyg 0,37 0,61 0,71 1

Styrning och ledning 0,48 0,72 0,62 0,61 1

2 Matrisen visar korrelationskoefficienter, som visar graden av linjärt samband mellan två variabler.

Koefficienten kan anta värden mellan 0 och 1. 1 anger ett fullständigt linjärt samband, och 0 avsaknad av linjärt samband.

Generella trender i kundundersökning

Kundundersökningen visar även i år att föräldrar och elever i alla kommuner och för samtliga målområden är nöjda i hög grad. Endast marginella förändringar har skett i jämförelse med 2009 års resultat. Föräldrar till barn i familjedaghemmen är fortfarande mest nöjda. Högsta värdet har Normer och värden inom familjedaghemmen (3,9) och det lägsta värdet får i år, liksom förra året, Ansvar och inflytande (2,8) av elever år 2 i gymnasiet samt Styrning och ledning enligt elever i skolår 8 (2,9).

Det sammanfattande omdömet i tabellen visar att föräldrar till barn i familjedaghem mest nöjda. Där är det genomsnittliga värdet 3,9.Minst nöjda är elever i år 8, där det

genomsnittliga värdet är 3,0.

Tabell 6 Genomsnittlig resultat per målområde och svarsgrupp, kundundersökning 2010

Normer och värden

Utveckling och lärande/

kunskaper

Ansvar och inflytande

Skola och hem

Övergångar, samverkan och omvärld

Bedöm- ning och betyg

Styrning och ledning

Samman- fattande omdöme

Förskola 3,6 3,5 3,5 3,5 3,6 3,6

Familjedaghem 3,9 3,6 3,6 3,6 3,9

Förskoleklass 3,5 3,4 3,3 3,4 3,5 3,6 3,5 3,5

Skolår 2 föräldrar 3,4 3,5 3,3 3,4 3,5 3,6 3,4 3,4

Skolår 5 föräldrar 3,3 3,5 3,3 3,3 3,5 3,3 3,4

Skolår 5 elever 3,4 3,5 3,5 3,6 3,4

Skolår 8 föräldrar 3,2 3,2 3,1 3,2 3,2 3,2 3,2

Skolår 8 elever 3,2 3,2 3,2 3,0 3,3 2,9 3,0

GY år 2 3,4 3,0 2,8 3,0 3,1 3,3 3,4

Särskola föräldrar 3,6 3,6 3,4 3,5 3,6 3,6 3,6

Gy - särskola föräldrar

3,7 3,5 3,3 3,4 3,6 3,7 3,8

Vuxenutbildning 3,5 3,2 3,2 3,2 3,2 3,2 3,4

Skillnaden mellan kommunerna är marginell. Det totala resultatet per område överensstämmer med resultatet för 2009. Danderyds kommun och Upplands Väsby har förbättrat resultatet inom fyra av sju områden jämfört med 2009.

Det finns stora skillnader mellan olika skolors resultat, men när genomsnitt beräknas för olika målområden är skillnaderna mycket små.

Tabell 7: Genomsnittligt resultat per målområde och kommun, kundundersökning 2010, förskola till och med gymnasieskola

Normer och värden

Utveckling och lärande/

kunskaper

Ansvar och inflytande

Skola och hem

Övergångar, samverkan och omvärld

Bedömning och betyg

Styrning och ledning

Samman -

fattande omdöme

Danderyd 3,6 3,4 3,3 3,4 3,4 3,4 3,5 3,6

Ekerö 3,5 3,4 3,3 3,4 3,3 3,4 3,4 3,4

Nacka 3,5 3,4 3,4 3,4 3,4 3,4 3,5 3,5

Salem 3,5 3,4 3,3 3,4 3,3 3,4 3,4 3,4

Sollentuna 3,5 3,4 3,4 3,4 3,3 3,4 3,4 3,5

Tyresö 3,4 3,4 3,3 3,4 3,3 3,5 3,3 3,4

Upplands Väsby 3,4 3,4 3,3 3,3 3,3 3,4 3,4 3,3

Värmdö 3,4 3,4 3,3 3,4 3,3 3,4 3,4 3,4

Totalt 3,5 3,4 3,3 3,4 3,3 3,4 3,4 3,4

6. Hur används resultaten i VÅGA VISA i våra kommuner?

Utvärderingssamarbetet i VÅGA VISA omfattar att gemensamt genomföra observationer, kundundersökning och självvärdering. Hur resultaten sedan hanteras är upp till varje kommun att besluta. För att kunna inspirera varandra ger vi här exempel på hur olika kommuner gör.

Självklart kan olika styrsystem och kommunstorlek m m ge olika förutsättningar, men vi tror att vi kan lära och dra nytta av varandras lösningar och erfarenheter.

Hur överlämnas observationsrapporten?

Observationsrapporten lämnas över till den observerade förskolan/skolan vid ett möte cirka 6 veckor efter observationstillfället. Vid mötet deltar observatörslaget, rektor/förskolechef, förvaltningschef och samordnare. Även andra, till exempel representanter ur enhetens ledningsgrupp eller styrelseledamöter i föräldrakooperativet, kan ibland delta. Samtliga deltagare har haft möjlighet att läsa rapporten innan mötet. Vanligtvis leds mötet av

kommunens förvaltningschef, observatörerna presenterar sin rapport muntligt målområde för målområde och mötesdeltagarna reflekterar tillsammans över innehållet, enhetens starka sidor och förbättringsområden.

Sollentuna har prövat ett annorlunda upplägg vid det senaste överlämningsmötet. I stället för att gå igenom hela rapporten, har var och en som ska delta i mötet valt ut någon eller några avsnitt ur rapporten som för dem känns särskilt angelägna att resonera kring. Utifrån dessa önskemål skapades en mötesagenda som samordnaren skickade ut i förväg. Tanken var att skapa tid att fokusera på de viktigaste kvalitetsdragen i verksamheten och att alla får

möjlighet att samtala djupare runt det som upplevs som mest intressant. Upplägget upplevdes positivt av samtliga mötesdeltagare.

Vad händer efter att observationen överlämnats?

Nämndmöten, åtgärdsplaner och uppföljning

I alla kommuner redovisas observationsrapporterna för nämnden med ansvar för

utbildningsfrågor. Rektor för en observerad enhet får också ofta i uppdrag att ta fram en plan som visar vad skolan ska göra åt de förbättringsområden som framkommer i rapporten.

Salem

Berörd rektor/chef är med på nämnden när observationsrapporten presenteras. Chefen ges möjlighet att berätta om sin upplevelse av rapporten och lämna synpunkter på den. Samtidigt presenteras självvärdering, kundundersökning och observationens bedömning i ett

spindeldiagram tillsammans med en kortfattad analys.

Tyresö

Rektor för en observerad enhet skriver en handlingsplan. Nämnden bjuds därefter in till verksamhetsbesök på den observerade skolan, både kommunal och enskild. Förvaltningschef och nämndsekreterare är också med på detta besök. Inför besöket tar nämnden del av

observationsrapport och handlingsplan och under besöket får enheten redovisa hur arbetet med att genomföra åtgärderna fortgår.

Sollentuna

Rektor/förskolechef upprättar en åtgärdsplan. Åtgärdsplanen och observationsrapporten skickas till ansvarig nämnd, och skolans ledning kallas samtidigt till barn- och

ungdomsnämndens arbetsutskott för ett samtal runt enhetens kvalitet. Förskolornas ledning kallas endast till arbetsutskottet om det finns speciella behov utifrån resultatet av

observationen. Gymnasie- och vuxenutbildningsnämnden avgör i varje enskilt fall hur en rapport ska hanteras vidare.

En observationsrapport som visar på brister i verksamheten utgör underlag för tillsyn.

Kommunens skolchef för den kommunala verksamheten använder observationsrapporten i sina samtal med rektor/förskolechef om enhetens måluppfyllelse och kvalitet. Från och med höstterminen 2010 kommer skolchefen och samordnaren att följa upp åtgärdsplanen med ett besök på enheten ett halvår efter att observationsrapporten överlämnades.

Värmdö

Förskolechef/rektor tar fram en åtgärdsplan. Förskolechef/rektor blir kallad till ett utbildningsnämndsmöte för att presentera åtgärdsplanen och svara på politikernas frågor.

Därefter ska enheten efter ett år skicka in en uppföljningsrapport av genomförda åtgärder.

Danderyd

Chefen för en observerad enhet ombeds efter överlämningsmötet komma in med en tidsbestämd åtgärds- handlingsplan senast till nästa nämndsammanträde. Barn- och

utbildningsnämnden tar på sitt möte del av både rapport och åtgärdsplan och har möjlighet att ställa frågor som rör rapporten. Tjänstemän på förvaltningen besvarar dessa. Vid enstaka tillfällen har barn- och utbildningsnämnden haft nämndsammanträdet på den observerade enheten. Uppföljning av åtgärdsplan sker på tjänstemannanivå vid verksamhets- och/eller tillsynsbesök. Rapporten kan i enstaka fall direkt leda till ett tillsynsbesök.

Nacka

Förskolechef/rektor får möjlighet att skriva en kommentar till observationsrapporten.

Observationerna under en termin samlas ihop och redovisas för Utbildningsnämnden på ett sammanträde, då nämnden förutom rapporterna med kommentarer får en tjänsteskrivelse där resultaten sammanfattas samt kompletteras med annan utvärderingsinformation om resp enhet. Cheferna deltar dock inte på sammanträdet. Om observationen visar på allvarliga brister i verksamheten, brukar nämnden ge Kultur- och utbildningsdirektören i uppdrag att diskutera åtgärder med ledningen i syfte att kvaliteten förbättra verksamheten.

Ett år efter observationen besöker tjänstemän från Kultur- och utbildningsenheten den observerade enheten för en uppföljning. Syftet är dels att höra vad som hänt med

observationens förbättringsområden, dels att få en bild av hur metoden fungerar som ett stöd för skolans utveckling. Resultatet av uppföljningen redovisas för Utbildningsnämnden.

Besöken visar att observationsrapporten använts på olika sätt. Rapporten ger ibland viktigt stöd för förändringsarbete, eller fungerar som en ”väckarklocka”. Skolledningar uttrycker ofta att det är bra att ”få svart på vitt” vad man behöver arbeta med, och att det genom en observation blir tydligt för olika intressenter vad man behöver ta tag i. Annat som lyfts fram är att observationsrapporten synliggör det faktiska arbetet på förskolan och ger föräldrarna mer information om vad som sker i verksamheten. På en del håll, där man arbetar mycket med utvärdering, upplever man inte att observationsrapporten givit så mycket nytt, men resultaten

pekar som regel åt samma håll som annan utvärdering. Intervjuerna visar som regel att det har hänt ganska mycket med de olika förbättringsområden som uppmärksammades i

observationerna. Ett genomgående resultat är att självvärderingen dock inte använts i så hög grad.

Publicering av observationsrapporter

I alla kommuner läggs observationsrapporterna ut på kommunens webbplats och blir på så sätt tillgängliga för föräldrar, elever och andra förskolor och skolor. Ofta biläggs åtgärdsplanen.

Rapporterna redovisas också ofta på skolans egen hemsida.

Vad händer efter kundundersökningen?

Presentationer i nämnd och på hemsidor

Resultat och analyser av kundundersökningen presenteras i alla kommuner för den ansvariga nämnden och på kommunens hemsida. Ibland presenterar förskolan/skolan även sina resultat på sin egen hemsida.

Sollentuna

Kundundersökningen presenteras för barn- och ungdomsnämnden och gymnasie- och

vuxenutbildningsnämnden med analyser och jämförelser mellan enheter inom kommunen och mellan kommunerna i VÅGA VISA samarbetet. På varje enhets kontaktsida under

kommunens hemsida läggs diagram över enhetens resultat. För utvalda frågor görs även en rangordning mellan enheter för en viss svarsgrupp (föräldrar år 2, föräldrar förskola, elever år 5 etc) där det således blir tydligt hur enhetens resultat på frågan förhåller sig till var och en av övriga enheter i kommunen.

”Så bra är vi” är ett verktyg på kommunens hemsida som ger föräldrar och elever möjlighet att för samtliga skolor jämföra kundnöjdhet, utifrån resultatet på kundundersökningen, med betygsstatistik för var och en av skolorna.

Salem

Varje rektor/chef har i uppdrag att redovisa resultat och genomföra en dialog med elever och föräldrar som besvarat enkäten. Ett antal av kundundersökningens frågor används som indikatorer för måluppfyllelse i enheternas kvalitetsredovisningar.

Upplands Väsby

Resultatet från kundundersökningen redovisas i barn- och utbildningsnämnden. Ledningen för respektive enhet avseende undersökningen ges möjlighet till replik. I de fall där en förskolas eller skolas resultatet avviker i avsevärd positiv eller negativ riktning kan ledningen för enheten bjudas in till nämnden. Syftet är att ledningen i en direkt kontakt med nämnden får tillfälle att redovisa, förklara och i de fall så krävs beskriva hur de tänker arbeta för att enhetens resultat ska förbättras.

Undersökningsresultatet redovisas i webbverktyget Väsby Jämföraren där förskole- och skolresultat från olika förskolor/skolor kan jämföras. Resultatet från VÅGA VISAs kundundersökning redovisas som nyckeltal i samband med måluppfyllelse i nämndens årsberättelser.

Nacka

Resultaten från kundundersökningen presenteras även som underlag för föräldrars och elevers val av förskola och skola. I analysverktyget JämförareN kan föräldrar och elever enkelt göra

jämförelser av just de förskolor eller skolor som de är intresserade av. Resultaten presenteras också i skolvalsfoldern som skickas till alla föräldrar som ska välja skola för sitt barn.

Hur används utvärderingsresultaten vidare?

I detta avsnitt ges olika exempel på hur utvärderingsresultaten används för åtgärder och styrning på kommunnivå.

Underlag för insatser på kommunnivå

Det finns många exempel på att utvärderingen i VÅGA VISA synliggjort områden där åtgärder krävs på övergripande kommunal nivå.

I Danderyd har resultaten av kundundersökning och observationer lett till insatser för att stärka den pedagogiska dokumentationen inom förskolan. Kommunen kan också se att kvaliteten på kvalitetsredovisningarna blivit bättre, särskilt inom skolan, då man använder sig av resultaten i kundundersökningen.

I Tyresö arbetar förvaltningen med anledning av resultaten i kundundersökningen med att skapa en handlingsplan för arbetsro och trygghet samt att utreda könsskillnader i elevers enkätsvar. Arbetet kommer äga rum med hjälp av fokusgrupper med elever och föräldrar.

Belöning av de framgångsrika

I några kommuner används utvärderingsresultaten som underlag för att nominera eller välja ut vinnare av kvalitetspris. Det gäller Danderyd, Nacka och Tyresö.

Resultaten används också i några kommuner som underlag vid lönesättning av rektorer i kommunala skolor. Det sker i Sollentuna och Nacka.

I Sollentuna vägs resultatet på frågan ”Jag är nöjd med verksamheten i min/mitt barns skola/förskola” i kundundersökningen in i beräkningen av varje kommunal enhets overheadkostnad. En hög andel nöjda bidrar till en lägre kostnad för enheten.

Underlag för dialog

Utvärderingsresultaten används ofta som underlag för dialog. I Sollentuna används

observationsrapporter och resultat från kundundersökningen som underlag vid de samtal som förs med elever, föräldrar, personal och ledning när barn- och ungdomsnämnden arbetsutskott gör verksamhetsbesök i skolor och förskolor. Under en mandatperiod får alla skolor och huvuddelen av förskolorna ett sådant besök.

I Värmdö genomför den kommunala produktionen resultatuppföljning med de enheter där resultaten utifrån observationsrapport och/eller kundenkäten behöver förbättras. Under läsåret 09/10 har Styrning och ledning och Delaktighet varit fokusområden. En särskild satsning har gjorts inom arbetet med barn och elevers individuella utvecklingsplan och skriftliga

omdömen. De enskilt bedrivna förskolorna och skolorna ansvarar för sitt eget kvalitetsarbete.

Uppföljning av politiska mål

Resultaten används i kommunerna för att följa upp de politiska målen. Framförallt är det resultat från kundundersökningen som används.

Utbildningsnämnden i Värmdö använder frågor från kundenkäten vid budget- och målarbete, vilka följs upp två gånger per år. Danderyd använder också flera frågor i

kundundersökningen för att undersöka måluppfyllelsen som en del i budgetarbetet.

Tabell 8: Uppföljning av mål för barnomsorg och skola i Danderyd Inriktningsmål

Nuläge, juni 2010

1. Barnomsorgsverksamheten i Danderyd har hög kvalitet vad gäller trygghet, lärande och utveckling.

 Gul

2. I Danderyd ges varje elev i grundskolan möjlighet att utifrån sina förutsättningar uppnå bästa möjliga kunskaps- och

personlighetsutveckling i en stimulerande och trygg miljö.

 Gul

3. Grundskolorna i Danderyd har studieresultat som vid varje jämförelse är

av högsta nationella klass. Grön

4. I Danderyd ges varje elev i gymnasieskolan möjlighet att utifrån sina förutsättningar uppnå bästa möjliga kunskaps- och

personlighetsutveckling i en stimulerande och trygg miljö.

 Gul

5. Gymnasieutbildningen i Danderyd ger goda förutsättningar för vidare

studier och kommande yrkesliv.  Grön

6. Gymnasieutbildningen i Danderyd uppvisar studieresultat som vid varje jämförelse är av högsta nationella klass.

 Grön

7. Danderyds vuxenutbildning stödjer och stimulerar individens livslånga lärande och svarar mot individens och omvärldens behov av kompetens.

 Gul

8. I Danderyd ges varje elev i särskolan möjlighet att utifrån sina förutsättningar uppnå bästa möjliga kunskaps- och

personlighetsutveckling i en stimulerande och trygg miljö.

 Gul

I Sollentuna används två frågor från kundundersökningen vid måluppföljning:

”Jag har de senaste månaderna blivit mobbad i min nuvarande skola” och

”Jag är nöjd med det inflytande jag har över mitt skolarbete”.

I Nacka följer Utbildningsnämnden upp sina strategiska mål med hjälp av ett antal nyckeltal, varav många kommer från kundundersökningen. Exemplet nedan är hämtat från

kvalitetsredovisningen, och uppföljningen av målet som gäller reellt inflytande i

verksamheten. Med hjälp av färger markeras om målet har nåtts eller inte. För vissa särskilt prioriterade nyckeltal har målnivån höjts mellan 2008 och 2009.

Tabell 9: Uppföljning av det strategiska målet Reellt inflytande i Nacka

Mål- nivå 2009

Utfall 2009

Mål- nivå 2008

Utfall 2008

2009 jmf

2008

Förskoleverksamhet

Andel föräldrar som anser att deras barns tankar och idéer tas tillvara (%) 80 71 72 70 ↗

Förskoleklass, grundskoleutbildning och skolbarnsomsorg

Andel föräldrar som anser att deras barn är med och planerar arbetet i skolan (%) 75 64 65 64 - Andel elever som anser att de är med och planerar arbetet i skolan (%) 81 82 80 81 ↗ Andel föräldrar som anser att fritidshemmets verksamhet utgår från deras barns

intressen och behov (%) 75 72 73 71 ↗

Gymnasieutbildning

Andel elever som kan påverka arbetssättet under lektionerna (%) 75 71 70 71 -

Vuxenutbildning

Andel elever som kan påverka arbetssättet under lektionerna (%)

75 ej

mätt 57 60

Fördjupade analyser

I kvalitetsredovisningen 2009 för Nacka gjordes en fördjupad analys av resultaten för de tretton förskolor som observerats under året. I analysen jämfördes resultaten i de tre olika

perspektiven med varandra, och resultaten ställdes också mot annan statistik om förskolorna.

Analysen visade att bedömningarna i genomsnitt var högre för kundundersökningen och självvärderingen än för observationerna. Spridningen i resultat mellan olika förskolor var också större i observationerna än i de två andra verktygen. Enligt observatörernas bedömning fanns det således såväl förskolor med mycket god kvalitet, som förskolor med större

utvecklingsbehov. Ur föräldrarnas och medarbetarnas perspektiv var skillnaderna mellan olika förskolor mindre.³

Förskolor med bra omdömen på observationen har också goda resultat på

kundundersökningen. Men även förskolor med något sämre omdöme på observationen har ofta föräldrar som i hög grad är nöjda.

Det fanns ett relativt tydligt samband mellan resultaten på observationerna 2009 och

personalens utbildningsnivå samma år. Ju högre andelen pedagogiskt högskoleutbildade som arbetar i barngrupp, desto bättre är som regel bedömningen av Utveckling och lärande i observationen⁴. Det fanns också ett liknande samband när det gäller andel personal som helt saknar utbildning för arbete med barn. Ju fler som saknar utbildning, desto lägre var som regel bedömningen i observationen.

Figur 3: Samband mellan bedömning i observation av Utveckling och lärande och andel personal med pedagogisk högskoleutbildning i barngruppen (oktober 2009), förskolor observerade 2009

Självfallet kan detta tolkas på flera sätt.

Observatörerna är själva förskollärare, och kan därför kanske kommunicera bättre om pedagogiska frågor när de möter andra förskollärare. Rapporterna innehåller dock också beskrivningar och bedömningar av hur den

pedagogiska verksamheten ser ut, som visar hur långt förskolans arbete nått och som stödjer sifferbedömningen.

Däremot finns inget tydligt samband mellan resultaten på kundundersökningen och personalens utbildningsnivå. Det går heller inte att se något samband mellan utbildningsnivån och självvärderingen, men resultatet är mer osäkert då inte alla förskolor genomfört självvärderingen.

3 Metodmässigt kan detta problematiseras. Olika förhållanden är olika viktiga i de olika perspektiven.

Värderingen av skalstegen kan göras olika, och t ex värdet av 2,0 se tolkas olika. Kunder har ofta erfarenhet av enbart en enhet, medan observatörerna sett flera. Observationerna genomförs av olika observatörslag, som trots kvalitetssäkring, kan bedöma olika.

4 Sambandet är detsamma för genomsnittet för samtliga målområden.

7. Resultat i korthet och styrkor, svagheter, möjligheter och hot

Rapporten visar att

Under läsåret 2009/10 har totalt 84 förskolor och skolor observerats och genomfört självvärdering. Observationerna ger en mängd bilder av hur verksamheten på

förskolor och skolor fungerar. Högst omdöme i observationerna får området Normer och värden, medan Bedömning och betyg ligger lägst.

Bedömningarna i observationsrapporterna under det senaste året var högre än tidigare, särskilt för Styrning och ledning i förskolan. Det är svårt att dra säkra slutsatser av detta. Indikerar detta att styrning och ledning i förskolan har förbättrats, eller är det bara så att förhållandena var bättre på de förskolor som observerades i år än året innan? Eller är resultatet en glidning i bedömningarna?

Antalet observationer var något färre i år än året innan. När det gäller förskolan beror nedgången på brist på observatörer. På skolsidan påverkar skolinspektionen

efterfrågan på observationer, då observationer inte genomförs när en kommun inspekteras.

Terminsobservatörer ger ökad stadga i observationerna, och är ett sätt att erbjuda observatörer utveckling i uppdraget. Genom seniorsutnämning premieras erfarna och skickliga observatörer.

Totalt har 44 700 elever och föräldrar i VÅGA VISAs kommuner under året talat om vad de tycker om verksamheten i kundundersökningen. Föräldrar och elever är i hög grad nöjda i alla kommuner. Det finns stora skillnader mellan olika skolors resultat, men jämför man de genomsnittliga resultaten för olika målområden och kommuner är skillnaderna mycket små.

Intresset är stort för att delta i kundundersökning bland kommuner utanför VÅGA VISA. Fyra ytterligare kommuner deltog 2010 och sju kommuner ingick i

upphandlingen utöver VÅGA VISAs åtta.

Observationer och kundundersökningsresultat används på många olika sätt i våra kommuner. Utvärderingen leder till åtgärder, används som underlag för dialog och är en del i den politiska styrningen.

Samordnarna har identifierat starka och svaga sidor samt möjligheter och hot i det gemensamma utvärderingssamarbetet:

Styrkor

Ger utvecklingsmöjligheter för förskolor/skolor och kommunen Ger insyn i verksamheterna

Ger möjlighet att följa upp effekter av åtgärder

Leder till pedagogiska diskussioner och tillför kunskap

Samverkan och utbyte mellan kommuner på olika nivåer, såväl bland politiker, tjänstemän som i verksamheten

Koppling mellan observation, kundundersökning och självvärdering

Observationsuppdraget ger kompetensutveckling till pedagoger och kunskaper som kan tillföras den egna verksamheten