Förstudie gällande SAM 3.0

(1)

Förstudie gällande SAM 3.0

Undersökningen har genomförts av Splitvision

Research på uppdrag av GR Utbildning och

Vuxenutbildningen i Göteborgs Stad

Juni 2014

(2)

Förstudie SAM 3.0

Innehållsförteckning

I

KORTA DRAG

... 3

OM UNDERSÖKNINGEN ... 6

1.1 S

YFTET MED UNDERSÖKNINGEN

... 7

1.2 H

UR FÖRSTUDIEN HAR GENOMFÖRTS

... 7

1.3 B

EGREPP

... 11

BESKRIVNING AV SITUATIONEN ... 12

O

M

G

ÖTEBORGSREGIONEN

(GR) ... 13

I

NSIKT

#1

-‐

E

N HETEROGEN GRUPP

... 13

I

NSIKT

#2

-‐

D

ET LIGGER I TIDEN

... 14

I

NSIKT

#3

-‐

T

VÅ LÄGER

... 14

I

NSIKT

#4

-‐

R

ESURSER

&

PRESTATIONER

... 15

I

NSIKT

#5

-‐

A

LVIS ÄR NAVET I ALL DATA

... 15

I

NSIKT

#6

-‐

O

REN DATA

... 16

I

NSIKT

#7

–

”A

LVISGENERAL

”

&

REVISION

... 16

I

NSIKT

#8

-‐

J

ÄMFÖRBAR DATA BEHÖVS

... 16

I

NSIKT

#9

–

”V

ILDA WESTERN

” ... 17

I

NSIKT

#10

-‐

S

ILOTÄNKANDE

... 18

I

NSIKT

#11

-‐

S

AKNAR MOTTAGARE

... 18

BEHOV AV DATA ... 19

I

NSIKT

#1

-‐

P

ÅLITLIG OCH JÄMFÖRBAR

... 20

I

NSIKT

#2

–

”M

ECKIGT

” ... 20

I

NSIKT

#3

-‐

I

NDIKATORER

... 21

I

NSIKT

#4

-‐

U

PPGIFTER SOM IDAG NYTTJAS

... 22

I

NSIKT

#5

-‐

I

NFORMATIONSKÄLLOR SOM NYTTJAS DÅLIGT

... 22

I

NSIKT

#6

-‐

R

ESULTAT KOMMER FÖR SENT FÖR ATT KUNNA ANVÄNDAS I PLANERING

... 23

I

NSIKT

#7

-‐

R

ESULTAT NÅR INTE UT

... 23

I

NSIKT

#8

-‐

GR

BÖR HÅLLA I ALL ANALYS FÖR KRANSKOMMUNERNA

... 23

BESKRIVNING AV LÖSNING ... 24

E

N GOD RESULTATKULTUR

... 25

O

M

S

PLITVISION

R

ESEARCH

... 27

(3)

Förstudie SAM 3.0 I korta drag

I korta drag

Denna förstudie är genomförd av Splitvision Research AB på uppdrag av GR Utbildning och Vuxenutbildningen i Göteborgs Stad. Undersökningen genomfördes under perioden november 2013 -‐ april 2014.

Kort om undersökningen

Syftet med denna förstudie har varit att identifiera de behov som

utbildningsledningen (planerare och beslutsfattare) i kranskommunerna inom Göteborgsregionen (benämns fortsättningsvis kranskommunerna) och

Vuxenutbildningsförvaltningen i Göteborgs Stad (benämns fortsättningsvis VUF) har av insamlad data och hur de önskar erhålla data presenterad. Förstudien utgör ett första steg mot att identifiera grunderna i en ”god resultatkultur”. Med data syftas det till den information som omfattar elevdata och pedagogisk verksamhet, inte ekonomisk uppföljning.

Undersökningen har genomförts med etnografisk metodik, där insikter har samlats in med hjälp av 24 semistrukturerade djupintervjuer.

Intervjuerna har genomförts med personer i utbildningsledningen (planerare och beslutsfattare) inom kranskommunerna (14 personer) och personer inom VUF (10 personer).

Insamling och analys har genomförts i en iterativ process i tre fältperioder.

Sammanfattning av resultat

De behov som utbildningsledningen Inom kranskommunerna och

Vuxenutbildningsförvaltningen i Göteborgs Stad har av insamlad data och hur de önskar erhålla data har vi presenterat kortfattat nedan i elva plus åtta insikter.

Situationen

Insikt #1 -‐ En heterogen grupp

Förutsättningarna för hur vuxenutbildning bedrivs skiljer sig åt mellan de tretton kommunerna i Göteborgsregionen.

Insikt #2 -‐ Det ligger i tiden

Det finns ett stort behov av att skapa gemensam data, en gemensam plattform för uppföljning och analys av de studerades situation och den pedagogiska

verksamheten.

Insikt #3 -‐ Två läger

Majoriteten av de intervjuade använder elevdata för rapportering och uppföljning av elever. Endast några få av de intervjuade använder data för

(4)

Insikt #5 -‐ Alvis är navet i all data

Alvis beskrivs som navet i all datahantering. De intervjuade beskriver att det är i Alvis som de hämtar all elev-‐ och kursdata.

Insikt #6 -‐ Oren data

Flera av de intervjuade har beskrivit att ett problem för dem i uppföljning och rapportering är att det förekommer felaktigheter i den data som finns i Alvis. Sex orsaker till att uppgifter i Alvis blir behäftade med fel beskrivs.

Insikt #7 – ”Alvis-‐general” & revision

De intervjuade efterfrågar en ”inrapporteringsgeneral”, någon som har ett tydligt uttalat ansvar och mandat för systemet samt att det löpande genomförs revision av inrapportering i Alvis.

Insikt #8 -‐ Jämförbar data behövs

Det saknas i många fall jämförbara data att ställa den egna verksamheten gentemot.

Insikt #9 – ”Vilda western”

Det råder ”vilda western” vid insamling av data. Flera aktörer samlar in data utan vetskap om eller hänsyn till varandras undersökningar.

Insikt #10 -‐ Silotänkande

De flesta av de intervjuade utbildningsledarna arbetar väldigt självständigt och i sin ensamhet med analys. Insamlandet och hanterandet av data sker enbart utifrån de egna uppgifterna eller ansvarsområdet och vad de själva har nytta av. Det saknas i många fall ett helhetsperspektiv (både ur verksamhets-‐ och elevernas perspektiv).

Insikt #11 -‐ Saknar mottagare

Mer än hälften av de intervjuade i kranskommunerna beskriver att det inom deras kommun inte finns något intresse för att diskutera eller att sätta upp mål med den vuxenutbildning som kommunen driver.

Behov av data

Insikt #1 -‐ Pålitlig och jämförbar

Flera av de intervjuade har efterfrågat mer pålitlig data i Alvis.

Insikt #2 – ”Meckigt”

När det handlar om att ta fram data från Alvis finns det två olika kategorier av behov.

Copyright*©*Splitvision*Research.*All*rights*reserved.* www.splitvisionresearch.se*

Ak#viteter) Presta#oner) Eﬀekter)

Resurser) Ny5a)

I

nsikt#8–*Draget?llsinspets

?*

?

?*

_?

?

Betyg* AvbroC* Andel*godkända*betyg* Poäng** SEK* Pedagogiska*processen* Utveckla*den*pedagogiska* processen* Redovisa*vad*de*har*gjort*

(5)

I. Behov av relativt enkla uppgifter gällande exempelvis elevers kurser och tagna poäng (standardiserade uttag).

II. Behov av specifik data gällande exempelvis en specifik kurs, specifika elever eller en specifik studieform (standardiserade uttag eller situationsbaserade uttag).

Insikt #3 -‐ Indikatorer

Återkommande i intervjuerna är att de intervjuade efterfrågar indikatorer som kan hjälpa dem att kunna följa upp verksamheten. De efterfrågar dels enklare

indikatorer av karaktären snittvärden eller medelvärden och dels komplexa indikatorer som exempelvis visar på lärsträcka eller studieprogression.

Insikt #4 -‐ Uppgifter som idag nyttjas

Ett 20-‐tal olika data omnämns i intervjuerna som uppgifter de idag hämtar ur Alvis.

Insikt #5 -‐ Informationskällor som nyttjas dåligt

Klagomålshantering och information som finns i ansökningar och studieplaner

beskrivs som informationskällor som idag används bristfälligt.

Insikt #6 -‐ Resultat kommer för sent för att kunna användas i planering

Resultatet från undersökningar som exempelvis SPU och Effekt kommer för sent för att de intervjuade ska kunna använda dem i sin planering av utbildningar eller vid rapportering.

Insikt #7 -‐ Resultat når inte ut

Det är en lång kedja för att resultaten från undersökningarna ska komma ut till alla aktörer. Flera av de intervjuade har beskrivit att det krävs en tydlig process för att detta ska ske.

Insikt #8 -‐ GR bör hålla i all analys för kranskommunerna

För kranskommunerna skulle det underlätta och effektivisera arbetet om insamling, sammanställning och analys genomfördes av GR Utbildning. För VUF är

verksamheten i Vuxenutbildningen i Göteborgs Stad så komplex att den behöver ske inom VUF. Däremot behöver arbetet med insamling, sammanställning och analys likriktas inom hela Göteborgsregionen för att full vinst ska kunna ske.

Beskrivning av lösningen

I analysen av intervjuerna framkommer tydligt att det som behövs är att skapa (bygga vidare) en kultur och en organisation där uppföljning, utvärdering och utveckling (de tre U:na) blir ett parallellt nav till den ordinarie pedagogiska verksamheten. Undersökningen visar också att elevernas perspektiv på

verksamheten behöver ha en mer framträdande roll och utgöra stommen i en god resultatkultur.

Den goda resultatkulturen handlar om att knyta samman de sex stegen nedan:

(6)

Förstudie SAM 3.0

Kapitel 1 Om undersökningen

O

m undersökningen

KAPITEL

1

(7)

Förstudie SAM 3.0

Undersökningen har genomförts av Splitvision Research på uppdrag av GR Utbildning och Vuxenutbildningen i Göteborgs Stad och utfördes under perioden november 2013 -‐ april 2014.

För mer information om SAM 3.0 kontakta projektledarna:

 Martin Johansson vid Göteborgsregionens Kommunalförbund. 031-‐335 50 51, martin.johansson@grkom.se

 Tomas Mjörnheden vid Vuxenutbildningsförvaltningen i Göteborgs Stad. 031-‐ 368 30 12, tomas.mjornheden@vux.goteborg.se

1.1 Syftet med undersökningen

1.1.1 Bakgrund

Offererad förstudie är ett första led i SAM 3.0 och en vidareutveckling av det arbete som genomfördes i SAM-‐projektet. I tidigare studier har fokus till stor del varit insamling av ”rätt” data och att skapa en undersökningsarkitektur där det finns en röd tråd mellan undersökningarna som görs riktade till elever inom

vuxenutbildningen (SFI, grundläggande och gymnasial vuxenutbildning och yrkesvux). I projektet SAM 3.0 är fokus mer på hur den insamlade datan (studieplaner, SPU-‐undersökningar, effektundersökningar och system-‐data) ska göras mer tillgänglig och talande i uppföljning, utvärdering och planering av VUFs och GR Utbildnings utbildningsverksamhet.

1.1.2 Syfte

Syftet med denna förstudie har varit att identifiera de behov som

utbildningsledningen (planerare och beslutsfattare) i kranskommunerna inom Göteborgsregionen (benämns fortsättningsvis kranskommunerna) och

Vuxenutbildningsförvaltningen i Göteborgs Stad (benämns fortsättningsvis VUF) har av insamlad data och hur de önskar erhålla data presenterad. Förstudien utgör ett första steg mot att identifiera grunderna i en ”god resultatkultur”.

Med data syftas till data som omfattar elevdata och pedagogisk verksamhet, inte ekonomisk uppföljning.

1.2 Hur förstudien har genomförts

Undersökningen har genomförts med en etnografisk metodik, där insikter har samlats in med hjälp av semistrukturerade djupintervjuer.

Insamling och analys har genomförts i en iterativ process i tre fältperioder under november 2013 till april 2014.

(8)

Förstudie SAM 3.0

att de tillsammans ger en bra och bred bild av hur arbetet med att leda verksamheten, planering, utvärdering och uppföljning av verksamheten sker.

I intervjuerna har vi strävat efter att erhålla så täta och innehållsrika berättelser som möjligt. Grunden i vårt arbete har varit semistrukturerade djupintervjuer. Det innebär att intervjuerna genomförts utifrån teman som vi låtit den intervjuade prata fritt utifrån.

1.2.2 Relativt förutsättningslöst

I syfte att svara på uppdragets frågeställning kring vad som ger en god

resultatkultur, vilka behov av data som finns och på vilket sätt verksamheterna idag använder sig av elevdata har intervjuerna varit ganska fritt hållna. Den intervjuade har fått beskriva hur de arbetar idag och hur de skulle önska att de kunde använda sig av data.

Ur ett helhetsperspektiv har vi fångat insikter och förståelse för hur relationen till en god resultatkultur och nyttjandet av data förhåller sig.

Efter respektive fältperiod har vi ställt de insamlade insikterna i relation till den ursprungliga frågeställningen.

Illustration 1:1 Vi har i intervjuer närmat oss ämnet relativt förutsättningslöst. Syftet med det är att kunna identifiera betydelsefulla insikter som initialt bara ser ut att ligga i periferin.

1.2.3 Iterativ process

Undersökningen har genomförts i en iterativ process som möjliggjort att valet av insamlingssätt, val av målgrupp och frågeställningar löpande har kunnat anpassas utifrån de insikter som erhållits efter varje delmoment.

Insamlingen har fördelats på tre fältperioder. Mellan varje fältperiod har det insamlade materialet analyserats och därefter diskuterats i ett insiktsmöte tillsammans med en arbetsgrupp från GR Utbildning och Vuxenutbildningen i Göteborgs Stad.

(9)

Förstudie SAM 3.0

En viktig del under dessa möten har varit föreningen mellan insikter i målgruppens beteende, uppdragsgivarens kompetens i området och Splitvision Researchs kunskaper om undersökningar och mänskligt beteende.

Illustration 1:2 Undersökningen har genomförts i en iterativ process.

1.2.4 Analys

Vid analysen av det insamlade materialet har vi haft ett abduktivt förhållningssätt. I det insamlade materialet har vi sökt mönster och förståelse för de intervjuades beskrivningar. Vi har tagit hänsyn till vad de intervjuade säger, vad de inte säger samt vad som sägs mellan raderna.

Metodologiskt har vi haft ett öppet förhållningssätt i analysarbetet. Vi har inte varit bundna vid en specifik analytisk teknik utan har rört oss fritt mellan flera analytiska tekniker (Bricolage) i syfte att nå förståelse för de berättelser vi samlat in.

Alla intervjuer som genomförts har spelats in på band. Vi har därmed i efterhand kunnat lyssna på alla inspelningar och har på detta sätt fått möjlighet att analysera materialet två gånger. Det har möjliggjort att vi kunnat diskutera resultatet utifrån ett tvärvetenskapligt perspektiv.

I analys och bearbetning av de intervjuades användande av data har vi använt oss av en blueprint (en karta över data-‐ och informationsflöden). Vi har sorterat resultatet från intervjuerna i två huvudgrupper: en publik nivå och en intern nivå, se illustration 1:3. Den publika nivån har delats in i två grupper:

I. Hur de intervjuade nyttjar data. I vilka situationer de hämtar data, till vad och till vilka analyser de använder data.

II. Vilka data de intervjuade har tillgång till, i vilka kanaler de hämtar data, exempelvis Alvis, SPU, nöjdkundundersökning, effektstudier osv.

Den interna nivån har på likvärdigt sätt delats in i två grupper: Copyright*©*Splitvision*Research.*All*rights*reserved.* www.splitvisionresearch.se*

U

ndersökningsprocessen(itera=vprocess)*

Djupintervjuer* Djupintervjuer* Djupintervjuer* Insikter* Insikter* Insikter* Insiktsmöte/ arbetsmöte* Insiktsmöte/ arbetsmöte* InsiktsF*och* rapportmöte* Resultat* Rapport* Förslag*på*…* Arbetar*mot*en*frågeställning* Stämmer*av*insikter*(löpande*förﬁnar* frågeställningen)** +* +*

Vad de inte säger

Vad de säger Vad som sägs mellan

(10)

Förstudie SAM 3.0

Illustration 1:3 Blueprint över hur data har analyserats.

Insikterna som presenteras i rapporten är uppbyggda dels på de intervjuades svar och resonemang och dels på vår analys av deras svar och resonemang. När vi i rapporten har använt oss av citat från intervjuade representerar de vad flera av de intervjuade har uttryckt.

Copyright*©*Splitvision*Research.*All*rights*reserved.** www.splitvisionresearch.se* N y: jar * In sam lin g* In fo *i*s ys te m et* Till gån g* Pu blik *n ivå* In te rn *n ivå* Hur*använder*ni*informaGonen?* I*vilka*situaGoner*hämtar*ni*informaGon/data?* Var*(kanal)*hämtar*ni*informaGon/data*idag:* ! Alvis* ! Rapporter/bilagor* ! Bokslut* * Till*vad*och*för*vem*använder*ni*informaGon/data?* Alvis* Ansökan*

studieplan* SPU* Avbro:* Eﬀekt* Granskning* Vilka*svar*söker*ni*siﬀror/informaGon*om?*

(11)

Förstudie SAM 3.0

1.3 Begrepp

Begrepp Förklaring

Data Med data syftar vi till uppgifter som omfattar elevdata, pedagogisk

verksamhet. Den ekonomiska uppföljningen omfattas inte.

Göteborgsregionen Göteborgsregionen innefattar 13 kommuner (Ale, Alingsås,

Göteborg, Härryda, Kungsbacka, Kungälv, Lerum, Lilla Edet, Mölndal, Partille, Stenungsund, Tjörn och Öckerö). De samverkar genom Göteborgsregionens kommunalförbund (GR).

GR I de sammanhang som vi i rapporten skriver GR åsyftas

Göteborgsregionens kommunalförbund.

Kranskommunerna De 12 kommunerna inom Göteborgsregionen (GR) förutom

Göteborgs Stad. De utgörs av Ale, Alingsås, Härryda, Kungsbacka, Kungälv, Lerum, Lilla Edet, Mölndal, Partille, Stenungsund, Tjörn och Öckerö.

Semistrukturerade djupintervjuer

Är en intervjuform där den intervjuade intervjuas utifrån teman istället för en fast frågestruktur. Detta möjliggör att de ingångar och öppningar till ämnet som den intervjuade ger smidigt kan följas.

Utbildningsledning I rapporten refererar vi till utbildningsledning och syftar då till dem vi

intervjuat i undersökningen som samtliga är i olika befattningar som innefattar planerare och beslutsfattare. Det kan exempelvis vara rektorer och verksamhetschefer.

VUF Vuxenutbildningsförvaltningen i Göteborgs Stad.

(12)

Förstudie SAM 3.0

Kapitel 2 Beskrivning av situationen

B

eskrivning av situationen

KAPITEL

2

(13)

Förstudie SAM 3.0

I detta kapitel återger vi med hjälp av elva insikter de redogörelser som

utbildningsledningen (planerare och beslutsfattare) inom Göteborgsregionen har gett gällande hur de idag använder data. I texten refererar vi fortsättningsvis till kranskommunerna när vi syftar till de 12 kommunerna inom Göteborgsregionen och till VUF när vi syftar till Vuxenutbildningsförvaltningen i Göteborgs Stad.

Vi inleder dock med en kort beskrivning om Göteborgsregionens kommunalförbund (GR) och Göteborgsregionen.

Om Göteborgsregionen (GR)

Göteborgsregionens kommunalförbund är en samarbetsorganisation för 13 kommuner i Västsverige. Tillsammans har dessa kommuner ca 960 000

invånare. GR:s uppgift är att verka för samarbete över kommungränserna och vara ett forum för idé-‐ och erfarenhetsutbyte inom regionen. Verksamheten inom GR ska vara till kommunal nytta, samtidigt som den ska stärka regionen nationellt och internationellt. När det gäller vuxenutbildning samverkar de 13 kommunerna genom ett samarbetsavtal. I dagsläget gäller samarbetet främst gymnasiala yrkesutbildningar. Koordinerade och administrativ aktör för samarbetet är GR Utbildning som är en enhet inom Göteborgsregionen kommunalförbund. De 13 kommunerna som samverkar är:

§ Ale § Alingsås § Göteborg § Härryda § Kungsbacka § Kungälv § Lerum § Lilla Edet § Mölndal § Partille § Stenungsund § Tjörn § Öckerö

Insikt #1 -‐ En heterogen grupp

Förutsättningarna för hur vuxenutbildning bedrivs skiljer sig åt mellan de tretton kommunerna i Göteborgsregionen. Det som skiljer de olika kommunerna åt är bland annat omfånget på utbildningarna som äger rum, hur vuxenutbildningen i den kommunala förvaltningen är organiserad samt hur de operativa

verksamheterna är organiserade. I vissa kommuner sker all vuxenutbildning i egen regi medan all verksamhet sker i upphandlad regi i andra kommuner.

Vuxenutbildningen i Göteborgs Stad är lika stor som de övriga 12 kommunerna tillsammans.

(14)

Förstudie SAM 3.0

Insikt #2 -‐ Det ligger i tiden

Det som framgår tydligt i intervjuerna både inom kranskommunerna och inom VUF är att det ligger helt rätt i tiden med ”projektet SAM 3.0”. Det finns ett stort behov av att skapa gemensam data, en gemensam plattform för uppföljning och analys av de studerades situation och den pedagogiska verksamheten. Inom

kranskommunerna och VUF beskrivs i intervjuerna behovet av en ”god resultatkultur”.

Flera av de intervjuade beskriver att de inom sin verksamhet har projekt som är under uppstart som är i området ”en god resultatkultur”. Exempelvis så arbetar VUF med att införa LEAN. Ett nytt branschråd håller på att startas upp inom GÖTEBORGSREGIONEN Utbildning (två representanter från VUF och en från GR Utbildning). Flera av utbildningsledarna inom kranskommunerna beskriver sina ambitioner med att genomföra strukturerade uppföljningar av sin verksamhet.

Insikt #3 -‐ Två läger

Majoriteten av de intervjuade inom kranskommunerna och VUF beskriver att de huvudsakligen använder elevdata för rapportering och uppföljning. Endast några få av de intervjuade använder data för verksamhetsuppföljning eller

verksamhetsutveckling. I fallande ordning har de intervjuade omnämnt att de använder sig av data till:

1. Rapportering

2. Uppföljning av elever

3. Verksamhetsuppföljning

4. Verksamhetsutveckling

Om vi summerar ihop beskrivningen av den data som framför allt används i

uppföljningar, handlar det om antal poäng som eleverna tagit eller antal poäng som kurserna har, vilka betyg som är tagna, andel godkända betyg och om andelen som avbrutit sina studier. Det handlar också om en ren ekonomisk uppföljning.

För några av de intervjuade genomförs detta genom en strukturerad process medan andra beskriver att uppgifterna inhämtas genom att de går ut och känner in i utbildningsverksamheten, har en dialog med lärare och elever samt att de förlitar sig på sin ”magkänsla”.

(15)

Förstudie SAM 3.0

Insikt #4 -‐ Resurser & prestationer

Om vi tar med oss de beskrivningar vi fått från de intervjuade och analyserar det ur ett systemteoretiskt perspektiv i enlighet med illustrationen nedan, är det främst inom områdena resurser och prestationer som rapportering och uppföljning sker.

Väldigt lite beskrivs av analys och uppföljning runt aktiviteterna (den pedagogiska processen). Likaså görs det lite analys och användande av data runt effekterna av de pedagogiska processerna eller uppföljning runt elevernas nytta av

verksamheten och samhällsnytta (mikro-‐ respektive makroperspektiv). Det är endast i några få intervjuer som området verksamhetsanalys tas upp.

Effektstudier för yrkesvuxutbildningar inom Göteborgsregionen omnämns. Likaså omnämns effektstudier för grundläggande och gymnasial vuxenutbildning hos VUF och hos vissa av kranskommunerna, men dessa länkas inte samman och analyseras ur ett process-‐ eller systemperspektiv. Resultatet används ofta enbart till att redovisa att något är genomfört, inte till verksamhetsutveckling.

Illustration över vilken data som relateras till i intervjuerna kopplat till en system/processanalys.

Insikt #5 -‐ Alvis är navet i all data

Alvis beskrivs av samtliga vi intervjuat som navet i all datahantering. De beskriver att det är i Alvis som de hämtar all elev-‐ och kursdata.

Den enda elevdata som de i intervjuerna har refererat till som hanteras utanför Alvis är skyddade identiteter samt även vissa distanskurser. Detta har enbart nämnts i kranskommunerna. Vi har i intervjuerna med VUF inte kommit in på hur denna hantering sköts där.

Copyright*©*Splitvision*Research.*All*rights*reserved.* www.splitvisionresearch.se*

Ak#viteter) Presta#oner) Eﬀekter)

Resurser) Ny5a)

I

nsikt#8–*Draget?llsinspets

?*

?

_Betyg*

?*

?

AvbroC* Andel*godkända*betyg* Poäng** SEK* Pedagogiska*processen* Utveckla*den*pedagogiska* processen* Redovisa*vad*de*har*gjort*

(16)

Förstudie SAM 3.0

Insikt #6 -‐ Oren data

Flera av de intervjuade har beskrivit att ett problem för dem i uppföljning och rapportering är att det förekommer felaktigheter i den data som finns i Alvis. Orsakerna till att vissa av uppgifterna blir behäftade med fel är bland annat:

I. Att administratörer (ute i kommunerna, hos Utbildningsanordnarna) som rapporterar in uppgifter i Avis inte följer de rutiner och manualer som finns.

II. Att uppgifterna som läggs in i Alvis har rapporterats in för ett annat syfte än för elev-‐ och kursuppföljning, exempelvis för ekonomisk redovisning.

III. Att inte uppgifter (exempelvis kursavbrott, tagna betyg och kursbyten) rapporteras in i tid (innan brytning).

IV. Att data hämtas ut vid fel tidpunkt, innan data har hunnit rapporteras in. Så är exempelvis fallet, har vi fått förklarat för oss, när det gäller de uppgifter som ska rapporteras till SCB. SCB efterfrågar bland annat uppgifter om antalet elever innan detta är fastställt.

V. Att uppgifter eleverna har lämnat i ansökan har varit oriktiga bland annat på grund av att eleverna lämnar oriktiga uppgifter för att öka sina chanser att bli antagna till en utbildning.

VI. Att eleverna inte uppdaterar sina kursplaner, alternativt att utbildningsanordnare inte har rapporterat in de uppdaterade kursplanerna.

Insikt #7 – ”Alvisgeneral” & revision

Både GR Utbildning och VUF har administratörsträffar och utbildningar för de inom verksamheterna som rapporterar in uppgifter i Alvis i syfte att utbilda och

säkerställa att rutiner efterföljs. Både inom kranskommunerna och VUF efterfrågas än mer uppföljning och utbildning inom detta område. De efterfrågar att det finns en ”inrapporteringsgeneral”, någon som har ett tydligt uttalat ansvar och mandat för systemet.

I intervjuerna i kranskommunerna har det också efterfrågats att GR Utbildning löpande bör göra revision ute i verksamheterna för att säkerställa att allt ser korrekt ut och att gemensamma rutiner efterföljs.

Insikt #8 -‐ Jämförbar data behövs

När det handlar om den egna rapporteringen och resultatredovisningen har flera av de intervjuade lyft att de i många fall saknar jämförbara data att ställa den egna verksamheten gentemot.

(17)

Förstudie SAM 3.0

Insikt #9 – ”Vilda western”

Det som blir mycket tydligt i beskrivningarna från utbildningsledarna i

kranskommunerna och på VUF är att det råder ”vilda western” vid insamling av data. Flera aktörer samlar in data utan vetskap om varandras undersökningar eller utan hänsyn till varandras undersökningar (se även nästa insikt kring silotänkande). De som i intervjuerna har beskrivits genomföra bland annat studerandeprocess-‐ undersökningar, nöjdkundundersökningar, trivselundersökningar och effektstudier är:

§ Utbildningsanordnarna (UBA)

§ Lärarna

§ Kommunerna

§ GR Utbildning och VUF

Till detta kommer också utbildning som sker med annan finansiär, så som

yrkeshögskolan och lärling. Dessa utbildningar har sina direktiv för uppföljning från sina finansiärer.

Följderna i och med att flera parallella undersökningar genomförs utan samverkan blir att det bland annat:

§ Blir förvirrande för eleverna som upplever att de redan svarat på undersökningen (utan att veta att den genomförs)

§ Ger låga svarsfrekvenser

§ Ger dubbla kostnader för insamling av samma data

§ Ger data som inte är jämförbar

En annan försvårande omständighet för undersökningar som görs under studierna är att lärarna är ”gatekeepers”. Några av de intervjuade har beskrivit att de har svårt att få lärarna att samarbeta runt att få genomföra undersökningar i

klassrummen då lärare motarbetar genomförandet. En av de intervjuade beskriver:

”Lärarna gör egna enkäter, vilket gör att de inte är intresserade av centrala/lokala SPU-‐ och effektundersökningar.”

De vi har intervjuat som ansvarar för SFI-‐utbildning har lyft att språket i enkäterna ofta är för svårt för SFI-‐elever. Detta leder till att frågorna missförstås eller inte alls förstås. Följderna av för svåra enkäter är att validiteten på resultatet blir dålig och att undersökningen får en låg svarsfrekvens.

Brist på återkoppling

I intervjuerna beskrivs att eleverna sällan får reda på resultatet från

undersökningarna de deltagit i. Genom att de flesta undersökningarna enbart används till redovisning och rapportering, och inte till verksamhetsutveckling eller kvalitetssäkring, kvarstår brister som eleverna upplyst om år efter år. Detta leder i sin tur till att incitamentet och motivationen för elever att svara på enkäter avtar.

(18)

Förstudie SAM 3.0

Insikt #10 -‐ Silotänkande

De flesta av de intervjuade utbildningsledarna arbetar väldigt självständigt och i sin ensamhet med analys. Insamlandet och hanterandet av data sker enbart utifrån de egna uppgifterna eller ansvarsområdet och vad de själva har nytta av. Det saknas i många fall ett helhetsperspektiv (både ur verksamhets-‐ och elevperspektiv).

Silotänkandet finns på flera olika nivåer, exempelvis inom den egna kommunen, inom den egna utbildningsformen, hos utbildningsanordnare samt inom den enskilda klassen.

Insikt #11 -‐ Saknar mottagare

Mer än hälften av de intervjuade utbildningsledarna i kranskommunerna beskriver att det inom deras kommun inte finns något intresse för att diskutera eller att sätta upp mål med vuxenutbildningen som kommunen driver. De berättar att politikerna i kommunen är nöjda så länge de håller sig inom de ekonomiska ramarna för verksamheten.

Några av de intervjuade berättar att de när de var nya i sina roller hade en hög ambitionsnivå när det gäller att visa på vilka effekter vuxenutbildningen har för kommunens invånare. Men de beskriver att samma ambitionsnivå inte funnits inom förvaltningen eller bland kommunens politiker. De intervjuade har gett följande beskrivningar:

”Skulle önska att politikerna efterfrågade mer data/information.”

”Skulle önska att politikerna styrde vuxenutbildningen mer med mål.”

”Ingen kommunikation, vet inte vart de vill. Inga mätbara mål, inga direktiv.”

”Endast ekonomisk uppföljning.”

”Målen som vi har är så övergripande så de går inte att mäta. Jag har två mål: öka antalet godkända i några specifika ämnen och att arbetsmiljön

ska förbättras.”

Några av de intervjuade i kranskommunerna har dock beskrivit att det i deras kommun finns ett intresse för vuxenutbildningens resultat. En av de intervjuade säger bland annat:

”Politikerna är intresserade av att ta del av detta samt våra analyser”.

Några beskriver att de har ett antal verksamhetsindikatorer som de använder sig av i redovisningen. En av de intervjuade berättar att de använder sig av:

§ Betygsstatistik

§ Avbrott

§ Resultat av effektstudier

§ NKI (Nöjd kund index)

§ Genomströmningshastighet för SFI

(19)

Förstudie SAM 3.0 Kapitel 3 Behov av data

B

ehov av data

KAPITEL

3

(20)

Beskrivning av hur Utbildningsledningen (planerare och beslutsfattare) inom kranskommunerna och VUF har behov av data idag görs med hjälp av nedanstående åtta insikter.

Insikt #1 -‐ Pålitlig och jämförbar

Flera av de intervjuade har efterfrågat mer pålitlig data i Alvis som vi beskrev i Insikt #6 i kapitel 2.

Det samtliga också beskriver är att de är i behov av att ha tillgång till jämförande data. Det behövs såväl generell som specifik data (kurs, målgrupp eller inriktning) att kunna jämföra med.

Insikt #2 – ”Meckigt”

När det handlar om att ta fram data från Alvis finns det två olika kategorier av behov.

I. Behov av relativt enkla uppgifter gällande exempelvis elever, kurser och tagna poäng (standardiserade uttag).

II. Behov av specifik data gällande exempelvis en specifik kurs, specifika elever eller en specifik studieform (standardiserade uttag eller situationsbaserade uttag).

För båda kategorierna av behov ställs de inför problematiken att den framtagna datan inte kan användas rakt av utan kräver en viss bearbetning. En av de intervjuade beskriver:

”Om jag exempelvis ska ta ut uppgifter om hur ett kurspaket är upplagt

kommer det med en massa biinformation.”

För de med behov av specifik data är det ofta betingat med att de behöver vara mycket insatta i elevernas situation och i hur uppgifterna lagras i Alvis för att få fram valid data. En av de intervjuade beskriver:

”För att veta vad man svarar på när man tar ut data från Alvis behövs gedigen kunskap. Datan behöver analyseras för att skapa korrekt insikt i vad den betyder och innebär.”

Båda grupperna är i behov av att kunna ta fram jämförbar data, vilket idag ofta är svårt. Flera av de intervjuade beskriver också att det ofta är kort om tid när de behöver få fram uppgifter som de i sin tur ska rapportera vidare.

En problematik i Alvis är att systemet är uppbyggt på terminer (HT/VT) medan många utbildningar idag har löpande kursstarter under terminerna. En annan problematik som beskrivs är att enstaka kurser hänger samman över terminerna och skapar program, vilket ställer till det vid uttag.

De vi har intervjuat på VUF beskriver att det finns några specifika nyckelpersoner som är behjälpliga med att ta fram dessa uppgifter. I kranskommunerna får de flesta av de intervjuade hjälp av en specifik person. Några av de intervjuade, både på VUF och i kranskommunerna, kan ta fram data själva. Både i kranskommunerna och på VUF beskrivs det att den fördjupade kunskapen att kunna problematisera data och datauttagen saknas idag. Inom kranskommunerna hänvisar de till att

(21)

kompetensen finns på GR Utbildning, men inte lokalt. På VUF refereras det till att denna kompetens tidigare fanns, men numera saknas inom förvaltningen.

De intervjuade beskriver att det är önskvärt att datan:

§ är pålitlig

§ är exakt

§ är tillgänglig och analyserad

§ inte kräver handpåläggning

§ går att ta fram på kursnivå och branschnivå

§ är enkel

§ inte är för komplex

Några av de intervjuade utbildningsledarna på VUF beskriver att det idag tas fram övergripande data, men att de skulle behöva kunna dyka ner på ämnesnivå för att kunna arbeta med verksamhetsutveckling.

Insikt #3 -‐ Indikatorer

Återkommande i intervjuerna är att de intervjuade efterfrågar indikatorer som kan hjälpa dem att kunna följa upp verksamheten.

Utifrån det de beskriver att de önskar följa upp finns behov av både enklare och mer komplexa indikatorer. De enklare indikatorerna är mer av karaktären snittvärden eller medelvärden (exempelvis andel i arbete efter studier, andel som tar poäng). De indikatorer som är av mer komplex karaktär är de som exempelvis visar på lärsträcka eller studieprogression.

Indikatorvärdet för de enklare indikatorerna borde med relativ enkelhet kunna

beräknas fram på en större volym data. De mer komplexa indikatorerna kräver betydligt mer begrundande för att bli relevanta Indikatorvärden.

Vi upplever att det finns en viss övertro till indikatorer som uppföljning. En indikator ger en endimensionell bild av verkligheten. Den visar på ett positivt eller negativt värde i förhållande till ett definierat värde. För att ett indikatorresultat ska bli relevant krävs en fortsatt analys och fördjupning av resultatet.

(22)

Insikt #4 -‐ Uppgifter som idag nyttjas

Några av de data som de intervjuade beskriver att de använder och är i behov av är:

§ Andel godkända elever

§ Andel i arbete alternativt fortsatta studier efter studierna på Vuxenutbildningen

§ Antal elever

§ Antal elever på praktik § Antal lärare

§ Antal elever med tagna betyg (betygsstatistik) § Antal terminer med praktik

§ Avbrott § Avbrottsstatus § Orsak till avbrott § Betyg

§ Betygsfördelningen

§ Effekt per peng och inriktning

§ Effekt sett till i arbete eller studier efter avslutad utbildning § Elevers progression

§ Mål med studierna § Måluppfyllelse § Poäng

§ Producerade poäng

§ Utfall nationella prov/betygssättning § Lärsträcka för SFI

Insikt #5 -‐ Informationskällor som nyttjas

dåligt

Några av de intervjuade har lyft att de upplever att det finns informationskällor som inte nyttjas eller endast i begränsad omfattning nyttjas. Det är bland annat

klagomålshantering som borde kunna analyseras mer samlat. Det är också

information som finns i ansökningar och studieplaner.

De som arbetar med antagning och studie-‐och yrkesvägledning har efterfrågat bättre uppföljning av olika studieformer, studietakter, kursstarter, praktik med mera och elevernas förutsättningar (tidigare studieerfarenhet, språkkunskaper och yrkeserfarenhet) och hur utfall ser ut. Med en bättre uppföljning och analys skulle bättre vägledning kunna äga rum och därmed åstadkomma ett bättre nyttjande av verksamheternas resurser.

(23)

Insikt #6 -‐ Resultat kommer för sent för

att kunna användas i planering

Några av de intervjuade inom både kranskommunerna och VUF beskriver att resultatet från undersökningar som exempelvis SPU och Effekt kommer för sent för att de ska kunna använda dem i sin planering av utbildningar eller vid

rapporteringar.

Insikt #7 -‐ Resultat når inte ut

Det är en lång kedja för att resultaten från undersökningarna ska komma ut till alla aktörer. Flera av de intervjuade har beskrivit att det krävs en tydlig process för att detta ska ske. Som vi ser det behövs krav på mottagarna från ledningen och en uppbyggd kultur av att resultatet från verksamheterna ska följas upp och att data ska användas för att planera och förbättra verksamheten. Det är först då som det går att säkerställa att resurser används på bästa sätt för att få ut maximal kvalitet.

I insikt #10 i kapitel 2 beskrev vi att det råder ett silotänkande inom verksamheterna. För att överbygga detta behöver en god resultatkultur marknadsföras i organisationerna. Det behöver byggas upp en kultur där alla är involverade i processen. Att det anordnas analysträffar där respektive ansvarig får redovisa utfall och planerad verksamhet och att detta diskuteras och

problematiseras i verksamhetsgrupper. För att detta ska vara möjligt krävs det att:

§ Data är lättillgänglig

§ Begränsningarna i data är uttalad och tydlig

§ Data är jämförbar

§ Det finns en långsiktighet i hantering och insamling av data som möjliggör analysering över tid

Insikt #8 -‐ GR bör hålla i all analys för

kranskommunerna

För kranskommunerna skulle det underlätta och effektivisera arbetet om insamling, sammanställning och analys genomfördes av GR Utbildning. För VUF är

verksamheten i Vuxenutbildningen i Göteborgs Stad så komplex att den behöver ske inom VUF. Däremot behöver arbetet med insamling, sammanställning och analys likriktas inom hela Göteborgsregionen för att full vinst ska kunna ske.

Inom kranskommunerna har det i intervjuerna på flera håll lyfts att de även önskar att kvalitetskontrollen av utbildningarna sker av GR Utbildning. En av de

intervjuade säger:

(24)

Förstudie SAM 3.0

Kapitel 4 Beskrivning av lösning

B

eskrivning av lösning

KAPITEL

4

(25)

Förstudie SAM 3.0

Här nedan följer vårt (Splitvision Researchs) förslag på vad som behöver göras för att åstadkomma en god resultatkultur.

En god resultatkultur

I analysen av intervjuerna framkommer tydligt att det som behövs är att skapa (bygga vidare) en kultur och en organisation där uppföljning, utvärdering och utveckling (de tre U:na) blir ett parallellt nav till den ordinarie pedagogiska verksamheten.

Den goda resultatkulturen handlar om att knyta samman de sex stegen nedan.

1. Insamling

2. Bearbetning av data

3. Analys av data

4. Presentation av resultatet

5. En gemensam reflektion av resultatet

6. Verksamhetsutveckling

Insamling

När det gäller insamling behöver denna ske från centralt håll. GR Utbildning och VUF bör hålla i insamlingen och båda dessa parter behöver samordna

undersökningarna i syfte att säkerställa att dessa sker på likvärdigt sätt. Det behöver tas ett samlat grepp på hur och vad som ska följas upp och när det ska göras. Det finns stora vinster ekonomiskt och resultatmässigt med att

undersökningarna sker centraliserat för hela Göteborgsregionen. I varje

undersökning kan det finnas ett utrymme för att intressenter kan lägga till frågor, i stället för att flera separata enkäter genomförs.

Det behöver finnas en långsiktighet i hantering och insamling av data för att möjliggöra analys över tid. Det är med andra ord viktigt med en uthållighet i när och hur uppföljning sker.

Elevernas perspektiv

Elevernas perspektiv behöver utgöra stommen för den data som samlas in. Idag saknas elevernas perspektiv nästan helt i de intervjuades beskrivning av verksamheten och analysarbetet. Det mesta sker helt ur ett organisations-‐ och verksamhetsperspektiv. Med att inte se frågor och insamlat material ur elevernas perspektiv finns en risk att analys och slutsatser blir endimensionella och felaktiga.

Bearbetning av data

Det behöver bli mer ordning och reda i den data som finns inrapporterad i Alvis. Det behöver också skapas bättre rutiner och struktur för hur data ska rapporteras in samt hur uppföljning genomförs och kontroll av hur detta efterföljs.

(26)

Förstudie SAM 3.0

Analys av data

Två av de uttagstyper som behöver göras ur Alvis bör i högre grad kunna systematiseras. Det handlar om:

§ Standardiserade uttag

§ Situationsbaserade uttag

I syfte att säkerställa att analys av datauttag sker på kvalitetsmässigt sätt bör det tas fram en handledning till hur uppgifterna ska tolkas och vilka begränsningar som finns med uppgifterna.

Något som vi varit förvånande över att det inte har använts eller efterfrågats i högre grad är så kallade A/B-‐tester. A/B-‐tester innebär exempelvis att nya former av utbildningar och programspår kodas i Alvis och att utfallet mellan olika spår sedan jämförs och följs upp i en strukturerad analys.

Presentation av resultatet

I syfte att säkerställa att framtagen data kan användas och användas på ett korrekt sätt behövs ett genomtänkt och kvalitetssäkrat arbetssätt för presentation av undersökningsresultat.

Det är viktigt att i presentationen säkerställa att data inte blir allt för förenklad, endimensionell och att viktiga komplexa samband inte tappas bort. Det är också viktigt att presentation av undersökningsresultat är riktat och relevant för just den målgrupp som varje presentation är avsedd för, exempelvis politiker,

verksamhetsansvariga, rektorer, lärare eller elever.

En gemensam reflektion av resultatet

Det handlar mer om att skapa en organisation, en kultur, ”en god resultatkultur” än att skapa en ny ”förordning om systematiskt uppföljningsarbete”. I en god

resultatkultur utgör de tre U:na (uppföljning, utvärdering och utveckling) en naturlig och central del i verksamheten. Resultatet används, är efterfrågat och analysen blir en gemensam aktivitet som görs utifrån ett helhetsperspektiv.

Verksamhetsutveckling

Målet med de tre U:na och en god resultatkultur är att verksamheterna ska kunna utvecklas utifrån en stabil och säker grund. Beslut bör tas utifrån evidensbaserade underlag, vilket innebär att hänsyn har tagits till forskning och vetenskapliga rön, elevernas åsikter och resultat, samt verksamhetens kunskap och erfarenheter.

Förstudie gällande SAM 3.0