Jak objektivně vyhodnotit, zda konkrétní metodika či program ve škole funguje? Základem je kvalitní evaluace

Cílem metodik Dobrý začátek a Skills Builder je podpořit učitele v rozvoji socio-emočních a měkkých dovedností svých žáků. S jednotlivými tématy metodiky Skills Builder (mezi něž patří např. schopnost naslouchat, kreativní myšlení či týmová práce) jste měli možnost se důkladněji seznámit mj. v předchozích číslech časopisu ; metodiku Dobrý začátek a Skills Builder blíže představuje také článek v minulém čísle (6/2022, s. 16). Nebudeme zde proto představovat jejich principy, ale soustředíme se čistě na evaluaci.

Evaluací ve vzdělávacím kontextu myslíme systematické posouzení a vyhodnocení určité metodiky, programu nebo postupu. V našem pojetí má blízko k vědeckému výzkumu, jehož standardům se snažíme co nejvíce přiblížit. Evaluace má – a Pro zhodnocení úspěšnosti implementace metodik či programů je vhodné obě kombinovat.

U metodik Dobrý začátek a Skills Builder je u cílem prokázat, že intervence (tedy práce přesně podle těchto metodik) způsobila rozdíl v úrovni dovedností žáků. Abychom mohli vyhodnotit efekt metodik, sledujeme v rámci projektu také školy a třídy, v nichž s metodikami Dobrý začátek či Skills Builder nepracují – tyto školy tvoří takzvanou kontrolní (resp. srovnávací) skupinu. V ideálním případě bychom školy do těchto skupin přiřazovali náhodně (viz obrázek č. 1), aby se na počátku v žádném ohledu systematicky nelišily a aby tak jediným rozdílem bylo to, zda pracují s metodikou, či nikoliv. V našem oboru je to ale jen málokdy možné, a tak odlišnosti škol bereme v potaz při analýze. Celkem je do evaluace zapojeno více než 30 škol z Prahy a Středočeského kraje, z nichž přibližně polovina tvoří a druhá . Dopadová evaluace tedy odpovídá na otázku, zda v intervenčních školách došlo v důsledku práce s metodikami k výraznějšímu růstu socio-emočních a měkkých dovedností dětí než ve třídách, v nichž s těmito metodikami nepracují. Tyto školy jsou na tzv. čekací listině a po skončení projektu jim stejnou intervenci nabídneme.

Obrázek č. 1: Schéma ideálního výzkumného designu s intervenční a kontrolní skupinou

Pro evaluaci dopadu používáme standardizované dotazníky (v mateřských školách a v prvních třech třídách základních škol vyplňují dotazník pedagogové, žáci 4.–9. tříd ZŠ vyplňují dotazník sami za sebe).

Podle původního evaluačního plánu měly školy během školních let 2020/21 a 2021/22 vyplnit dotazníky vždy dvakrát za školní rok (v listopadu a v květnu). V prvním z uvedených školních roků to však nebylo kvůli pandemii covid-19 možné, a museli jsme proto přistoupit ke kontinuálnímu sběru dat podle reálných možností respondentů – školy vyplňovaly dotazníky podle toho, jak to omezující okolnosti dovolily. Komplikované bylo také shánění informovaných souhlasů od zákonných zástupců žáků, které jsou pro evaluaci nezbytné jak z právních, tak etických důvodů.

Druhou rovinou naší je rovina . V té se zaměřujeme na okolnosti, které dotazníky dobře nezachytíme. Smyslem je jednak sledovat průběh, věrnost a kvalitu implementace ( ) metodik, jednak získávat zpětnou vazbu od zapojených aktérů s cílem učit se a zlepšovat samotný model intervence.

Jako nástroje pro evaluaci procesu používáme z kvalitativních metod pravidelné konzultace týmu zapojeného do implementace intervence (Schola Empirica + ředitelé škol a školek), hospitace ve výuce a evaluační fokusní skupiny s učiteli a učitelkami v podpořených ZŠ a MŠ. Do procesního hodnoceni jsou zapojení i rodiče: pomocí dotazníku sledujeme, jak velký posun svého dítěte v socio-emočních či měkkých dovednostech rodiče vnímají a zda mají povědomí o tom, že jejich škola pracuje s danou metodikou.

V závislosti na použitých metodách sběru dat, lze dělit také na či . V rámci evaluace metodik Dobrý začátek a Skills Builder je kombinujeme, protože chceme vytěžit přednosti obou výzkumných přístupů.

V rámci kvantitativní evaluace, jejímž cílem je přinést „tvrdá data“, sledujeme u skupin dětí stav a vývoj hned v několika oblastech souvisejících s měkkými dovednostmi či s tématy, která zkoumané metodiky přímo rozvíjí. Pro měření daných oblastí používáme v zahraničí standardizované dotazníky, u nichž máme určitou jistotu, že o úrovni dovedností vypovídají spolehlivě a přesně. Nástroje bez české mutace jsme před použitím adaptovali běžným postupem (několikakolový zpětný překlad) a validovali na českém vzorku; publikace připravujeme. Konkrétní nástroje a sledované oblasti přibližujeme dále. Upozorňujeme, že zmiňované metody využité ve výzkumu nemusí být validní pro individuální diagnostiku konkrétních dětí, kde pracujeme s normami a kde je často nezbytné posoudit například tzv. sociální desirabilitu výpovědi.

(SE; Muris, 2001; zkrácená verze)

Tento konstrukt se do češtiny někdy překládá jako „vnímaná vlastní účinnost“ a je velmi blízký pojmu „sebevědomí“. Na rozdíl od sebevědomí se však SE nezabývá globálním hodnocením sebe sama, ale vnímáním a důvěrou ve svou vlastní schopnost zvládat konkrétní situace, výzvy či úkoly. Jde o přesvědčení dítěte, že něco úspěšně zvládne. Pro naše účely jsme vybrali inventář posuzující tři oblasti SE:

(LoC; Suarez-Alvarez a kol., 2016)

Jde o psychologický konstrukt vyjadřující přesvědčení člověka o své schopnosti kontrolovat, řídit či mít vliv na události ve svém životě. Má dva póly: interní („To, co mám, získávám vlastním úsilím/snahou.“) a externí („Budoucnost je předem daná.“).

(SDQ; Goodman, 1997)

SDQ je stručný screening problémů v socio-emoční oblasti a pozitivního prosociálního chování. Pro MŠ a první tři třídy ZŠ používáme verzi hodnocenou pedagogem, pro starší žákyně/žáky pak sebeposuzovací verzi. SDQ postihuje pět dimenzí, z nichž první čtyři jsou negativní a pátá pozitivní (v ní je tedy jako u jediné žádoucí vyšší skóre):

Dále jsme do kvantitativní evaluace zahrnuli několik menších škál postihujících vybrané proměnné, na které metodiky implementované projektem také cílí. Škály jsou z mezinárodního šetření PISA 2018.

Díky kvalitativní evaluaci můžeme hlouběji porozumět očekáváním a potřebám klíčových aktérů v implementaci metodik. V květnu 2021 proběhly s učiteli mateřských i základních škol skupinové rozhovory (takzvané fokusní skupiny) zaměřené na jejich počáteční zkušenosti s metodikou, kterou ověřují. Zjišťovali jsme také, na jaké části metodik se chtějí zaměřovat přednostně nebo do jaké míry spolupracují na implementaci metodik s kolegy. Kvůli pandemii covid-19 proběhly fokusní skupiny online formou videohovorů.

Učitelé základních škol pracující s metodikou Skills Builder se i po poměrně krátkém čase využívání metodiky shodovali, že jim pomáhá oblast měkkých dovedností lépe uchopit a systematizovat a zároveň jí dodává důležitost: stává se z ní svébytné téma.

Jako dovednosti, které chtěli přednostně rozvíjet, zmiňovali následující (seřazeno dle četnosti uvádění):

Učitelé mateřských škol pracující s metodikou Dobrý začátek uváděli mezi sociálními a emočními dovednosti, které by podle jejich názoru měla školka u dětí rozvíjet, nejčastěji:

Nejvíce se chtěli v rámci sociálních a emočních dovedností zaměřovat na rozvoj:

Kvalitativní evaluace poskytuje zpětnou vazbu o změnách v terénu přímo od učitelů, kteří s metodikami pracují. Například jedna z respondentek uvedla, že se u nich poté, co začali pracovat s metodikou, začalo o emocích více hovořit: „Děti se učí pojmenovávat své emoce a zjišťují, že není za co se stydět. Vše se dá vysvětlit, více si povídáme o emocích. Děti jsou pak otevřenější, dokážou říct i věci, které pro ně byly problém.“

Další poukazovala na změnu v kolektivu: „Za mě ten Dobrý začátek školku stmelil a sjednotil. Máme metodiku a víme, že všichni chceme takto pracovat.“

Další učitelé z mateřských škol uvedli, že se jim už díky prací s metodikou Dobrý začátek podařilo dosáhnout posunu také v:

Další fokusní skupiny s učiteli proběhnou po skončení fáze ověřování metodik, která poběží do června 2023. Na nich by již všichni zapojení pedagogové měli mít bohaté zkušenosti s implementací dané metodiky, s reakcemi žáků, kolegů a také rodičů, a bude tedy možné z hlediska evaluace zmapovat jejich posun. Stejně tak až ve druhé polovině roku 2023 bude možné vyhodnotit změny v kvantitativní evaluaci a vyčíslit efekt intervence. Určitě budeme rádi tyto výstupy sdílet.

Hmatatelné přínosy má však evaluace už nyní. Přinesla učitelům i rodičům zpětnou vazbu k tomu, jak si děti v socio-emočních a měkkých dovednostech vedou, a motivovala je k jejich dalšímu rozvoji.