Wywiad z prof. Henrykiem Mizerkiem na temat wpływu autoewaluacji dyrektora na ewaluację zewnętrzną, narzędziach wykorzystywanych w procesie analizy oraz przygotowaniach do obowiązkowych ewaluacji w roku 2010/2011.

Jesteśmy na półmetku pilotażowych programów ewaluacyjnych prowadzonych w szkołach. Czy możemy już mówić o wstępnych wnioskach?

Myślę, że jest jeszcze na to zbyt wcześnie. Jak dotąd mamy dopiero pierwsze raporty i trudno cokolwiek przesądzać na takiej podstawie. Dlatego byłbym  powściągliwy w tej kwestii.

Kiedy możemy spodziewać się oceny nowego systemu nadzoru?

Dopiero gdy skończą się pilotaże będziemy mieli pogląd na temat wartości tego systemu. Będziemy mieli odpowiedź na pytanie, czy cały system przynosi takie skutki, jakie zakładano. To jest rzecz pierwsza. Po drugie, będzie można wnioskować o jakości funkcjonowania placówek  tworzących system edukacji. Na razie na takiej małej próbie jest to bardzo ryzykowne. Pierwsze wnioski będą dotyczyć tego, jaka jest wartość narzędzi, które są używane, a kolejne tego, co w tej chwili jest najistotniejsze, czyli w jaki sposób w szkołach wykorzystuje się informacje zamieszczone w raportach. To jest kluczowa kwestia.

Należy sprawdzić, czy i w jaki sposób informacje te zostaną wykorzystane przez organ prowadzący, rodziców, nauczycieli?

Dokładnie– przez samą szkołę. Rzecz w tym, żeby ta informacja była wykorzystana na poziomie szkoły, służyła myśleniu,  zbiorowej refleksji na temat co należy zrobić, żeby nasza praca miała sens i odpowiednią jakość. Aby szkole zapewnić  odpowiednie warunki rozwoju, to jest pierwsza kwestia. Druga, by samorządowcy też zostaliwłączeni do dyskusji na temat tego, co zrobić w konkretnym środowisku, aby szkole pomóc. Nie chodzi o to, żeby podejmować decyzje kadrowe czy inne, ale wspólnie zastanowić się, co zrobić, aby szkoła działała na rzecz dobra każdego pojedynczego dziecka oraz potrzeb środowiska, w którym pracuje.

Wyniki ewaluacji nie powinny służyć tworzeniu rankingów szkół.. Do tego celu wykorzystywane są  trudno powiedzieć na ile sensownie, inne instrumenty pomiaru wyników– chociażby system egzaminowania zewnętrznego. Nie chodzi o to, żeby je dublować, bo funkcje kontrolne czy„ocenne” są zdecydowanie mniej ważne niż myślenie o tym, co zrobić, żeby w konkretnej szkole działo się lepiej. Oczywiście to jest rzecz zupełnie nowa w naszym kraju i trudno jest przewidzieć wszelkie, możliwe reakcje na wyniki ewaluacji. Pytała mnie Pani o reakcje samorządów, władz oświatowych, opinii publicznej oraz jak to się będzie przekładać na konstruowanie polityki oświatowej. Mam nadzieję, że wnioski będą wyciągane. Intencją jest, aby wzbudzić debatę na temat jakości edukacji w Polsce, ale tak, jak to się dzieje w społeczeństwach demokratycznych, w których polityka kształtuje się w dialogu, w konwersacji, w dyskusji różnych podmiotów traktowanych równoprawnie.

Na stronie internetowej MEN poświęconej nadzorowi pedagogicznemu pojawiły się pierwsze raporty z ewaluacji zewnętrznej z wyszczególnionym poziomem wymagania, który szkoła uzyskała. Natomiast nie ma w raportach podanych rekomendacji do dalszych działań.

Rekomendacji nie ma i– mam nadzieję — nie będzie. Chociaż pewnie pojawiają się takie oczekiwania, wynikające z  tradycyjnego sposobu  myślenia o nadzorze. Wydaje nam się bowiem, że badanie ewaluacyjne musi być zakończone rekomendacjami, wnioskami, które miałyby podpowiedzieć, co dalej robić. Dlatego trzeba zmienić pewną tradycję istniejącą u podstaw całego systemu. Nie chodzi o to, żeby raport ewaluacyjny zastępował dyrektora w tym sensie, że ci, którzy go napiszą, wiedzą lepiej niż dyrektor, jakie podejmować decyzjie w konkretnej szkole. Zadanie ewaluacji  jest jedno: pokazać jaka, w świetle danych pochodzących z bardzo wielu źródeł, jawi się odpowiedź na pytanie– jak działa szkoła, jak funkcjonuje albo co robi, żeby spełnić wymagania państwa zapisane w rozporządzeniu. Zdaję sobie sprawę, że  może się pojawić  problem z umiejętnością odczytania istotnych treści raportu. Bo jak patrzymy na raport, to co widzimy?„Literki”. Tymczasem są one najmniej ważne, ponieważ jeśli konkretna szkoła dostanie na przykład A, to przecież to A dla tej szkoły znaczy co innego niż to samo A dla innej szkoły. Jest to nieporównywalne, tym bardziej, że każda szkoła funkcjonuje w innym środowisku. Byłoby nieuczciwe sądzić, że te„litery”  stanowią rodzaj obiektywnej miary lub kryterium opisu lub– co gorsze,-  oceny, pracy  szkoł, pomijając warunki w jakich funkcjonują. Byłoby to niesprawiedliwe i niemądre.

Wiem, że są tacy,  pragną rankingów, ale na podstawie  danych zawartych w raporcie z ewaluacji nie da się żadnego rankingu  sporządzić.

Ze strony dyrektorów i nauczycieli pojawiają się jednak wątpliwości dotyczące tego, jak założenia nowego nadzoru mają przełożyć się na ich codzienną pracę, m.in., że brakuje czasu na prowadzenie ewaluacji, że w czasie szkoleń pojawia się dużo nowych pojęć, chociażby takich jak triangulacja, ewaluacja formatywna, konstruktywna, które pociągają za sobą pewne zadania. Nowych obowiązków raczej przybyło niż ubyło.

To jest kwestia nastawienia. Wszystko co nowe, budzi opór. Nikt nie może dać gwarancji, że po wprowadzeniu tego nowego systemu będziemy mieli w Polsce raj edukacyjny. Ale nie o to Pani pytała. Dla mnie kwestie zawarte w intencji pytania są niezmiernie istotne. Po pierwsze, ewaluacja jest zupełnie nową u nas praktyką, w tym sensie, że gdyby chcieć się dowiedzieć na podstawie definicji, która została zawarta w rozporządzeniu, co to takiego jest ewaluacja, no to czeka nas rozczarowanie.  Niestety nie możemy zrezygnować z ustalenia, co na temat istoty i zastosowań ewaluacji  wynika z bardzo bogatych doświadczeń opisanych w literaturze światowej.. Nie ma sensu wymyślać w Polsce ewaluacji na nowo. Uprawiać ją jako rodzaj praktyki poza teorią.  Wierzyć że ewaluacja to nowa nazwa oceniania lub mierzenia jakości  Nie możma mówić ewaluacja, a myśleć ocenianie. To jest zupełnie inny, raczej nowy w naszym kraju instrument.

Jeśli mówimy o szkoleniach, szczególnie tych z autoewaluacji, to pamiętajmy o tym, że nie chodzi o to, żeby dołożyć sobie pracy i nowych obowiązków. Wiadomo, że prowadzenie ewaluacji nie jest ani łatwe ani proste. Jest ona przecież niczym innym, jak rodzajem stosowanych badań społecznych.  Jednak w przypadku autoewaluacji jej użyteczność nie tkwi w narzędziach czy procedurach, tylko w tym, aby ludzie uwierzyli, że są podmiotami procesów edukacyjnych dziejących się w szkole, że decydują o tym, jaka jest szkoła.  Potrzebne są rzetelne informacje, które pozwolą im upewnić się, jaką wartość ma to, co robią.– widziane z różnych perspektyw.

Chodzi o wzrost autonomii dyrektorów, leżący u podstaw nadzoru?

Jeśli mają wolność jako tak rozumianą autonomię, to z drugiej strony naturalne jest, że oczekuje się od nich odpowiedzialności informowania wielu zainteresowanych podmiotów, co robią, aby w szkole działo się lepiej. Taki jest tego mechanizm. Ja się upieram przy tym, żeby ewaluację traktować jako zbiorowy proces autorefleksji nad tym, jaka jest wartość tego, co się robi. Oczywiście te dwa elementy są niezwykle ważne, tzn. ewaluacja zewnętrzna i autoewaluacja, dlatego że ani o jednej ani o drugiej nie możemy powiedzieć, że są obiektywne w tym sensie, że dają pełny, wieloaspektowy obraz pracy konkretnej szkoły. Chodzi o to, by przyjąć podejście holistyczne, uwzględniać w ewaluacji informacje pochodzące z wielu źródeł. Jeśli dyrektorzy słyszą słowo triangulacja, to ono oznacza tylko tyle, żeby nie ufać jedynie danym ankietowym, żeby nie budować sądu o faktach na podstawie opinii, tylko mieć wielowymiarowy i wieloaspektowy obraz  szkolnej rzeczywistości .

Mówiliśmy o zespołowej autoewaluacji, w której uczestniczy i dyrektor, i nauczyciele. Dla dyrektorów przewidziano różnego rodzaju szkolenia, ale co z nauczycielami? Przecież to oni będą tworzyli zespół ds. ewaluacji.

Rzeczywiście, rola dyrektora jest taka, że ma być kimś, kto jest odpowiedzialny za to, żeby autoewaluacje w szkole się odbywały. W związku z tym, jego zadaniem jest przede wszystkim powołanie zespołu, uczestniczenie w procesie i przygotowanie planu ewaluacji, natomiast pozostałe rzeczy, takie jak: projektowanie, prowadzenie ewaluacji, zbieranie danych i prezentacja wyników należą do zespołu wyłonionego wśród nauczycieli. Dyrektor nie może wziąć na siebie odpowiedzialności za przeprowadzenie ewaluacji, bo naturalne byłoby jego zainteresowanie tym, aby trochę podrasować wyniki, aby widzieć to, co mu się podoba i niekoniecznie widzieć rzeczy, które gorzej wypadają. Ma też parę innych rzeczy na głowie oprócz ewaluacji. Pytała Pani co z nauczycielami? Z nimi faktycznie może być problem, bo można założyć, że rzeczywiście nie wszyscy posiadają  kompetencjie potrzebne badaczowi. A ewaluacja to przede wszystkim badanie. Pojawia się pytanie, jak się będą sprawdzać nauczyciele w roli nie tylko tych, którzy uczą, ale także tych, którzy przyglądają się swojej pracy, prowadzą rodzaj badania własnej praktyki, odwołując się do całego instrumentarium, które jest niezbędne w badaniach społecznych.

Czy sobie z tym poradzą?

To jest trudne pytanie. Myślę, że może powinni bardziej uwierzyć w to, że nie jest to takie trudne, wziąć pod uwagę fakt, że jeśli chodzi o techniczne umiejętności, to  uczyli się ich wcześniej przy badaniu jakości. Tak więc elementarne kompetencje pewnie zostały opanowane. Chodzi bardziej o zmianę mentalną, bo wreszcie mogą się oni poczuć– jak już wcześniej wspominałem– podmiotami w całej tej akcji i bez strachu mówić o tym, co się w ich szkole dzieje. Nauczyciel dostaje szansę by pozbyć się poczucia pracy w  osamotnieniu– w tym sensie, że jest zamknięty za drzwiami klasy i trochę z obawą przyjmuje to, że ktoś mógłby się jego pracy przyglądać lub co więcej opowiadać o tym, co się u niego w klasie dzieje. Większy problem widzę w nastawieniu mentalnym niż w braku umiejętności, bo tych umiejętności jest zapewnie więcej, niż się powszechnie sądzi. Pojawia się tylko pytanie, czy one mają szansę być wykorzystane, albo inaczej, czy do tej pory były wykorzystywane. Nauczyciel, który studiował pedagogikę, wie i potrafi znacznie więcej niż jest mu dane wykorzystywać w codziennej pracy.

Ale to była przede wszystkim wiedza teoretyczna.

Trzeba ją jednak odkurzyć. I przestać ją traktować z pogardą. Dlatego bardzo istotną kwestią jest zbudowanie takiego systemu, który wspierałby nauczycieli. Można to zrobić na przykład w ramach wspomagania. Poza tym w świecie powszechnie stosowana jest instytucja krytycznego przyjaciela, czyli kogoś, kto mógłby podpowiedzieć, jak się do pewnych rzeczy zabrać, jak zacząć, jak takie badanie autoewaluacyjne przeprowadzić.

Osoba z zewnątrz?

Tak. Takiego krytycznego przyjaciela poszukuje się na zewnątrz. To może być nauczyciel z innej szkoły, ktoś z ODN, z ośrodka akademickiego, o kim wiadomo, że nie ma władzy nad szkołą, ale ma na tyle wysokie kompetencje, że pozwolą mu pomóc w przeprowadzeniu takiego badania, popatrzeniu na wszystko chłodnym okiem. Nie jest to struktura formalna, tylko człowiek, którego się zaprasza po to, aby pomógł. Ale pomógł nie z pozycji wiedzącego lepiej, tylko takiego, który pomaga wówczas, kiedy się od niego konkretnej pomocy oczekuje. Można spróbować poprzez wspomaganie wymieniać się doświadczeniami.

Czy to jest możliwe w praktyce?

Musimy to sprawdzić, bo póki co, wszystko jest w stadium początkowym. Dyrektorzy  opracowali sobie na razie obowiązkowy dokument, jakim jest plan nadzoru, w którym trzeba uwzględnić ewaluację„wewnętrzną”. Ale to nie załatwia sprawy. Potrzebny jest jeszcze projekt, na podstawie którego przeprowadzi się w szkole efektywną autoewaluację. Namawiam dyrektorów do inicjowania zespołowego  myślenia potrzebami szkoły, a nie do myślenia ujawniającego  reakcje obronne.,  Z rozmowów z wieloma dyrektorami wynika taki oto przekaz: ”boję się, że będę miał zewnętrzną ewaluację — problemową lub całościową-  różnie może się zdarzyć i na wszelki wypadek przygotuję sobie jeden lub dwa raporty z autoewaluacji, bo w rozporządzeniu jest zapisane, że wyniki autoewaluacji będą wykorzystywane w trakcie ewaluacji zewnętrzej. Nikt nie wie w jaki sposób. Czy zatem nie potraktować autoewaluacji jako<<tarczy obronnej>> lub<<listka figowego>>”  Rozumiem  niepokój dyrektorów, ale jakoś nie chce mi się wierzyć, że mądry, myślący przede wszystkim kategoriami dobra i rozwoju kierowanej przez siebie szkoły dyrektor potraktuje autoewaluację jako proceder przypominający znany  obyczaj„malowania trawy na przyjazd generała”

Wyniki autoewaluacji prowadzonej przez dyrektora mogą nie zostać wykorzystane przy ewaluacji zewnętrznej. Może po tym pozostać pewien niesmak.   

Hipotetycznie taka sytuacja może się zdarzyć. Pojawia się więc kolejne pytanie, w jaki sposób wizytatorzy ds. ewaluacji będą wykorzystywali wyniki autoewaluacji. Strategiczne pytanie brzmi, jak oni potraktują wyniki autoewaluacji. Czy to ma być element raportu z ewaluacji zewnętrznej, czy to ma być tylko informacja, która pokazuje na przykład, jak się analizowało obszar, efekty czy procesy. Zespół wizytatorów ds. ewaluacji  ma za zadanie odpowiedzieć   na pytanie, w jaki sposób przeprowadzone w szkole autoewaluacje  wykorzystano we wspomaganiu procesów nauczania i wychowania   Zadaniem dyrektera jest  wykazanie, że były przeprowadzone  autoewaluacje i że wyciągnięto z nich określone wnioski i podjęto konkretne działania. To w raporcie można napisać. Natomiast nie można traktować wyników autoewaluacji jako rodzaju kontrargumentu, że nam wyszło tak, a wam tak. Bo powstaje zgrzyt, komu wierzyć.

Kolejny problem– na jakim etapie wykorzystać wnioski z ewaluacji wewnętrznej, na etapie planowania czy tworzenia raportów?

Dokładnie. Myślę jednak, że bardziej to drugie. Ale to wymaga jeszcze namysłu, bo akurat kwestia wzajemnych relacji jest tu kluczowa. Podejmuje Pani w swoich pytaniach te najbardziej kluczowe i gorące kwestie. Kwestia relacji między autoewaluacją a ewaluacją zewnętrzną nie jest rozstrzygnięta. Jest to tylko zapis w rozporządzeniu. Ale jak zagospodarować tę przestrzeń, tę relację, żeby działała na korzyść konkretnej placówki? Każdy dyrektor będzie myślał interesami swojej placówki, będzie starał się robić wszystko co możliwe, żeby przypodobać się wizytatorom, żeby planować tę autoewaluację pod wymogi ewaluacji zewnętrznej. I tak sobie myślę, że jest taka pokusa u bardzo wielu dyrektorów, żeby przede wszystkim wybierać maksymalnie dużo obszarów zapisanych w wymaganiach, czyli robić sobie w postaci autoewaluacji rodzaj alibi na wszelki wypadek.„Oni (wizytatorzy) stwierdzą, że jest tak, a ja im pokażę, że w moich badaniach wychodzi zupełnie inaczej.”

Można by tak myśleć, tylko wypada się zastanowić, czy to działa na korzyść szkoły. Czy nie lepiej byłoby uzgodnić kryteria, narzędzia, czyli wszystko to, co odnosi się do pytania, w jaki sposób polityka oświatowa państwa przekłada się w realizacji na działalność konkretnych szkół, żeby to myślenie w przypadku autoewaluacji przenieść na zupełnie inną płaszczyznę. W tym miejscu należy wspomnieć o jednej ważnej rzeczy. Ewaluacja zewnętrzna, czyli ta, którą przeprowadzają zewnętrzni wizytatorzy, służy czemuś, co określa się terminem nieprzetłumaczalnym na język polski accountatibility– z jednej strony odpowiedzialność, z drugiej rozliczalność, z trzeciej transparentność czy jawność. Ale to– z punktu widzenia potrzeb konkretnej  szkoły– nie jest aż takie istotne. Szkołom potrzeba jeszcze innej wiedzy, której może dostarczyć ewaluacja w perspektywie poznawczej czy rozwojowej, czyli takiej wiedzy, która nie jest do upublicznienia, nie jest do pokazania. To znaczy — jak sobie pomyśli mądry dyrektor - „ja muszę wiedzieć o tym, czego normalnie nie widać, czyli zajrzeć pod powierzchnię tej tkanki społecznej szkoły i zobaczyć, co tak naprawdę się dzieje w szkole, żeby jakieś decyzje w zespole podjąć. Ale nie muszę się tym chwalić”

Nie możemy wymagać od dyrektora, aby przypominał ekshibicjonistę, który wrzeszczy„popatrzcie, jak bardzo jestem nagi”. Na początku może zdarzyć się tak, że bezpieczniej będzie wybierać te wymagania, o których wiemy, że je realizujemy na możliwie wysokim poziomie Ale jeśli chcemy, żeby nasza szkoła się rozwijała, a nie„zwijała”, to musimy sięgnąć po możliwości inne niż tylko te, które daje ewaluacja zewnętrzna. Ale to wymaga dojrzałości. Nasi koledzy na świecie zrozumieli, że taka tradycyjna ewaluacja, która wydaje się normalna w nadzorze pedagogicznym, już nie wystarczy i dlatego trzeba sięgać po możliwości jakie tworzy ewaluacja w perspektywie poznawczej czy rozwojowej

Jak dokładnie wygląda kwestia upublicznienia narzędzi ewaluacyjnych. Czy dostęp do nich otrzymają tylko te placówki, które będą podlegać ewaluacji w danym roku?

Istnieje cały zestaw narzędzi. Ewaluacja zewnętrzna ma taki charakter, że bada obszar, który się określa jako efekty. Czyli bada sposób dochodzenia do określonych rezultatów. A z drugiej strony ma charakter ewaluacji formatywnej, która przygląda się procesom i temu wszystkiemu, co się w szkole dzieje, m.in. z zakresu zarządzania. W związku z tym trzeba było zastosować takie narzędzia, które by te wszystkie obszary pozwoliły zbadać. A jakie to narzędzia? Przede wszystkim te, które pozwalają zebrać dane jakościowe, czyli wywiady w klasycznej formie, wywiad indywidualny bezpośredni z dyrektorem, zogniskowany wywiad grupowy oraz cały zakres klasycznych narzędzi stosowanych w socjologii, czyli badania ankietowe, obserwacja czy analiza dokumentów. Wszystko jest udostępnione na platformie elektronicznej, czyli uczestniczący w tych badaniach nauczyciele oraz uczniowie wypełniają te narzędzia elektronicznie. Chodzi o to, aby ułatwić zliczanie wyników. A czemu one nie są upublicznione? Proszę pamiętać, że to jest dopiero pilotaż. Każde najbardziej genialne narzędzie trzeba przetestować, zobaczyć, jaka jest wartość zebranych informacji. Gdyby te narzędzia upublicznić, to pojawiłoby się ryzyko pokazywania czegoś, co jest jeszcze„nieubrane”, co jest tylko wersją roboczą.

Ale czy w roku szkolnym 2010/2011 te narzędzia będą już dostępne?

Niestety nie mogę udzielić wiarygodnej odpowiedzi, ponieważ nie mam takiej możliwości. Nie wiem, jakie będą decyzje. Byłbym jednak przeciwnikiem takich działań. Obawiam się sytuacji, że wszyscy nauczą się treści tych wszystkich pytań, które są zawarte w kwestionariuszach ankiet dla uczniów, rodziców, nauczycieli. Domyśla się Pani jak będzie efekt?

Prowadzenie działań pod te konkretne narzędzia.

Jeśli będzie to w klimacie nadzoru pedagogicznego, a nie klasycznego badania, to nauczymy się, że można traktować ewaluację tak jak„sztukę”  uczenia dzieci rozwiązywania testów egaminacyjnych. Wyobraża sobie Pani upublicznienie testów egzaminacyjnych na rok czy dwa przed maturą? Jaki byłby efekt? Nie dajmy się więc zwariować.  Wydaje mi się, że rozumiem autentyczne potrzeby praktyków. Trzeba pomóc dyrektorom, nauczycielom czy ogólnie szkołom w konstrukcji narzędzi, udostępnić im narzędzia autoewaluacji.  

 A jak w to wszystko wpisuje się opracowanie projektu ewaluacyjnego? Nie jest to łatwe zadanie. Możemy to wspólnie prześledzić na przykładzie wymagania 1.2?

Mówi Pani o autoewaluacji? Sprawa jest trochę bardziej skomplikowana niż nam się wydaje. To bardzo dobre pytanie, bo pokazuje od kuchni, jak się do tego zabrać. Musimy myśleć kategoriami potrzeb konkretnej szkoły, najlepiej jest zacząć od określenia przedmiotu i celów ewaluacji. Musimy się zastanowić, co uczynić w tym określonym obszarze przedmiotem naszych zainteresowań. Jeśli w wymaganiu określone jest, że uczniowie nabywają wiadomości i umiejętności zgodnie z nową podstawą programową, to przedmiotem ewaluacji czy autoewaluacji mogą być te konkretne działania, dzięki którym uczniowie takie umiejętności nabędą. Ale trzeba je konkretne nazwać i wybrać, bo przecież nie da się uwzględnić wszystkich 

Byłoby to fizycznie niemożliwe.

Trudno wyobrazić sobie taką sytuację. Nauczyciele nie mogliby przecież nic innego robić, jak tylko przyglądać się prowadzonym działaniom. A do tego trzeba by było zatrudnić całą armię fachowców. Dlatego należy wybrać te działania, co do których wiemy, że jeszcze jest szansa, żeby je poprawić. Czyli nie wybieramy tego, co jest doskonałe, ani tego, co z góry wiadomo, że nie da się zrobić. Mam oczywiście nadzieję, że takich nie ma. Próbujemy odpowiedzieć sobie na pytanie, co nas interesuje, w jaki sposób można tę wiedzę wykorzystać? To jest absolutny punkt wyjścia w konceptualizacji. W kolejnym kroku dobieramy pytania kluczowe, czyli te pytania, na które odpowiemy po przeprowadzeniu wewnętrznej ewaluacji. W ramach tych obszarów należałoby zapytać o konkretne działania, które nas interesują, na przykład zapytać, za pomocą jakich metod osiąga się dany wynik w obrębie matematyki. Trzeba pytać na poziomie konkretów. Jakie działania są podejmowane, aby osiągnąć konkretny efekt z zakresu tych treści, które podstawa sugeruje, bo przecież nie określa. Podstawa programowa określa konkretne umiejętności, które trzeba osiągnąć.

Czyli tak naprawdę w ewaluacji pytamy o konkretne sposoby osiągania celów w podstawie programowej określonej szkoły.

Pytamy o sens, wartość, znaczenie wybranych przez nas sposobów osiągania celów, w tym także tych opisanych w podstawie programowej.

W trzecim etapie projektowania ewaluacji przychodzi czas na określenie jej kryteriów. Nie są są one w najmniejszym stopniu kryteriami oceny. Służa czemuś znacznie ważniejszemu — odsiewaniu tego, co nas interesuje, od tego, co zupełnie nie da się wykorzystać w trakcie podejmowania decyzji., Kryterium ewaluacji może być na przykład adekwatność treści do celów. dostosowanie do możliwości uczniów, efektywność stosowanych metod i form kształcenia etc. To przecież elementarz każdego nauczyciela. Pamiętajmy, że kryteria ewaluacji określamy zawsze jak garnitur na miarę– na potrzebę konkretnego projektu. Dopiero wtedy gdy mamy pytania kluczowe i kryteria, możemy się zastanawiać, w jaki sposób uzyskać trafne i rzetelne odpowiedzi na te pytania, tzn. gdzie szukać informacji i za pomocą jakich technik. Nie należy ufać wypowiedziom, trzeba się przyjrzeć twardym danym. Tak ,żeby mieć spokojne sumienie, że nie uwierzyliśmy jednej genialnej wypowiedzi. Projekt ewaluacji to nic innego jak takie bardzo uporządkowane precyzyjne myślenie, jakie ma każdy badacz, który szuka wiedzy dla celów praktycznych. To nic trudnego. Po prostu trzeba usiąść i to wszystko sobie w zespole przemyśleć.

Kto powinien  wejść w skład szkolnego zespołu ds. ewaluacji?

To w różnych szkołach wygląda inaczej. Proponowałbym, aby był to zespół osób, które mają zróżnicowane umiejętności i doświadczenia. Dobrze, aby w takim zespole znalazł się ktoś, kto ma doświadczenie badawcze; może być to pedagog, bo skoro skończył pedagogikę, to na pewno miał tam mnóstwo metodologii i zdobył praktyczne doświadczenia badawcze czy diagnostyczne. Ale to zdecydowanie nie wystarczy. Dobrze gdyby w zespole był informatyk, który pomoże te dane obrobić. Żeby był ktoś, kto ma doświadczenie w komunikowaniu wyników na piśmie i w mowie, czyli ktoś taki, kto potrafi te informacje przekazać innym. Bo w ewaluacji jednak najważniejsza jest komunikacja, umiejętność przekazania informacji w taki sposób, aby ten kto ją przekazuje, nie został potraktowany jako posłaniec złej nowiny. Pamiętajmy, że zadaniem ewaluacji jest animowanie refleksji nad sensem, wartością i znaczeniem podejmowanych w szkole działań oraz dyskusji nad tym, co można zmienić na lepsze.

A czy możemy wskazać osoby, które nie powinny znaleźć się w tym zespole? 

Zdecydowanie nauczyciele, którzy zaczynają pracę, ponieważ ewaluacja jest pracą dla sapera. Co by nie mówić, na ludzi, którzy tworzą zespół ewaluacyjny, będzie się patrzeć z dystansem albo podejrzliwie. Niektórzy otrzymają łatkę donosicieli, jeśli nie spełnią pewnych kryteriów etycznych. Inni natomiast będą postrzegani jako przedłużenie ramienia dyrektora. To jest chodzenie po cienkim lodzie. Tak więc decyzja, którą podejmie dyrektor, konstruując skład zespołu, jest niezwykle ważna ale i szalenie trudna. Dobrze by było nadać odpowiedni status tym ludziom, powołując ich na mocy pisemnej decyzji dyrektora, aby było wiadomo, że są oni w tym zespole… To jest kluczowa kwestia. Z ewaluacją u nas w Polsce jest tak, że trzeba wmontować tego typu działania w rytm codzienności szkoły w jej kulturę, aby nikt się nie dziwił, że jest ona w placówce prowadzona. Tak jak dzisiaj nikt się nie dziwi, że w szkole się uczy. Dopóki nie będzie ona traktowana jako  składnik szkolnej codzienności, to trzeba na nią„chuchać”, chronić ją i także chronić tych, którzy ją prowadzą. Bo niestety aura, która wokół tych osób się wytworzy, na początku rzadko będzie sprzyjająca. Kto teraz lubi ewaluację? W jaki sposób traktuję się ewaluatora?

Ewaluację często utożsamianą z oceną...

Dokładnie tak. Eksponuje się jej funkcje oceniające. Rzeczywiście, ewaluacji nie można oddzielić od oceniania i wartościowania, ale nie w tym sensie, że ten kto prowadzi ewaluację, formułuje ocenę. Jeśliby to zrobił, to przekroczyłby wszelkie kanony przyzwoitości. On te oceny, opinie zbiera i przekazuje innym. W konsekwencji– ewaluacja,  na podstawie faktów, opini i ocen zebranych od bardzo wielu aktorów szkolnej sceny, pozwala odpowiedzieć na pytanie znacznie ważniejsze.  Jest to pytanie o  intersubiektywną wartość tego, co się w szkole dzieje. To jest niestety dość skomplikowana kwestia i trudno jest w pierwszej chwili zrozumieć  różnicę między ewaluacją a ocenianiem. Bo ta różnica nie tkwi wcale  w języku, ale w praktyce.

Mówił Pan, że do zespołu ewaluacji nie powinni wchodzić młodzi nauczyciele. Czy ktoś jeszcze?

Sadzę, że również tacy nauczyciele, którzy nie cieszą się szacunkiem ze strony innych nauczycieli. Tacy ludzie, którym poprzez fakt umieszczenia w tym zespole moglibyśmy wyrządzić krzywdę. To są m.in. osoby mało odporne na wszelkie pokusy, które na przykład ujawnią zebrane informacje jeszcze  przed raportem, upowszechnią dane surowe, komentują je publicznie… Tu trzeba mieć naprawdę bardzo silny charakter. W zespole nie powinny być osoby, które swoją potrzebę uznania zaspokajają poprzez gadulstwo czy gadatliwość, mówiące„popatrzcie, ja coś mogę, ja coś na was mam”.

W jaki sposób będzie się sprawdzać, czy szkoła, która uzyskała poziom E w danym wymaganiu z obszaru innego niż efekty, rzeczywiście opracowała i wdrożyła plan działań zmierzający do poprawy? I czy to oznacza, że w następnym roku znowu czeka ją kontrola?

To nie jest pytanie do mnie. Nie potrafię na nie uczciwie odpowiedzieć. Ta decyzja należy do kuratorium. Moglibyśmy się w tej chwili zastanawiać nad tym, jak byłoby lepiej. Wykorzystywanie ewaluacji w celach restrykcyjnych jest ze szkodą dla ewaluacji i dla jej efektów. Ja nie byłbym tak restrykcyjny, żeby wysyłać kolejną kontrolę. Pamiętajmy też, że musimy działać w granicach prawa. Jeśli rozporządzenie określa taką procedurę, taki cel działania, to nie mamy wyjścia. Natomiast nie wiem, jak się to przełoży na konkretne procedury. Wolałbym, żeby ewaluacja nie występowała w aurze władzy, bo wie Pani czym to grozi? Zwyczajną jej demoralizacją, to znaczy– ewaluacja z normalnej procedury przekształci się w bardzo wątpliwy moralnie  proceder.  Jakoś może dziwnie wierzę, że jesteśmy w stanie wyciągać wnioski z błedów popełnianych w przeszłości.

Wielkimi krokami zbliża się koniec roku szkolnego. Proszę powiedzieć, jakie informacje w zakresie ewaluacji wewnętrznej powinny zostać omówione na końcowych radach pedagogicznych?

Nie wiem, czy jest tu jakaś reguła. Rozumiem, że w tym roku szkolnym większość autoewaluacji, jeśli były czy są prowadzone, skupia się na obszarze„efekty”. Jest to chyba najbardziej newralgiczny obszar. Można przyjrzeć się efektom pracy szkoły na podstawie wielu danych pochodzących z różnych źródeł .Będziemy mieć jakiś ogląd tego, jak na przykład poszły nam wyniki egzaminów i możemy to zderzyć z tym wszystkim co wiemy na temat działań, które się podejmuje, aby podstawę programową możliwie sensownie realizować. Tutaj otwiera się przestrzeń dla prowadzenia autoewaluacji. Jej przedmiotem stanie się wartość działań nauczycieli, które wyjaśniają osiągane przez uczniów wyniki.  Wszystkich teraz tak bardzo interesuje i ciekawi obszar efektów, więc może warto by było te tematy podejmować. Ale każde szkoła ma swoje problemy i nimi powinna się  zająć.

Jak należy prowadzić ewaluację, aby jej wyniki nie stanowiły jedynie sztuki dla sztuki, ale były rozsądnie wykorzystywane?

Upowszechniając dobre praktyki innych. Jeśli ludzie zobaczą, że inni, prowadząc ewaluację, osiągnęli to, co zamierzali, to być może odważą się również ci, co nie wierzą. Na pewno nie należy tego robić przez perswazję, ale właśnie przez upowszechnianie dobrych zwyczajów w tym zakresie. Wydaje mi się, że nic tak nie przekonuje ludzi jak własne czy cudze konkretne doświadczenia. Jeśli by mnie Pani poprosiła, abym wystąpił przed dyrektorami i powiedział im, że jeśli zrobicie tak i tak, to będzie super– to nie sądzę, żebym ich przekonał. Oni muszą na sobie spróbować i zobaczyć, że się udało. Ludzie powinni się przekonać, że warto myśleć w kategoriach dobra swojej szkoły na dwóch poziomach: dobra dziecka i wyzwań, jakie przed nami stają oraz zastanawiać się, co zrobić, żebyśmy się rozwijali. Ja ciągle wierzę, że nauczycielom zależy by inny zobaczyli,  że oni nie są wcale tacy, jaką się im nieraz„gębę” przyprawia. Bo wielu z nich ma głęboko w sercu dobro własnej szkoły i dzieci, dla których pracują..

Ewaluacja może być właśnie takim narzędziem, które służy podejmowaniu działań na rzecz dobra konkretnej szkoły, Potrzebna jest jednak odrobina dobrej woli bardzo wielu podmiotów zainteresowanych jakością jej funkcjonowania.

 Dziękuję za rozmowę.

Rozmawiała: Katarzyna Grunt
Wywiad ukazał się w kwietniowym numerze miesięcznika„Doradca Dyrektora Szkoły”.

Notka biograficzna

dr hab. Henryk Mizerek– prof. Uniwersytetu Warmińsko-Mazurskiego, Kierownik Katedry Pedagogiki Ogólnej UWM, ekspert Programu Wzmocnienia Efektywności Systemu Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły, członek międzynarodowego zespołu kierowanego przez prof. Helen Simons z Uniwersytetu w Southampton w Wielkiej Brytanii, który podjął się pionierskiego, w warunkach polskich, zadania ewaluacji programów wspierających reformę systemu edukacji, Członek-założyciel Polskiego Towarzystwa Ewaluacyjnego. Autor monografii Dyskursy współczesnej edukacji nauczycielskiej. Między tradycjonalizmem a ponowoczesnością. Autor i współautor wielu artykułów i opracowań.