Od 2016 roku obserwuje się w Polsce wzrost zainteresowania walidacją efektów uczenia się: w Zintegrowanym Rejestrze Kwalifikacji (ZRK) jest coraz więcej opisanych i funkcjonujących kwalifikacji rynkowych, wzrasta liczba instytucji certyfikujących i certyfikatów nadawanych drogą walidacji. Instytucje certyfikujące mają teraz przed sobą kolejne ważne zadanie: muszą zadbać o odpowiednie przygotowanie asesorów, ich rola jest bowiem decydująca w nadawaniu kwalifikacji. To na podstawie ich decyzji potwierdzane jest osiągnięcie przez kandydatów wymaganych dla kwalifikacji kompetencji.

Każdy z nas zapewne albo sam doświadczył niesprawiedliwego oceniania w szkole, albo przynajmniej był świadkiem podobnej sytuacji: złego podliczenia punktów na teście, udzielenia komuś przez nauczyciela niesprawiedliwej uwagi. Oczywiście każdy problem jest do rozwiązania i nie chodzi tu o wskazanie błędów, które wszyscy popełniamy w pracy, tylko o uświadomienie, że końcowa ocena z testu/egzaminu zależy nie tylko od tego, w jaki sposób uczeń odpowiada, jak wygląda arkusz asesora, w jakich warunkach przeprowadzany był egzamin i czy zachowano procedury, ale też od samej osoby oceniającej – jej umiejętności, doświadczenia i zachowania podczas weryfikacji.

Wpływ osoby oceniającej na otrzymywane przez ucznia oceny jest dobrze udokumentowany i dogłębnie badany w edukacji. Na pierwszy rzut oka można by porównać działanie asesorów walidacyjnych do działań nauczyciela, który sprawdza test lub ocenia pracę ucznia. Właściwie można mówić o efekcie asesora, podobnie jak można mówić o efekcie egzaminatora.

Jednakże są pewne istotne różnice między pracą asesora a pracą nauczyciela, które wynikają ze specyficznych warunków podczas walidacji efektów uczenia się. 

Na czym asesorzy opierają ocenę kandydata (umiejętności, doświadczenie kandydata, jego stosunek do własnego doświadczenia, adekwatność doświadczenia kandydata do wymagań kwalifikacji, osobowość kandydata)? Czy dobrze opisany arkusz oceny wystarczy, by zapewnić obiektywność asesora? Jakie zjawiska mogą ograniczyć obiektywność asesorów? 

W Polsce jeszcze nie zbadano efektu asesora, dlatego warto zainspirować się wnioskami z doświadczeń innych krajów. W artykule zostaną omówione wnioski Sandrine Cortessis, szwajcarskiej badaczki, która zainteresowała się procesami podejmowania decyzji przez asesorów/ekspertów podczas walidacji. Oczywiście będzie tu mowa o doświadczeniach zagranicznych, ale wnioski z obserwacji mogą być przydatne także i dla instytucji certyfikujących działających w naszym kraju. 

Asesor interpretuje

Pierwszy wniosek Sandrine Cortessis odnosi się do arkuszy, na których pracują asesorzy. Zgodnie z teorią analizy pracy (wywodzącą się z francuskojęzycznego nurtu teoria opisana między innymi przez Yves’a Clot), istnieje różnica pomiędzy pracą, która została zlecona (przepis, polecenie, regulamin, procedura) a pracą wykonaną. Wynika to z tego, że nie da się opisać zadań, procedur, poleceń na tyle szczegółowo, aby uwzględnić wszystkie nieprzewidziane i prawdopodobne sytuacje dotyczące pracy do wykonania. A nawet gdyby się udało, opis byłby niewykonalny lub nieaktualny po upływie krótkiego czasu. 

Ta różnica jest właśnie przestrzenią dla interpretacji dokonywanej przez osobę oceniającą pracę.

Asesor widzi jednego kandydata, ale patrzy przez pryzmat kultury całej grupy zawodowej

Ocena osiągnięć kandydata jest formułowana nie tylko w relacji do jego indywidualnych osiągnięć, lecz także, w pewnej mierze, w relacji do kultury zawodu, panujących norm profesjonalnych, które są podzielane przez środowisko zawodowe w danej branży. 

W teorii kryteria weryfikacji powinny odnosić się do kultury zawodu – w rozumieniu zbioru praktyk i zachowań nie tylko wynikających z reguł spisanych takich jak ustawy, regulacje, zasady bezpieczeństwa, ale także z etosu, zwyczajów niespisanych, zasad przyzwoitości, współpracy itp. Jednak każdy asesor ma własną percepcję kultury organizacyjnej, etosu zawodu, w inny sposób pojmuje, czym jest dobrze wykonana praca/zadanie, a to z kolei wpływa na jego analizę osiągnięć kandydata.

O argumentacji

Nie wszyscy mają umiejętności argumentacyjne na tym samym poziomie, różnimy się między sobą zdobytym kapitałem kulturowym i lingwistycznym. 

Asesorzy, zwłaszcza oceniający umiejętności z zakresu zawodu, obserwują i słuchają kandydata, opierając się na swoim doświadczeniu w danym zawodzie. Inna praktyka, szczególnie innowacyjna, może jawić się czasem dla niektórych asesorów jako niezrozumiała czy nieprawidłowa, szczególnie, jeżeli kandydat nie potrafi uzasadnić jej zalet, wyjaśnić zasadności zastosowanych rozwiązań. Wówczas kandydat nie jest w stanie się obronić i udowodnić osiągnięcia wymaganych kompetencji. Sandrine Cortessis podaje przykład kandydatki ze szkoły o nietypowym podejściu pedagogicznym, która nie przekonała asesorów co do praktyk stosowanych w swojej szkole, ponieważ nie potrafiła wytłumaczyć założeń tych praktyk w zrozumiały i klarowny dla oceniających sposób.

Efekt asesora to akcje 

Z punktu widzenia kandydata asesorzy pozostają tymi, którzy prowadzą etap weryfikacji i to oni organizują przestrzeń do dyskusji, odpowiadają za warunki do komunikacji. Kluczowe w efekcie asesora jest więc to, w jakim stopniu asesorzy umożliwiają kandydatowi wykazać się swoimi umiejętnościami.

Otwarte polecenia typu „Opowiedz o tym, jak się czułaś/czułeś podczas prowadzonych zajęć/ wykonywanych zadań?” pozostawiają zbyt dużo swobody w udzielaniu odpowiedzi i takie pytanie może zostać odebrane jako pytanie retoryczne, co skutkuje tym, że odpowiedź może być mniej trafna i słabo uargumentowana. 

Odwrotnie dzieje się w przypadku zadawania kandydatom precyzyjnych pytań i poleceń – zachęcają one kandydatów do składania rozbudowanej argumentacji, która umożliwia lepsze zrozumienie działań kandydata przez asesorów.

Pod każdym względem mają przewagę ci kandydaci, którzy mogą przewidzieć, zrozumieć niedopowiedziane, niedoprecyzowane oczekiwania asesorów.

Efekt asesora to reakcje

Asesor reaguje na to, co robi kandydat. Kandydat za to odczytuje reakcje asesora: każde spojrzenie, komentarz, uzupełnienie polecenia, a nawet milczenie są odbierane przez kandydata jako znaki komunikacji. To, jak asesor reaguje na czynności kandydata, ma więc też wpływ na dalszy przebieg walidacji.

Badanie Sandrine Cortessis wykazało, że ci asesorzy, którzy na bieżąco regulowali przebieg dyskusji, pozwalali również kandydatowi uzupełnić swoją argumentację. I odwrotnie: kandydaci, do których asesorzy nie zwracali się podczas weryfikacji, czuli się zagubieni i bezradnie próbowali wyczytać z zachowania asesorów jakiekolwiek wskazówki, czy udzielane przez nich odpowiedzi są wystarczające, czy też powinni jeszcze kontynuować i rozwinąć dany wątek. Asesor, który wyraża niezrozumienie odpowiedzi kandydata, lub to, że się z nim nie zgadza, również wpływa na przebieg walidacji. 

Ocena poprzez kryteria a ocena globalna

Oprócz oceny według kryteriów pojawia się u asesorów subiektywnie skonstruowana ocena globalna kandydata. Te dwie oceny nie zawsze się ze sobą pokrywają (np. kandydat uzyska dużo punktów, ale ogólne wrażenie asesora jest złe, albo odwrotnie), a kiedy tak się dzieje, asesorzy próbują dopasować punktację do oceny globalnej. Przeważnie jest to działanie na korzyść kandydata i asesorzy próbują dopasować ogólne wrażenie do konkretnych kryteriów, aby uniknąć sytuacji, w której „dobry kandydat” zostanie źle oceniony.

W przypadku gdy ogólne wrażenie nie pokrywa się z oceną na podstawie odniesienia do kryteriów, asesorzy ufają ogólnemu wrażeniu i może dojść do dostosowania punktacji. W razie wątpliwości ma miejsce dyskusja, podczas której są już brane pod uwagę różne wymiary doświadczenia kandydata.

Efekt asesora, ale też efekt standardów!

Obserwacje Sandrine Cortessis dotyczące asesorów walidacyjnych są spójne z badaniami dotyczącymi nauczycieli: walidacja nie uchroni się przed efektem asesora. 

Asesorzy mają swoją indywidualną wrażliwość i swój światopogląd i tego nie da się wyeliminować podczas oceniania kandydata. Jednak subiektywność asesorów ograniczona jest uzasadnieniem oceny, która odnosi się do standardów i wymaganych kryteriów. W tym sensie kandydat jest nie tyle chroniony przed obiektywizacją oceny, ile przed nieuzasadnioną subiektywnością.

O autorze:

Michał Rostworowski – absolwent kierunku analizy systemów edukacyjnych na Uniwersytecie Genewskim w Szwajcarii. Realizuje projekty w Instytucie Badań Edukacyjnych w obszarze Zintegrowanego Systemu Kwalifikacji i walidacji efektów uczenia się. Wspiera uczelnie oraz instytuty badawcze we włączaniu kwalifikacji podyplomowych do ZSK. Były pracownik International Bureau of Education (IBE–UNESCO) oraz konsultant do spraw jakości szkoleń. Ma doświadczenie w badaniach jakościowych i ilościowych oraz ewaluacji programów szkoleniowych.