19 lipca 2017 roku do Zintegrowanego Systemu Kwalifikacji została włączona pierwsza kwalifikacja rynkowa „Montowanie stolarki budowlanej”. Instytucją mającą uprawnienia do jej certyfikowania (IC) została Fundacja VCC z Lublina, natomiast funkcję podmiotu zewnętrznego zapewnienia jakości (PZZJ) dla tej kwalifikacji minister właściwy powierzył Łukasiewicz – Instytutowi Technologii Eksploatacji w Radomiu (Ł-ITeE).
Instytut jest członkiem Sieci Badawczej Łukasiewicz, trzeciej pod względem wielkości sieci badawczej w Europie, zrzeszającej 28 instytutów badawczych zlokalizowanych w 12 miastach Polski, zatrudniających łącznie ponad 8 tys. pracowników. Pierwsza walidacja, w wyniku której nadano kwalifikację „Montowanie stolarki budowlanej”, została przeprowadzona 29 czerwca 2018 roku. Od tego czasu Fundacja VCC wydała ponad 450 certyfikatów potwierdzających jej nadanie (dane na koniec 2021 roku). W ZSK, w tym samym okresie, więcej certyfikatów wydano jedynie dla kwalifikacji „Programowanie i obsługiwanie procesu druku 3D”.
Obszary ewaluacji zewnętrznej
Funkcjonowanie kwalifikacji w ZSK przez ponad trzy lata oraz duża liczba wydanych certyfikatów umożliwiły Ł-ITeE, jako podmiotowi zewnętrznego zapewnienia jakości, analizę prowadzonych przez IC walidacji i certyfikowania kwalifikacji rynkowej „Montowanie stolarki budowlanej”. Rozpoczęto od zdefiniowania pięciu obszarów działalności instytucji certyfikującej, które następnie poddano ewaluacji. Należały do nich:
- Walidacja – zweryfikowano, czy postępowanie walidacyjne jest zgodne z założeniami ZSK w aspektach trafności, rzetelności i adekwatności. Pozwoliło to na zweryfikowanie m.in.: czy wszystkie efekty uczenia się określone dla danej kwalifikacji są weryfikowane, czy walidacja prowadzona jest w taki sposób, aby niezależnie od tego, kto ją prowadzi i kto jest kandydatem, zapewniona była porównywalność jej wyników, czy walidacja jest dostosowana do indywidualnych potrzeb jej uczestników.
- Kadra instytucji certyfikującej – skoncentrowano się głównie na sprawdzeniu, czy asesorzy i inne osoby odpowiedzialne za zorganizowanie i przebieg walidacji mają odpowiednie kompetencje oraz w jaki sposób IC zapewnia ich rozwój.
- Obsługa kandydatów – w szczególności przeanalizowano procedury i działania związane z zapewnieniem kandydatom pełnej informacji o walidacji oraz przekazywaniem uczestnikom walidacji informacji o uzyskanych wynikach.
- Certyfikowanie – sprawdzono procedury związane z zarządzaniem bazą certyfikatów, wdrożone mechanizmy potwierdzające ich autentyczność oraz rozwiązania zapewniające, że certyfikat otrzymuje osoba, która potwierdziła uzyskanie wszystkich efektów uczenia się.
- Wewnętrzny system zapewniania jakości i jego doskonalenie – przeanalizowano realizację procedur związanych z ewaluacją wewnętrzną oraz doskonaleniem walidacji i certyfikowania kwalifikacji rynkowej.
Metody i techniki badawcze
Podczas prowadzanej ewaluacji poszczególnych obszarów działalności IC zastosowano metodę sondażu diagnostycznego, a w jej ramach techniki badawcze:
- analizę dokumentacji dotyczącej walidacji i certyfikowania kwalifikacji rynkowej „Montowanie stolarki budowlanej”, rekrutacji asesorów, a także funkcjonowania w IC wewnętrznego systemu zapewnienia jakości (m.in. procedury i instrukcje postępowania, certyfikaty potwierdzające wdrożenie systemu w określonym zakresie, formularze);
- analizę bazy pytań testu teoretycznego oraz treści zadań praktycznych;
- obserwację sposobu przeprowadzania walidacji w wybranych, różnych terminach i miejscach;
- wywiady indywidualne z przedstawicielami instytucji certyfikującej odpowiedzialnymi za realizację zadań związanych z jej organizacją i certyfikowaniem kwalifikacji rynkowych oraz z osobą przystępującą do walidacji;
- swobodny wywiad grupowy z przedstawicielami kadry zarządzającej IC.
Największe zainteresowanie badawcze przejawiał obszar związany z trafnością, rzetelnością i adekwatnością walidacji, a najbardziej wartościowym źródłem informacji okazały się wywiady grupowe przeprowadzone z kierownictwem IC. W ich trakcie PZZJ uzyskał komplet oczekiwanych informacji i danych. Znaczącą rolę w pozyskiwaniu informacji o sposobie przeprowadzania walidacji odegrała również obserwacja, która pozwoliła ustalić, czy IC spełnia wybrane wymagania dotyczące weryfikacji osiągnięć kandydata i podmiotów przeprowadzających walidację, jakie określono w Obwieszczeniu Ministra Infrastruktury i Budownictwa z dnia 7 lipca 2017 r. w sprawie włączenia kwalifikacji rynkowej „Montowanie stolarki budowlanej” do ZSK.
Ważną cechą zastosowanych technik badawczych była ich komplementarność – wzajemne uzupełnianie się różnych źródeł informacji i danych o poszczególnych obszarach funkcjonowania instytucji certyfikującej. Ponadto wykorzystanie różnych technik badawczych w odniesieniu do jednego obszaru pozwalało na weryfikowanie pozyskiwanych informacji. Obecnie PZZJ podczas prowadzenia ewaluacji zewnętrznej walidacji i certyfikowania innych kwalifikacji rynkowych stosuje przedstawione metody i techniki badawcze.
Rekomendacje
Wyniki przeprowadzonych badań ewaluacyjnych, wnioski oraz zalecenia sformułowane dla instytucji certyfikującej oraz podmiotu prowadzącego Zintegrowany Rejestr Kwalifikacji przedstawiono w „Raporcie z zewnętrznego zapewnienia jakości wobec instytucji certyfikującej kwalifikację rynkową Montowanie stolarki budowlanej”. Zgodnie z wymaganiami ustawy o ZSK w październiku 2020 r. raport przekazano IBE, jako instytucji prowadzącej Zintegrowany Rejestr Kwalifikacji, IC oraz ministrowi właściwemu dla kwalifikacji „Montowanie stolarki budowlanej”.
Rekomendacje adresowane do instytucji certyfikującej służyły jedynie udoskonaleniu wybranych obszarów jej działalności. Prowadzone działania w stosunku do instytucji certyfikującej wykazały, że Fundacja VCC wdrożyła rozwiązania, zapewniające każdemu uczestnikowi takie same warunki walidacji, i spełniła wszystkie wymagania ustalone dla danej kwalifikacji. Certyfikaty potwierdzające nadanie kwalifikacji „MSB” spełniają wymagania ZSK, ponadto przyjęte w zakresie certyfikowania rozwiązania chronią je przed fałszowaniem, pozwalają na weryfikację ich autentyczności, a w przypadku utraty oryginału umożliwiają wydanie posiadaczowi certyfikatu duplikatu.
Zalecenia sformułowane z myślą o podmiocie prowadzącym Zintegrowany Rejestr Kwalifikacji sprowadzają się do propozycji aktualizacji w niektórych punktach obwieszczenia włączającego kwalifikacje do ZSK. Jedna z nich zwraca uwagę na terminologię, jaką posługuje się ZSK, która nie dla wszystkich uczestników walidacji jest zrozumiała. Ponadto wiedza na temat ZSK i kwalifikacji rynkowych w społeczeństwie polskim nie jest zbyt wysoka. W związku z tym zaproponowano, aby instytucje odpowiadające za funkcjonowanie ZSK w Polsce rozważyły przeprowadzenie szerokiej kampanii informacyjnej na temat samego ZSK, kwalifikacji rynkowych oraz możliwości, jakie z nimi są związane.
Warto podkreślić, że w definiowaniu obszarów ewaluacji i kryteriów ich weryfikacji, a także w opracowaniu wykorzystanych w badaniu ewaluacyjnym narzędzi dużą rolę odegrał Instytut Badań Edukacyjnych w Warszawie jako instytucja m.in. wspierająca działania podmiotów zewnętrznego zapewnienia jakości.
Autor: Tomasz Sułkowski
Specjalista w Łukasiewicz – Instytucie Technologii Eksploatacji (Ł-ITeE), kieruje Zespołem ds. Zewnętrznego Zapewnienia Jakości Kwalifikacji Rynkowych, który realizuje zadania Ł-ITeE wynikające z pełnienia funkcji PZZJ. Ekspert krajowych i międzynarodowych projektów badawczych z obszaru ustawicznej edukacji zawodowej.
Komentarz IBE
Tomasz Sułkowski przedstawił w syntetyczny sposób przebieg oraz wnioski wynikające z przeprowadzenia pierwszej w historii Zintegrowanego Systemu Kwalifikacji ewaluacji kwalifikacji rynkowej „Montowanie stolarki budowlanej” (kwalifikacja ta też jako pierwsza została włączona do ZSK). Autor, reprezentujący Łukasiewicz – Instytut Technologii Eksploatacji w Radomiu (Ł-ITeE), czyli podmiot zewnętrznego zapewnienia jakości (PZZJ) dla tej kwalifikacji, jest jednocześnie współautorem koncepcji tej ewaluacji, jej realizatorem oraz współtwórcą raportu. Z perspektywy czasu, w kontekście prorozwojowym, szczególnie cenne wydają się rekomendacje służące doskonaleniu wybranych obszarów działalności instytucji certyfikującej. Natomiast z punktu widzenia Instytutu Badań Edukacyjnych, podmiotu wspierającego wszystkich interesariuszy ZSK, ważny jest wniosek dotyczący terminologii, jaką posługuje się ZSK – ewaluacja pokazała, że nie dla wszystkich uczestników walidacji jest ona zrozumiała. To wskazuje kierunek, jakim jest ciągłe dostosowywanie języka systemu kwalifikacji do specyfiki odbiorców.
Tomasz Kasprzak − ekspert ds. podmiotów zewnętrznego zapewniania jakości
