Jakość nauczania na WPiA

Szanowi Państwo, publikujemy "Sprawozdanie z oceny zajęć dydaktycznych i jakości kształcenia za rok akademicki 2009/2010" sporządzone przez  Wydziałowy Zespół ds. Jakości Kształcenia.

"Sprawozdanie z oceny zajęć dydaktycznych i jakości kształcenia za rok akademicki 2009/2010"

1. Wstęp

          Pierwsze badania opinii studentów przeprowadzono na WPiA w semestrze letnim 2005 roku. Kwestionariusz zawierał kilkanaście pytań na temat poszczególnych cech konkretnej osoby prowadzącej zajęcia, a w drugiej części - pytania dotyczące studiowania na naszym wydziale. Na prawie badania przeprowadzono metodą ankiety audytoryjnej na wykładach i ćwiczeniach z przedmiotów obowiązkowych (64 zajęcia, w tym 14 wykładów i 50 ćwiczeń). Badania prowadzili przeszkoleni wcześniej członkowie samorządu studenckiego, zebrano 2617 ankiet. Na wniosek samorządu studenckiego na administracji badania wg tego samego kwestionariusza prowadzono przy pomocy ankiety internetowej. Podobnie jak studenci prawa, studenci administracji oceniali przedmioty obowiązkowe kończące się egzaminem w sesji letniej. W obu przypadkach oceny konkretnych zajęć zostały udostępniane Dziekanowi, osobie prowadzącej dane zajęcia oraz kierownikowi katedry. Ogólne raporty (zawierające oceny poszczególnych przedmiotów, ale bez wyróżnienia osób prowadzących), zostały w wersji elektronicznej przedstawione studentom.

          Zimą 2005/2006 badania były przeprowadzane na studiach stacjonarnych i niestacjonarnych prawa (794 osoby) i administracji (869). Objęto nimi przedmioty obowiązkowe dla każdego kierunku, jak też wylosowane przez samorząd studencki w obecności dziekana wybrane przedmioty podstawowe. Jako technikę badawczą zastosowano na obu kierunkach kwestionariusz internetowy. Wykorzystano identyczne pytania jak w ankiecie z lata 2005 roku. W podobny sposób przeprowadzono badania na zakończenie semestru letniego roku akademickiego 2005/2006. Każdorazowo trzeba było rozwiązywać problem wyboru ocenianych przedmiotów, ponieważ możliwości techniczne wydziału uniemożliwiały wówczas badania wszystkich osób prowadzących zajęcia. Wybrano zatem przedmioty obowiązkowe kończące się w semestrze letnim. W badaniach uczestniczyło 508 respondentów z prawa oraz 660 – z kierunku administracja. W semestrze zimowym 2006/2007 w badaniach wzięło udział 1065 studentów prawa (14 przedmiotów) oraz 600 na administracji (13 na administracji + 5 na SUM).

          Równocześnie w tym roku akademickim wydział po raz pierwszy uczestniczył w centralnie koordynowanych badaniach przy pomocy USOS. Badania te dotyczyły wszystkich zajęć i wszystkich prowadzących. Badaniami objęci byli wszyscy studenci wydziału, a dotyczyły one wszystkich przedmiotów zarówno kończących się w I , jak i II semestrze, oraz przedmioty całoroczne. Studenci wypełnili 13 714 ankiet, umieścili również w 3373 ankietach dodatkowe, spontaniczne wypowiedzi na temat ocenianych pracowników. Na podstawie uzyskanych wyników możliwe było dokonywanie porównań pomiędzy wykładowcami. W odniesieniu do prowadzących ćwiczenia nie zawsze było to możliwe, ponieważ tylko niewielka ich część została poddana badaniu ze względu na panujący na wydziale w tym czasie system rejestrowania się studentów na ćwiczenia. Wszystkie uzyskane opinie bez jakichkolwiek ingerencji ze strony osób przygotowujących raport zostały udostępnione ocenianym pracownikom.

          Po raz pierwszy zastosowano narzędzie przygotowane dla całego uniwersytetu: pięć pytań z trzema możliwościami odpowiedzi (tak-nie-nie wiem). Było to narzędzie zbyt uproszczone do badania złożonych problemów, które w poprzednich wydziałowych badaniach diagnozowaliśmy przy użyciu kilkunastu pytań o pięciostopniowej skali. Dlatego proponowaliśmy potraktować je jako wstępny sondaż. Zwracaliśmy też uwagę na bogactwo (powtarzających się, a zatem nieprzypadkowych!) informacji, jakie można znaleźć w spontanicznych wypowiedziach studentów. W zamierzeniu informacja o ankietach miała dotrzeć do studentów poprzez informację na USOS, ulotki oraz plakaty. Całość wyników otrzymywał każdorazowo dziekan. Zgodnie z decyzją Rady Wydziału WPiA kierownicy katedr od tego czasu mieli otrzymali wyniki dotyczące każdego z pracowników oraz odpowiedzi na pytania otwarte dotyczące tylko pracowników niesamodzielnych. Taka reguła rozpowszechniania wyników badań obowiązuje do dziś.

          Także w kolejnych semestrach badania opinii studentów o pracownikach prowadzących zajęcia realizowane były przy pomocy (zmieniających się!) kwestionariuszy rozprowadzanych centralnie przez system USOS. Informacja o możliwości wypełniania ankiet docierała do studentów poprzez komunikaty w systemie USOS, e-mail, ulotki oraz plakaty. W promocji badań uczestniczyli studenci z samorządu studenckiego, narażając się przy tym czasami na niezadowolenie kolegów, jak w przypadku wysłania do wszystkich studentów wydziału listów na uczelniane adresy. W zeszłym cyklu dydaktycznym - 08/09 - wypełniono 15666 ankiet na 102451 możliwych do wypełnienia (czyli 15,3 %). Oceniono 382 pracowników, na 403 możliwych do ocenienia, oraz 542 zajęć na 647 możliwe.

2. Podstawowe frekwencje

Tabele. 1. Podstawowe frekwencje A.

Tabele. 2. Podstawowe frekwencje B.

3. Najlepsze 10 jednostek na Wydziale wg średniej z pytań 2-9 (bez uwzględnienia Zakładu Historii Administracji i Myśli Administracyjnej z powodu zbyt małej ilości ocen).

Tabela 3. Średnie jednosteknajwyżej ocenionych na wydziale uszeregowane malejąco wg średniej z pytań 2-9.

    Interpretacja wyników. Ze względu na pytanie o ogólne zadowolenie najwyżej ocenieni zostali pracownicy Katedry Teorii Prawa, Pracowni Komputerowej oraz Katedry Prawa Ustrojowego Porównawczego (nie licząc Zakładu Historii Administracji i Myśli Administracyjnej, który otrzymał 3 oceny).Uwagę zwracają także niższe od średnich oceny pracowników z poza-wydziału, którzy prowadzą zajęcia na WPiA (oprócz oceny przyjętych przez prowadzącego kryteriów zaliczenia przedmiotu). Podobnie jak w cyklu 08/09 najwyższe oceny prowadzący zajęcia na wydziale otrzymali za przestrzeganie przyjętych kryteriów zaliczenia, oraz stosunek do studentów. Tymczasem najniższe na wydziale są oceny dotyczące sposobu prowadzenia zajęć oraz umiejętności zainteresowania tematyką, czyli czynników związanych z metodyką pracy dydaktycznej. Pod względem sposobu prowadzenia zajęć przez pracowników i doktorantów najlepiej oceniono Katedrę Teorii Prawa (nie licząc Zakładu Historii Administracji i Myśli Administracyjnej, który otrzymał 3 oceny), natomiast odnośnie umiejętności zainteresowania tematyką pozytywnie na tle innych jednostek wyróżnia się Katedra Socjologii Prawa (nie licząc także Zakładu Historii Administracji i Myśli Administracyjnej). W związku ze słabymi ocenami za metodykę pracy dydaktycznej wydaje się, że warto byłoby upowszechnić na wydziale efektywne i zróżnicowane metody prowadzenia zajęć i sposoby zainteresowania studentów wykładanymi treściami. Warto zauważyć również, że - podobnie jak w cyklu 08/09 - katedry prowadzące zajęcia obowiązkowe i podstawowe dla studentów I roku studiów uzyskały większą ilość ocen (stosunek ankiet możliwych do wypełnia do ankiet wypełnionych). Wydaje się w związku z tym, że oceny studentów wyższych lat studiów są niedoreprezentowane.

4. Porównanie ocen według typów zajęć

Tabela 4. Średnie według typu zajęć

         
          Interpretacja wyników. Studenci wydziału najniżej ogólnie oceniają sposób prowadzenia wykładów i lektoratów. Najlepiej oceniane są zajęcia prowadzone w formie interaktywnej. Nie dziwią wysokie oceny seminariów (oprócz warsztatów ocenionych przez małą liczbę osób) – są to zajęcia wybierane przez studentów zgodnie z zainteresowaniami naukowymi oraz ze względy na osobę promotora, ponadto prowadzone są w nieczęsto stosowanej na wydziale formie bezpośrednich kontaktów studentów z samodzielnymi pracownikami. Podobnie jak w cyklu 08/09 ćwiczenia są nieco lepiej oceniane niż wykłady. Przede wszystkim, te różnice widać ze względu na oceny stosunku prowadzącego zajęcia do studentów oraz przyjętych kryteriów oceny, co nie powinno budzić szczególnego zdziwienia. Ze względu na niewielką liczbę oceniających nie należy przeceniać ocen dotyczących proseminariów i warsztatów.

5. Porównanie ocen osób prowadzących zajęcia wg stopni i tytułów naukowych.

Tabela 5. Średnieuszeregowane stopniami i tytułami naukowymi

          Interpretacja wyników. Oceny pracowników prowadzących zajęcia na WPiA są zbliżone do ocen poszczególnych typów zajęć w związku z tym, że każdy z nich w dużej mierze uwarunkowany jest stopniem naukowym prowadzącego. Podobnie jak w przypadku wcześniejszych ocen, również tutaj ocena ogólna jest bardziej łagodna niż oceny szczegółowe, w których przejawia się prawdopodobnie krytyczny stosunek studentów WPiA. Zauważalne są wyższe oceny przyznawane pracownikom naukowym z tytułami doktora i magistra. Jako przyczynę należy podać fakt, iż studenci poprzez ćwiczenia mają z nimi najbardziej bezpośredni kontakt. Dodatkowo prowadzący ćwiczenia (czyli magistrzy i większość doktorów) mogą zaoferować inne, bardzie zróżnicowane metody dydaktyczne niż te powszechnie przyjęte na wykładach. Należy też pamiętać, iż ostateczną ocenę w indeksie studenta wystawia najczęściej samodzielny pracownik naukowy. Najniżej wśród pracowników oceniania jest umiejętność przekazywania wiedzy co znajduje potwierdzenie również w Tabeli nr 3. Zauważalny jest podobny, wysoki poziom szeroko pojętej sprawiedliwości dotyczącej oceniania studentów, gdyż obserwujemy niewielkie różnice w odpowiedziach na pytanie o przestrzeganie przyjętych kryteriów zaliczenia przedmiotu.

6. Analiza jakościowa.

                        Najważniejsze wnioski wynikające z analizy komentarzy:

-znacząca większości komentarzy spontanicznych wyraża pozytywne zdanie o prowadzących, w związku z tym brak jest znaczących, konkretnych uwag krytycznych; z tego można wnioskować, że w większości przypadków decydują się na napisanie komentarza osoby, które pozytywnie oceniały zajęcia.

-w wypowiedziach studentów WPiA niejednokrotnie pojawia się zarzut niepraktyczności ćwiczeń z punktu widzenia egzaminu, a zarazem przy okazji oceny innych zajęć - częste podkreślanie, że jakieś ćwiczenia okazały się pomocne do zdania egzaminu; z tego można wyprowadzić studencki postulat dotyczący większego zsynchronizowania ćwiczeń i wykładów.

-krytycznie oceniono sposób organizacji egzaminów z większości przedmiotów obowiązkowych.

-w porównaniu z rokiem 2005, kiedy po raz pierwszy przeprowadzono badania, wyraźnie poprawiły się na wydziale warunki lokalowe odbywania zajęć, choć zdarzają się komentarze krytykujące zbyt duże grupy ćwiczeniowe (szczególnie na przedmiotach obowiązkowych).

          Inne wnioski związane z problemami w zakresie procesu dydaktycznego wskazane przez WRSS WPiA UJ:

-niespójne informacje (lub nawet ich brak) w zakresie wymagań egzaminacyjnych z poszczególnych przedmiotów; w szczególności nieaktualne informacje na stronach internetowych niektórych katedr lub sprzeczność między informacją na stronie katedry a informacją przekazywaną przez wykładowcę na zajęciach.

-różna jakość stron internetowych katedr i zakładów: niektóre cechuje bardzo wysoka jakość (np. Katedra Prawa Karnego), niektóre mają liczne wady (brakujące informacje o dyżurach pracowników, syllabusy, wymagania egzaminacyjne, inne informacje).

-podawanie literatury podstawowej oraz literatury uzupełniającej, której się nie wymaga od studentów albo jej ilość przekracza ich możliwości; powoduje to sytuację niepewności wśród studentów co do wymagań egzaminacyjnych.

-niektóre wykłady w znacznym stopniu odbiegają od programu przyjętego w syllabusie przedmiotu.

-nieadekwatne posługiwanie się narzędziami multimedialnymi; brak ich w przypadkach wykresów, diagramów, tabel, natomiast często używane są w przypadkach, gdy prostsze i czytelniejsze jest opisanie czegoś  przy pomocy słowa.

-w niektórych przypadkach nieuzasadnione wymagania stawiane przed studentami chcącymi zarejestrować się na przedmiot.

-utrudniony dostęp do USOSweb w trakcie rejestracji na zajęcia na początku semestru (szczególnie zimowego) wynikający z przeciążenia serwerów
 

7. Podsumowanie: wnioski, sugestie rekomendacje.

     Ankieta internetowa wiąże się z kilkoma istotnymi problemami metodologicznymi. Postulujemy, aby co kilka lat przeprowadzać badania metodą ankiety audytoryjnej, aby uzyskać rzetelny materiał porównawczy. Ponadto forma wyników, jakie otrzymujemy, uniemożliwia nam jakąkolwiek analizę czy pogłębione porównania przydatne dla wydziału, choćby porównanie opinii studentów z rożnych lat studiów czy rożnych kierunków. Na WPiA jest to szczególne istotne, ponieważ poza surowymi wynikami wysyłanymi dziekanowi, każdorazowo dostarczamy własny raport szczegółowy wg wzoru uzgodnionego z Dziekanem. Opracowujemy także swobodne wypowiedzi studentów. Wobec olbrzymiej ilości osób ocenianych i oceniających na WPiA, tylko taka forma prezentacji wyników pozwala na przeglądowe zapoznanie się z wynikami. Ponadto, co zaznaczono wcześniej, na tej podstawie przygotowujemy mini-raporty dla poszczególnych kierowników katedr i zakładów (decyzja Rady Wydziału).  Proponujemy również, aby mimo wyraźnego nacisku w uniwersytecie na prezentowanie rezultatów badań w formie ilościowej, rozważyć przyznanie właściwej rangi swobodnym wypowiedziom studentów. Jeżeli idzie o polepszenie jakości kształcenia, można rozważyć zorganizowanie spotkań z najlepszymi dydaktykami, po to aby upowszechniać dobre wzory. Godne rozważenie jest także przeprowadzenie na wydziale w oparciu o dotychczasowe wyniki, specjalnych badań przy użyciu ankiet audytoryjnych, aby poznać nastawienie studentów i ich postulaty. To pozwoliłoby na wyjście w przyszłości poza średnie arytmetyczne i ważone. Co więcej, studenci nieustannie zwracają uwagę na nie upowszechnianie informacji o wynikach badań ankietowych.