BlogAk senát
3.11.
2014

Co všechno se dá vyčíst ze STAGu?

Objektivita, srovnatelnost, férovost. Těchto slov bylo za poslední týdny až až. Chtěl jsem už nějak rozseknout status quo, a proto jsem si před pár týdny požádal o výpis všech dat z informačního systému o známkách udělených v akademickém roce 2013/2014 na Právnické fakultě Univerzity Palackého. A co mi z toho vyšlo?

Co všechno se dá vyčíst ze STAGu?
Zdroj: U-tad - Centro Universitario de Tecnología y Arte Digital

Všechno začalo už mou volební kampaní do Akademického senátu minulý rok. Jedním z bodů mého volebního programu. A byl to také bod nejkontroverznější. To ukazuje také statistika hlasování u tohoto bodu programu, stejně tak bouřlivá diskuze, která následně nastala.

Začátkem září jsem požádal o výpis všech dat z informačního systému, které se vztahují k výsledkům zkoušek na Právnické fakultě za rok 2013/2014. O mé žádosti se nakonec jednalo až na vedení Univerzity. Tímto děkuji za velmi vstřícný přístup, který se projevil v tom, že se mi v polovině října po několika konzultacích, která přesně data bych chtěl, objevil na e-mailu požadovaný soubor. Celý zbytek měsíce poté probíhal ve víru analýzy takto získaných dat. Ještě předtím, než všechna data zveřejním, dovolte mi, abych vám v krátkosti shrnul, jakým způsobem jsme k výsledkům došli a co vlastně vyjadřují.

Hlavním cílem mého snažení bylo, že jsem chtěl potvrdit nebo vyvrátit mýty, které se mezi studenty šíří o dění během zkoušení u některých ústních zkoušek. Ve všech případech se přitom jednalo o zkoušky souborné, za které (je alespoň mezi studenty) označovaných zkoušek pět: Trestní právo, Civilní právo procesní, Závazkové právo, Obchodní korporace a Správní právo. U všech těchto zkoušek jsem chtěl mít kompletní analýzu udělených známek navázanou na jednotlivé zkoušející.

Analýzou se nám podařily získat dvě sady dat:

  1. celková úspěšnost a ohodnocení u zkoušek - tj. víme, kolik celkově studentů předmět splnilo a jakou dostali známku
  2. úspěšnost a ohodnocení u jednotlivých učitelů - tj. víme, který učitel (resp. komise) u souborné zkoušky studenty „vyhazoval" a jak moc - a také jaké známky udělil

Jak jsme při analýze postupovali?

Analyzovat data z bodu 1 bylo bezproblémové (jednalo se pouze o sečtení hodnot a vykreslení grafů), zato bod 2 byl skutečný oříšek. Jak jste si určitě všimli a jak už jsem avizoval i na studentských facebookových skupinách, u termínů zkoušek u většiny předmětů bývá uveden garant předmětu, stejně tak u záznamu ze zkoušky je jako zkoušející uveden garant a ne ten, kdo skutečně zkoušel. Toto neplatí (a mají za to moji obrovskou pochvalu) u civilního procesu. Zde je, až na několik výjimek, uveden přímo ten, kdo studenty zkoušel.

Hodnocení jednotlivých zkoušejících u předmětu Civilní proces 3

Tento problém jsem se pokusil vyřešit tím, že jsem si požádal o známky z jednotlivých termínů zkoušek a pak požádal studenty, aby mi do tabulky napsali, jaký den zkoušek je zkoušel který učitel. Takto se mi podařilo získat informace o části zkoušejících z trestního práva a ze závazkového práva. Limitem této metody bylo, že jsem musel vyřadit všechny záznamy ze dnů, kdy zkoušeli dva učitelé (resp. komise) zároveň, protože v tom případě nejsem schopen rozlišit, který učitel udělil kterou známku. Zejména v případě zkoušek z trestního práva jsem tedy musel vyřadit velkou část známek a tudíž u některých zkoušejících zbylo velmi málo dat pro nějakou statistickou významnost. Ještě horší to bylo u obchodních korporací, kde nebyly prakticky žádné dny, kdy by zkoušel pouze jeden vyučující, takže nezbyly prakticky žádná data k analýze. Z trestního práva alespoň nějaké informace máme, proto jsem se rozhodl je zveřejnit s určitým upozorněním na jejich relevanci, u obchodních korporací to smysl nemělo vůbec.

A co nám přinesly výsledky?

Jaký je výsledek celého mého snažení? Z grafů vyplývá, že rozdíly mezi jednotlivými zkoušejícími jsou. Ovšem u předmětů, které nás zajímaly nejvíce a o kterých se šířilo nejvíc zvěstí o nefér přístupu při zkoušení, se podařilo analyzovat jen velice málo anebo vůbec nic.

Před volbami jsem slíbil, že se pokusím zjistit, nakolik je zkoušení na naší fakultě objektivní. Analýzu jsme udělali, ale je neprůkazná - vyplývá z ní jen velmi málo. Přesto zveřejňuji všechny výsledky, které se nám podařilo získat, podkladová data pro tyto výsledné grafy[1] a úplně původní data, která jsem ze STAGu získal[2], i informace od studentů o zkoušejících na jednotlivých termínech[3]. I takto se totiž dají vyčíst ledajaké zajímavosti a postřehy.

Dovolte mi ale, abych tímto aktualizoval svůj volební program. Pokud skutečně chceme jít cestou k objektivnějšímu zkoušení, bez přesných dat o výsledcích zkoušek se nehneme. Tato data totiž v jejich pravdivé hodnotě není schopen ze STAGu získat nikdo – ani vedení fakulty a univerzity. Otázkou potom je, k čemu máme informační systém, když takto zásadní informace neuchovává.

Kámen úrazu a základní problém v současnosti tkví u sekretářek jednotlivých kateder. Ony jsou totiž ty, které zadávají do STAGu většinu dat. Mají přitom možnost u každé známky nastavit, který zkoušející tuto známku udělil. Proč to nedělají, nevím (ať už je to pokyn „shora“, anebo to, že tam sypat data bez překlikávání zkoušejících je jednodušší). Na Katedře historie Filozofické fakulty prof. Jaroslav Miller jako vedoucí katedry (tehdy ještě ne rektor) nařídil, aby každý učitel zadával známky ze svých zkoušek do STAGu sám. Dělal to z jiných důvodů – aby se odebrala zátěž sekretářkám, na které učitelé tuto svoji povinnost házeli. Tím se zároveň podařilo odstranit i problém nepravdivých jmen zkoušejících, protože pedagog ve STAGu může nastavit jako zkoušejícího pouze sebe.

Další věc, která by možná stála za změnu, je způsob, jakým jsou data ve STAGu uchovávána. Ač mi ze strany vedení univerzity i CVT byla poskytnuta veškerá možná součinnost, data ve STAGu prostě nejsou uchovávána ve vhodné podobě pro tyto analýzy – a to třeba ve srovnání s existujícími systémy jako je informační systém na Masarykově univerzitě.

Všechny statistiky jsem se rozhodl zveřejnit a to přímo na Entoo. Od jeho založení se zde snažím shromažďovat všechny informace o studiu na Právnické fakultě Univerzity Palackého. I ve svém volebním programu jsem akcentoval, aby byly všechny informace dostupné na jednom místě. Ačkoliv současná data není možné využít k tomu, k čemu jsem je původně využít chtěl, připadá mi užitečné, že se studenti budou moci na začátku semestru podívat na jednotlivé předměty a zjistit si, nakolik je daný předmět náročný co do procenta lidí, kteří ho dokázali splnit v minulém roce.

Tyto statistiky bych chtěl do budoucna zpracovávat periodicky. Minimálně do té doby než to začne dělat univerzita sama automaticky. Zároveň se chci zasadit i o to, aby byla na celé univerzitě povinnost pro všechny zaměstnance zadávat do STAGu pravdivá data. Abychom si to ujasnili - nesnažím se zde prosazovat to, že studenti budou dopředu povinně znát učitele své zkoušky. Někde jsou učitelé dopředu známí a je to spíše kritizováno, protože si potom studenti vybírají cestu „nejmenšího odporu“. Já se snažím hlavně o to, aby po zkoušce samotné byla do STAGu zapsána pravda. Doopravdy totiž nevidím důvod, proč by se měl do STAGu zaznamenávat někdo, kdo daného studenta nezkoušel. Vypovídající hodnota takové informace je totiž nulová. O vývoji v této oblasti budu informovat opět na tomto blogu.

Za poskytnutá data děkuji vedení Univerzity Palackého. Dále děkuji Petrovi Sapákovi a Nele Křupalové, kteří mi pomohli data utřídit a vyhodnotit a poté z nich vykreslili grafy. Dále Ondrovi Henkovi za vytvoření webového rozhraní pro prezentaci výsledků. Bez nich by toto nebylo možné.

 

Footnotes

  1. ^ výsledné hodnoty v tabulkách: celková úspěšnost a hodnocení u zkoušek, úspěšnost a hodnocení jednotlivých zkoušejících
  2. ^ původní data získaná výpisem ze STAGu: celková úspěšnost a hodnocení u zkoušek, úspěšnost a hodnocení jednotlivých zkoušejících
  3. ^ jména zkoušejících na jednotlivých termínech
Tagy: Univerzita Palackého, univerzitní politika, objektivita, STAG, statistiky