Autor: kkhp

Piotr Graczyk

Autonomia uniwersytetów (obejmująca wszelkie wewnętrzne regulacje a także wolność dyskusji i badań naukowych) jest tradycyjnie jednym z filarów społeczeństwa obywatelskiego w naszym kręgu cywilizacyjnym – uniwersytety są bowiem ostoją wolności słowa i wartości nieutylitarnych. Jednak każdy uniwersytet musi być w taki czy inny sposób finansowany i w konsekwencji wpisywać się w cele, jakie mu wyznaczają fundatorzy: państwo, albo związki wyznaniowe, albo wielki kapitał („opodatkowujący” się na rzecz uniwersytetu – który jest jednym z instrumentów wpływania na społeczeństwo – w formie wysokiego czesnego płaconego przez bogatych albo fundowania stypendiów i kredytów dla biedniejszych). Tam gdzie uniwersytety są prywatne, ich celem jest reprodukcja elit finansowych i politycznych zainicjowana przez same te elity (co wiąże się też oczywiście z kooptacją zdolnych jednostek spoza elit). Tam gdzie uniwersytety są finansowane z podatków, demokratyczne państwo dbać powinno o to, aby otwierały drogę awansu społecznego dla nieuprzewilejowanych i umożliwiały rozwój tych dziedzin gospodarki i kultury, które bez wsparcia państwa nie przetrwają, a których istnienie jest korzystne z punktu widzenia sprawiedliwości i dobrobytu. Uniwersytet to inwestycja państwowa, której celem jest lepsze życie w państwie – a nie będzie ono lepsze bez uniwersytetów dostępnych dla wszystkich obywateli, biednych i bogatych, mieszających w wielkich i w małych miastach – sama bowiem obecność instytucji, w których chodzi o prawdę i swobodne jej poszukiwanie a nie o zysk wpływa korzystnie na życie społeczne.

Z tego punktu widzenia ocena badań naukowych prowadzonych na uniwersytetach jest sposobem kontrolowania przez państwo realizacji tych egalitarystyczych i uniwersalistycznych celów. Tymczasem w Polsce przybiera ona dzisiaj kształt czegoś w rodzaju biurokratycznych igrzysk sportowych zorganizowanych przez państwo, w których nagrodą za sprawność w wypełnianiu ankiet i rozwiązywaniu testów (za pomocą specyficznego, oderwanego od wszelkiej rzeczywistości żargonu) jest przetrwanie poszczególnych jednostek badawczych. To zupełne nieporozumienie. Nawet jednak gdyby odbiurokratyzować procedury oceniania, pozostaje kwestia ich celu. I tutaj pojawia się znamienny błąd – że ocena badań naukowych ma służyć odcedzeniu placówek lepszych od gorszych i nagrodzeniu finansowemu lepszych (a także „ukaraniu” gorszych, przez odcięcie ich od finansowania). Tymczasem już w Platońskim Państwie Sokrates argumentuje, że pomaganie dobrym a szkodzenie złym to marny sposób rozumienia sprawiedliwości.

Ocena osiągnieć naukowych i dydaktycznych poszczególnych pracowników i jednostek badawczych oraz całych uczelni musi zostać podporządkowana innemu celowi – powinna mianowicie sygnalizować gdzie cele wyznaczone przez państwo udaje się osiagnąć a gdzie nie – po to, aby właśnie wspierać i motywować te instytucje, które mają słabsze wyniki. Celem jest stworzenie w skali całego kraju jak najwększej ilości jak najlepszych uniwersytetów – uniwersytet jest bowiem instytucj służącą dobru wspólnemu, miasta w których działają uniwersytety, są lepszymi miejscami do życia, inaczej w nich się oddycha. Dobre uniwersytety to przede wszystkim takie, w których naukowcy tworzą spontanicznie wspólnoty i środowiska badawcze, budujące trwałe tradycje naukowe. Dobre uniwersytety to takie w których powstają „szkoły” naukowe, a zatem żywe społeczności wyznające pewne zasady i budujące pewne języki i tradycje naukowe (również przez dyskusje wewnętrze i spory z innymi szkołami). Pochodnymi działania takich „szkół naukowych” – zawsze ostatecznie niesformalizowanych, to znaczy działających w oparciu o „przyjaźnie naukowe” a nie formalne zasady członkowstwa – mogą być takie wspólne przedsięwzięcia jak rozmaite publikacje, czasopisma, konferencje i kongresy, które pozwalają ma komunikację międzyśrodowiskową. Na dobrym uniwersytecie takie środowiska kwitną. Na złym ich nie ma. Najlepiej żeby było ich wiele na każdej uczelni, żeby ze sobą szlachetnie i swobodnie rywalizowały, żeby nie tworzyły klik i nie wygryzały się wzajemnie (władze państwowe mogłyby tu pełnić funkcje rozjemcze).

Ocenianie badań naukowych powinno mieć zatem raczej charakter „lekarski” a nie „sportowy”: ma ono ukazywać miejsca słabe, aby można je było wspierać i leczyć, a nie wskazywać na miejsca najsilniejsze po to, aby je promować kosztem innych. Nie chodzi o centralizację odosobnionych wyczynowców-geniuszów, tylko o równe rozłożenie sił intelektualnych w kraju i podniesienie poziomu miejsc najbardziej zaniedbanych (można tu przeprowadzić analogię do rozwoju miast: nie jest dobre takie miasto, w którym kipiące od pieniędzy centrum otoczone jest dzielnicami nędzy, do których nie można się zapuszczać bez odbezpieczonych karabinów maszynowych; dobre są miasta równomiernie rozwinięte, z pięknymi, dobrze zorganizowanymi przestrzeniami i budynkami publicznymi, dobrą miejską komunikacją itd.).

Jak oceniać? Oceniać można tylko po owocach: publikacjach, czasopismach, konferencjach itd. Zasada powinna być jedna, całkowicie odmienna od obecnie obowiązującej: nie może być podziału miejsc publikacji (oraz wydarzen naukowych) na lepsze i gorsze (listy czasopism punktowanych, wyższe ocenianie publikacji zagranicznych niż krajowych itd). Nie chodzi bowiem o to, żeby lepsi naukowcy udzielali się w miejscach uznawanych za lepsze a gorsi â w tych uznawanych za gorsze. Nie powinno nam zależeć na utrwaleniu podziałów, ale na możliwości ulepszania słabszych ogniw systemu. Oceniać zatem trzeba z osobna wszystkie publikacje i wydarzenia â w ten sposób słabsza dotąd instytucja, mająca na koncie dobre publikacje i wydarzenia automatycznie staje się lepsza.

Ta ocena powinna być zadaniem specjalnej komisji oceniającej (wzorowanej na Centralnej Komisji Stopni i Tytułów). Jej wszystkie decyzje i oceny powinny być jawne. Nie ma sposóbu całkowicie bezstronnego urządzenie takich komisji, ale jawność działania (przy równie jawnej koniecznej stronniczości ocen, wynikającej z przynależności do różnych szkół i tradycji) sprzyjać będzie na dłuższą metę demokratycznemu podziałowi sił wewnątrz takich komisji.Członkowie komisji nie powinni obłudnie odwoływać się do rzekomo bezstronnych formalnych reguł ale oceniać wedle swego najgłębszego przekonania jakościowo każdą publikację i wydarzenie. Dobór członków komisji będzie mial zatem znaczenie „polityczno-naukowe”, ale lepszy spór jawnie polityczny niż chowanie go za rzekomo neutralnymi (a za to łatwiej biurokratyzowalnymi) kryteriami.

Prof. Zbigniew Osiński

Każda ocena ma sens tylko wtedy, gdy jest rzetelna i obiektywna, bo tylko wówczas daje nam przydatne i wiarygodne informacje. Kryteria oceny muszą być bezstronne, niedyskryminujące i adekwatne do ocenianej rzeczywistości. Tak więc narzędzia pomiaru muszą dostarczać danych pozwalających na wystawienie oceny rzetelnej i obiektywnej przy zastosowaniu wspomnianych kryteriów. Należy je dobierać z uwzględnieniem specyfiki funkcjonowania ocenianej rzeczywistości. Nie każde bowiem narzędzie nadaje się do pomiaru i oceny dowolnej rzeczywistości. To truizmy, ale ich przypomnienie jest niezbędne w kontekście dyskusji o zasady oceniania badaczy humanistów.

Czy w realiach polskiej humanistyki zasadne jest stosowanie ocen bazujących głównie na punktach za publikacje w czasopismach?

Zasady oceny preferują publikowanie po angielsku w czasopismach z wyliczonym wskaźnikiem impact factor, czyli indeksowane w komercyjnej bazie Web of Science i umieszczane corocznie w „Journal Citation Report”. Inne czasopisma, obecne na tzw. ministerialnej liście B, pozwalają na zdobycie kilkukrotnie mniejszej liczby punktów mimo, że część z nich spełnia wszelkie kryteria dobrego czasopisma naukowego, o czym świadczy indeksowanie w bazie Scopus i posiadanie innego wskaźnika wpływu – SJR. Monografie i syntezy, mimo, że dla humanisty są największym osiągnięciem, także są niżej punktowane niż artykuły w czasopismach z wyliczonym IF.

U podstaw tego systemu oceny leży teza, że wartościowe prace publikują jedynie nieliczni badacze w dosyć ograniczonej grupie czasopism. W związku z tym sięganie po inne czasopisma to strata czasu. Taki system jest dalekim efektem badań Alfreda Lotki z lat 20. XX wieku, który miał ustalić, iż większość ważnych prac naukowych jest dziełem niewielkiej grupy badaczy oraz badań Samuela Bradforda z lat 30. XX wieku, który stwierdził, iż zdecydowaną większość wartościowych prac naukowych opublikowano w niedużej grupie czasopism. Jednakże wartość tych ustaleń jest obecnie negowana ze względu na niemożność uzyskania podobnych wyników w przypadku analizowania czasopism z większości dyscyplin naukowych, zwłaszcza z obszaru humanistyki i nauk społecznych. Polscy reformatorzy najwyraźniej zapomnieli, że Bradford ustalił jedynie, iż można wyodrębnić kilka wyraźnych grup czasopism w zależności od częstotliwości występowania w nich artykułów z danej dyscypliny czy specjalności naukowej, ale praktyka instytucji oceniających badaczy, pod wpływem Eugene Garfielda zaczęła utożsamiać te grupy z jakością publikowanych w nich artykułów. Wzbogacenie wskaźników wyliczonych w oparciu o prawo Bradforda analizą cytowań opartą na pomyśle Garfielda skłoniło wiele instytucji do postawienia tezy, iż większość istotnych publikacji w danej dyscyplinie naukowej ukazuje się w stosunkowo niewielkiej liczbie czasopism, a bardzo niewiele czasopism uzyskuje olbrzymią część ogółu cytowań. Jednakże takie przekonanie nie zawsze się sprawdza. W przypadku np. periodyków historycznych okazuje się, że dużych problemów nastręcza samo wyodrębnienie grup czasopism powiązanych z konkretnymi obszarami badawczymi, gdyż znacząca ich część ma charakter multi- i interdyscyplinarny, a to oznacza, że trudniej wyodrębnić w nich artykuły poświęcone konkretnym aspektom dziejów. Oznacza też, że artykuły mieszczące się w określonej specjalności pojawiają się w tej grupie znacznie rzadziej niż w czasopismach historycznych o profilu specjalistycznym, co oczywiście nie ma związku z jakością naukową danego czasopisma. Podobnie przedstawia się sytuacja z periodykami ogólnohistorycznymi akceptującymi różnorodne zagadnienia z historiografii, w których artykuły dotyczące dziejów poszczególnych państw lub epok pojawiają się stosunkowo rzadziej niż w czasopismach wyspecjalizowanych. Dodatkowe zaburzenie w próbie wnioskowania opartego na prawie Bradforda wywołuje fakt, iż redakcje poszczególnych czasopism przyjęły różną politykę w zakresie liczby artykułów publikowanych w ciągu roku (od kilkunastu do ponad stu). Fakt, że można wydzielić zasadnicze jądro czasopism, w których publikowana jest znacząca część artykułów poświęconych np. dziejom Francji, Niemiec, Hiszpanii, Starożytności, Średniowieczu, wojnom i rewolucjom, czy dziejom gospodarczym nie oznacza, że w tych czasopismach publikowane są prace najbardziej wartościowe dla danych obszarów badań i najczęściej cytowane. Oznacza jedynie, że są to przede wszystkim czasopisma wyspecjalizowane w określonej tematyce, dodatkowo publikujące rocznie więcej artykułów niż inne. W zasadniczym jądrze periodyków z dowolnego obszaru historiografii dobranych zgodnie z prawem Bradforda nie spotkamy raczej humanistycznych czasopism multi- i interdyscyplinarnych, bez względu na wartość publikowanych w nich artykułów.

Ostatnie kilkanaście lat dostarczyło nam powodów do poddawania w wątpliwość zasady, że publikowanie w czasopismach i wydawnictwach uznawanych za prestiżowe (m.in. ze względu na wskaźniki bibliometryczne) jest równoznaczne z tym, że dana publikacja prezentuje wysoką jakość naukową. W dziedzinie nauk humanistycznych na drastyczną niezgodność pomiędzy wskazaniami tej zasady, a faktyczną jakością prac naukowych zwrócił uwagę Alan Sokal. Doszedł on do wniosku, że w drugiej połowie XX wieku słynni europejscy humaniści publikujący na łamach wiodących czasopism naukowych i w prestiżowych wydawnictwach oraz zdobywający dużą liczbę cytowań często uprawiali pseudonaukę. Ukrywali brak sensownej treści pod płaszczykiem naukowej terminologii i żargonu, używali pojęć niezgodnie z ich znaczeniem, korzystali z naukowych teorii w oderwaniu od ich kontekstu, mieszali pojęcia i teorie z różnych dziedzin nauki, ulegali modom, prowadzili teoretyczne dyskursy niepodatne na sprawdziany empiryczne, manipulowali zdaniami i zwrotami pozbawionymi sensu. Sokal udowodnił też, że wystarczy napisać tekst, nawet kompletnie bzdurny, ale mieszczący się w opisanej powyżej konwencji, by przeszedł on pomyślnie proces recenzji i został opublikowany w tzw. wiodącym czasopiśmie

Problemem nauki jest także preferowanie wskaźnika impact factor stosowanego przez redakcję Web of Science. Krytykowany jest on za to, że uśrednia liczbę cytowań uzyskanych przez poszczególne artykuły opublikowane w danym czasopiśmie, a przez to nie radzi sobie z przypadkami, w których czasopismo może uzyskać wysoki wskaźnik cytowań dzięki pojedynczym, często cytowanym artykułom. Toleruje się w ten sposób sytuację, w której wysoki IF (czyli wysoką renomę naukową) może zostać przypisany także autorowi, który opublikował artykuły nie wywierające większego wpływu na naukę, bo rzadko cytowane. Zwraca się uwagę na fakt, że IF uwzględnia cytowania wyłącznie z okresu ostatnich dwóch lub pięciu lat, niezależnie od dziedziny wiedzy, którą reprezentuje czasopismo. Tymczasem obserwuje się duże zróżnicowanie przeciętnego czasu od ukazania się publikacji do jej cytowania dla różnych dyscyplin naukowych. W związku z tym IF czasami nie pokazuje rzeczywistego wpływu czasopisma na rozwój nauki. W kontekście oceny naukowców należy podkreślić, że ten wskaźnik wyliczany jest przez filadelfijski ISI wyłącznie dla czasopism, a nie dla badaczy. Poza tym, coś takiego jak „sumaryczny impact factor” badacza nie istnieje, mimo, że umieszczono go w rozporządzeniu o kryteriach habilitacji.
Na ważne skutki stosowania IF już dawno temu zwrócił uwagę Richard Monastersky. Stwierdził, że badacze zamiast skupiać się na istotnych problemach, które wcale nie muszą stać się naukowymi przebojami, zabiegają o tematy, na które panuje moda – czyli takie, które łatwiej będzie opublikować w wiodących czasopismach i zdobyć dzięki temu wysoką cytowalność. Dostrzegł też, że w redakcjach części czasopism rutynowo prosi się autorów o poruszanie tzw. tematów modnych oraz o cytowanie wcześniejszych artykułów z tych samych czasopism – taka polityka sztucznie podnosi wartość wskaźnika IF. Redakcje – w sposób świadomy, lub nie – biorą pod uwagę potencjalne wskaźniki cytowań przy podejmowaniu decyzji o opublikowaniu danego artykułu. Rzeczywista wartość naukowa pracy staje się w ten sposób mniej ważna.

Kolejne kontrowersje w sprawie wykorzystywania wskaźników bibliometrycznych i komercyjnych baz bibliograficznych do oceny dorobku naukowego wynikają z ich coraz częściej dostrzeganych ułomności. Podstawowym problemem jest fakt, że wskaźniki bibliometryczne opierają się na niekompletnych, stworzonych pod wpływem prawa Bradforda, bazach danych. Zapomniano też, że Eugene Garfield, założyciel filadelfijskiego ISI, pierwotnie zaproponował stworzenie indeksu cytowań naukowych jedynie dla dostarczenia naukowcom narzędzia do łatwego przeszukiwania literatury w celu znalezienia wcześniejszych prac na podobny temat. W przypadku Web of Science przede wszystkim krytykowany jest dobór czasopism. Humaniści i przedstawiciele nauk społecznych z krajów nie angielskojęzycznych uważają, że w tej bazie występuje zdecydowana nadreprezentacja czasopism amerykańskich, a z niezrozumiałych względów pomijane są wartościowe czasopisma nieamerykańskie, wydawane nie tylko w innych językach narodowych (co jest typowe i całkowicie zrozumiałe w przypadku większości dyscyplin z nauk humanistycznych i społecznych), lecz często także po angielsku (lub przynajmniej z dodatkiem tytułów i abstraktów artykułów oraz słów kluczowych w tym języku). Przykładowo, Art & Humanitiest Citation Index w 2013 r. w grupie ok. 1700 czasopism humanistycznych uwzględnia jedynie następujące polskie: Acta Poloniae Historica, Artibus et Historiae, Filozofia Nauki, Journal of Juristic Papyrology, Kwartalnik Historii Żydów, Poznan Studies in Contemporary Linguistics, Studia Logica i Teksty Drugie. Z kolei wśród ponad 2600 czasopism uwzględnionych w Social Science Citation Index w 2013 r. obecne są następujące polskie: Argumenta Oeconomica, Eastern European Countryside, International Journal of Occupational Safety and Ergonomics, New Educational Review, Polish Sociological Review, Poznan Studies in Contemporary Linguistics (występuje w obu indeksach), Problemy Ekorozwoju i Studia Socjologiczne. Sugestia, że tylko w wymienionych czasopismach publikowane są wartościowe prace, że wszystkie pozostałe, nieobecne w WoS, polskie czasopisma humanistyczne i obejmujące nauki społeczne nie prezentują większej wartości naukowej (a więc cytowania w artykułach tam publikowanych nie są istotne) lub nie wnoszą niczego do rozwoju nauki (bo nie są cytowane) byłaby absurdalna i pozbawiona wartości merytorycznej. Zasadność przekonań polskich reformatorów nauki, leżącego u podstaw dzisiejszych zasad oceny humanistów, rozwiewa analiza danych udostępnianych w „Journal Citation Report 2012”, dotyczących czasopism historycznych z wyliczonym IF. Wspomniane przekonania sprowadzają się do poglądu, że redakcja WoS wybrała czasopisma najlepsze, najczęściej cytowane, najbardziej wpływowe i prestiżowe. Skoro więc jest ich tak mało, to znaczy, że inne raczej nie zasługują na uwagę. Jednakże wystarczy przeanalizować liczby związane z cytowaniami w czasopismach historycznych z wyliczonym IF, by przekonać się, że jest inaczej. Logicznie rzecz biorąc, skoro w JCR są czasopisma najlepsze, to autorzy zamieszczanych w nich artykułów reprezentują światową elitę historyków i jeżeli w swoich pracach kogoś cytują, to niewątpliwie jest to inny historyk ze światowej elity, który opublikował ważną pracę. Analiza danych wykazuje jednak, że w periodykach uznanych przez redakcję WoS za wiodące i prestiżowe historycy cytują prace opublikowane w czasopismach spoza JCR od 2 do 37 razy częściej niż opublikowane w periodykach z tej listy. W ośmiu przypadkach różnica jest tak duża (od 8 do 37 razy), że skłania do zastanowienia się – czy to historycy pochopnie cytują głównie prace niewiele warte, bo opublikowane w czasopismach spoza JCR? Czy może jednak redaktorzy WoS popełnili kardynalny błąd pomijając dużą liczbę czasopism wartościowych? Do opowiedzenia się za drugim przypadkiem skłaniają wyliczenia badaczy z brytyjskiej Public Policy Group działającej przy London School of Economics, którzy ustalili, że w WoS jest indeksowanych jedynie od 11% do 27% wartościowych czasopism z poszczególnych dyscyplin humanistycznych, a według tych badaczy do obiektywnego przeprowadzania analiz bibliometrycznych nie nadają się bazy indeksujące mniej niż 75% artykułów z danej dyscypliny. Z porównania przeprowadzonego około dziesięciu lat temu (ale dalej aktualnego) przez Erica Archambault i Etienne Vignola-Gagné wynika, że czasopism humanistycznych i społecznych w bazie WoS, w porównaniu z uznawaną za najbardziej kompletną bazą Ulrich’s Periodicals Directory, jest proporcjonalnie mniej, np.: o 34% w przypadku wydawanych w Niemczech, o 24% z Francji, o 89% z Włoszech, o 75% z Hiszpanii i Belgii oraz o 87% wydawanych w Polsce. Natomiast czasopism wydawanych w Wielkiej Brytanii jest proporcjonalnie więcej w WoS – o 55%. Inna baza międzynarodowa – Scopus – indeksuje prawie dwa razy więcej czasopism humanistycznych niż WoS.

Międzynarodowe bazy bibliograficzne deprecjonują czasopisma związane z dyscyplinami, których paradygmat jest inny niż w naukach mających charakter uniwersalny i międzynarodowy (np. przyrodniczych, ścisłych, technicznych i medycznych), a obszar badań powiązany jest ściśle z lokalnymi językami, kulturami i grupami społecznymi, czyli przede wszystkim humanistyczne. Redakcje tych baz preferują nie tylko dyscypliny o charakterze uniwersalnym i ponadnarodowym, lecz także język publikacji właściwy dla tych obszarów nauki, czyli angielski. Dyskryminują tym samym te dyscypliny, jak na przykład historia, w których język publikacji najczęściej tożsamy jest z językiem badanych źródeł, dzieł kultury i grup społecznych. Wydają się abstrahować od faktu, że w takich dyscyplinach jak historiografia badania prowadzone w jednej części świata nie muszą być porównywalne do prowadzonych w ramach tej samej dyscypliny w innych państwach ze względu na odmienność stawianych celów, stosowanych metod i podejmowanych tematów badań. Nie uwzględniają faktu, że w każdym prawie państwie w języku narodowym powstaje 95%-98% prac historyków. Poza metodyką tworzenia wspomnianych baz pozostaje oświeceniowa rola humanistyki sprowadzająca się do zasady mówiącej, iż np. historyk publikuje prace nie tylko dla innych historyków, lecz także dla społeczeństwa, by oddziaływać na poziom znajomości dziejów, na to jak historię prezentują dziennikarze i jak nauczyciele nauczają o przeszłości. Podkreślić należy, że wiedza historyczna, w przeciwieństwie do np. medycznej, technicznej czy chemicznej, najczęściej nie potrzebuje pośrednictwa w postaci tzw. popularyzacji, by być zrozumiałą dla dużej części społeczeństwa.

Jak więc oceniać dorobek humanistów?

Biorąc pod uwagę potrzebę obiektywizacji oceny badaczy, w tym humanistów, należy poszukiwać takich form i narzędzi, które złagodzą wspomniane mankamenty i zobiektywizują proces oceny. W tym celu można rozszerzyć zakres danych służących wyliczaniu wskaźników bibliometrycznych, np. poprzez uwzględnianie także lub przede wszystkim bazy Scopus. Baza ta zapewnia nie tylko większy niż WoS wybór indeksowanych czasopism, lecz także poprawniej skonstruowany wskaźnik wpływu – SJR (SCImago Journal Rank). Określa on ragę periodyku w oparciu o liczbę cytowań, których waga zależy od jakość czasopism cytujących. Uwzględnia jedynie recenzowane artykuły naukowe, bez listów do redakcji, wywiadów i komentarzy. Wskaźnik SJR dla czasopisma za dany rok obliczony jest na podstawie cytowań z trzech poprzednich lat. W naukach humanistycznych i społecznych pożądane byłoby tworzenie dziedzinowych baz cytowań uwzględniających czasopisma polskie. Przykładem takiego rozwiązania są bazy Cytbin (http://www1.bg.us.edu.pl/bazy/cytbin/) i Arton (http://www1.bg.us.edu.pl/arton_inf/arton.htm). Konieczne jest także (przynajmniej w humanistyce i naukach społecznych) uwzględnianie cytowań w monografiach i pracach zbiorowych. Szansę na obiektywizację miar bibliometrycznych wykorzystywanych do oceny humanistów należy upatrywać w takich inicjatywach jak Pol-index (https://pbn.nauka.gov.pl/polindex/info/), gdzie mają być zgromadzone dane o cytowaniach w polskich czasopismach z tzw. „ministerialnej listy B”.

Dużo większe możliwości pojawią się gdy obok cytowalności danej publikacji uwzględnimy jej pobieralność z Internetu. Oczywiście nie jest możliwe stworzenie takiego wskaźnika bez wcześniejszego zapełnienia Sieci elektronicznymi wersjami książek i artykułów. Jednakże ten proces już trwa – coraz większa grupa czasopism naukowych przyjmuje postać elektroniczną, dostępną bezpłatnie, w coraz większym stopniu rozwijają się zasoby bibliotek cyfrowych i repozytoriów naukowych. Większe problemy występują natomiast z przemianą mentalną u badaczy. Muszą oni bowiem zrozumieć, że w XXI wieku odbiorcami ich naukowych studiów są już nie tylko inni badacze, lecz także coraz liczniejsze zastępy specjalistów, którzy do swojej pracy potrzebują najnowszych wyników badań, i którzy swojej działalności zawodowej nie mogą opierać na akademickich podręcznikach i różnych formach wiedzy popularno-naukowej. W związku z tym zapewnienie takim grupom dostępu do najnowszych artykułów i książek naukowych staje się problemem kluczowym z punktu widzenia rozwoju społeczno-gospodarczego, a pobieralność tych prac z zasobów internetowych niewątpliwie świadczy o stopniu ich popularności i społecznej przydatności. Pojawiły się już pierwsze badania tego wskaźnika. Ronald Snijder dokonał analizy różnorodnych aspektów pobieralności książek udostępnianych przez Open Access Publishing in European Networks Library (http://www.oapen.org/home). Ustalił, że powiązanie danych dotyczących odsetka pobrań dla każdego typu dostawcy książek (autor, uczelnia, wydawnictwo) ze średnią liczbą pobrań dla grup tytułów pozwala na ocenę wpływu i użyteczności badanych prac. W ten sposób bibliometria uzupełniana jest webometrią (mierzenie zjawisk ilościowych występujących w Internecie).

Jeszcze większą rewolucję we wskaźnikach wykorzystywanych do oceny badaczy i ich prac może przynieść zjawisko webometryczne zwane społecznościowym indeksem cytowań. Polega ono na zliczaniu recenzji, cytowań, wzmianek i opinii na temat określonego artykułu lub książki pojawiających się w naukowych i ogólnych serwisach społecznościowych, forach dyskusyjnych, blogach, serwisach zarządzających bibliografią, platformach dzielenia się prezentacjami oraz repozytoriach naukowych. Służą do tego takie narzędzia jak Altmetric (http://www.altmetric.com/) i Total Impact (http://impactstory.org/). Potrafią zbierać informacje z wymienionych obszarów Internetu o książkach i artykułach, które w Sieci umieszczono z dodatkiem identyfikatora DOI (digital object identifier – cyfrowy identyfikator dokumentu elektronicznego). W ten sposób mierzona jest popularność prac danego autora wśród użytkowników określonych zasobów Internetu oraz ich wpływ na innych badaczy i specjalistów.

Jednakże należy mieć świadomość, że przynajmniej w humanistyce podstawą oceny badacza musi być ocena jakościowa jego prac. Podstawową wadą tej metody, według krytyków, jest podatność na koleżeńskie recenzje. Ale z tym problemem można łatwo uporać się. Uczelniom należy narzucić obowiązek udostępniania w Internecie recenzji opublikowanych prac (artykułów i książek) powstałych w ramach obowiązków służbowych i zaliczanych do dorobku naukowego. Recenzje powinny być podpisane imieniem i nazwiskiem recenzenta, bo to najlepszy sposób na zmobilizowanie do uczciwości i rzetelności. Autor zrecenzowanej pracy powinien do recenzji dołączyć swój stosunek do zawartych w niej uwag. Serwis, w którym recenzje byłyby zamieszczane, powinien posiadać funkcjonalność pozwalającą na komentowanie recenzji i samych prac (te bowiem powinny być dostępne w Internecie na zasadach open access – przynajmniej preprinty). Jawność i dostępność dorobku oraz recenzji jest podstawą uczciwości i rzetelności przy ocenie jakościowej.

dr hab. Miłowit Kuniński, prof. WSB-NLU

Głos w panelu o kryzysie humanistyki
12 maja 2014 roku.
Odpowiedzi na pytania

1. Rola oceny eksperckiej w naukach humanistycznych. Stosunek ocen „ilościowych” do „jakościowych”, pytanie o możliwość systemu mieszanego.

U podstaw tzw. parametryzacji leży założenie, iż oceny jakościowe mogą być przełożone na liczbę punktów, dzięki czemu możliwe staje się miarodajne porównywanie osiągnięć badawczych. Jeśli zatem jakaś publikacja ze względu jej charakter: artykuł, monografia, rozdział w monografii, tom pokonferencyjny itp. zyskuje odpowiedzenia liczbę punktów, wówczas kryteria ilościowe zastępują ocenę jakości. Uważam, że reprezentacja liczbowa wartości merytorycznej ocenionej przez recenzentów-ekspertów, sama w sobie nie jest oparta na błędnych założeniach. Jeśli bowiem artykuł uzyskuje np. 10 punktów w jakimś recenzowanym czasopiśmie krajowym, a inny 14 w recenzowanym czasopiśmie zagranicznym, to oznacza, iż został oceniony merytorycznie, dopuszczony do druku i jego wartość w sposób zgrubny oddaje liczba punktów. Być może po jakimś czasie okaże się, że artykuł wzbudził zainteresowanie, dyskusję i jest cytowany z aprobatą (bo nie każde cytowanie ma taki charakter: tu zasada „dobrze czy źle, byle o nim mówili” nie może mieć zastosowania). Czy samo cytowanie jest dobrym wskaźnikiem wartości artykułu. Znowu mamy do czynienia z kryterium uproszczonym. Jest wreszcie opinia środowiskowa. Jak dać jej wyraz? Kto maiłby to zrobić i komu ją oficjalnie przedstawić. Przy samoocenie pracownika mógłby to zrobić kierownik zakładu, katedry, potem dyrektor instytutu i na końcu komisja dziekańska. Oczywiście nie jest to rozwiązanie doskonałe i nie należy go oczekiwać ani do niego dążyć, choć można je ulepszać.

Trzeba jednak pamiętać, na co uwagę zwróciła p. dr hab. Katarzyna Kijania-Placek z Instytutu Filozofii UJ, iż punkty obrazujące osiągnięcia naukowe pracowników maja znaczenie przy parametryzacji jednostek naukowych (instytutów, wydziałów itp.) wymaganej przez Ministerstwo Nauki i Szkolnictwa Wyższego. Natomiast przy tzw. samoocenie pracowników, gdy zdajemy sprawę ze swoich osiągnięć naukowych, dydaktycznych i organizacyjnych, wymóg wskazywania liczby punktów uzyskanych za publikacje jest narzucany przez uczelnie, nie zaś przez ministerstwo. Bo przecież wygodniej jest zliczyć punkty niż oceniać wartość merytoryczna publikacji.

Wskazana przez p. Łukasza Niesiołowskiego-Spano możliwość nadużyć jest realna. Dowolna publikacja wydana w małej uczelni może uzyskać tę samą liczbę punktów, co książka opublikowana w liczącym się wydawnictwie na podstawie rzetelnie przygotowanych recenzji fachowców.

Jak tego rodzaju zafałszowań merytorycznej wartości publikacji uniknąć? Książka musiałaby być oceniona na podstawie recenzji w ogólnopolskich czasopismach naukowych (na to wskazuje prof. Walicki powołując się na praktykę w USA). To zaś wymaga czasu. Czy wówczas książka wydana w uznanym wydawnictwie nie musiałaby czekać na podobną ocenę? W Polsce recenzje książek ukazujących się nawet w renomowanych wydawnictwach są pisane z rzadka.

Problem zatem nie daje się łatwo rozwiązać. Trzeba by przyjąć, że książki publikowane w renomowanych wydawnictwach z racji bardziej rygorystycznego ich recenzowani zasługują na wyższą ocenę niż publikowane w wydawnictwach, które poddają przyszłe publikacje ocenie powierzchownej. Procedura stosowana np. w Fundacji Nauki Polskiej mogłaby być punktem wyjścia do określenia kryteriów oceny. Tam w przypadku prac doktorskich proponowanych do wydania w ramach publikacji FNP na podstawie bardzo dobrych recenzji w przewodzie doktorskim przedstawiane są one do oceny przez dwóch recenzentów i w razie rozbieżności opinii superrecenzentowi.

Ogólnie rzecz ujmując w filozofii, humanistyce i w wielu naukach społecznych monografie maja bardzo istotne znacznie, gdyż to w nich autorzy przedstawiają pewne tezy szczegółowo je uzasadniając, dokonują przeglądu stanu badań itp. Wartość tych prac ocenionych już przez recenzentów w przewodzie doktorskim i recenzentów wydawniczych (czasem są to te same osoby) powinna być wyższa w stosunku do artykułów publikowanych w czasopismach. Pojawiające się zachęty, by dobre doktoraty w wymienionych dziedzinach publikować w postaci kilku artykułów, bo to zwiększa liczbę punktów, jakie autor może uzyskać, w istocie podważają sens ich uprawiania.

Prof. Walicki zwraca po raz kolejny uwagę, wcześniej pisał o tym w prasie, że w USA nie ma ministerstwa nauki szkolnictwa wyższego, a mimo to nauka się rozwija i to w bardzo wielu dziedzinach, w tym także w humanistyce.
Należy jednak pamiętać, że źródło tzw. Krajowych Ram Kwalifikacji bije w USA: sylabusy, wiedza, umiejętności, kompetencje itp. wszystko to zawędrowało stamtąd do Europy i zostało włączone do procesu bolońskiego i zgodnie z logika biurokratyczną narzucone krajom członkowskim UE. KRK były zareklamowane jako podstawa autonomii programowej uczelni, a w rzeczywistości, ze względu na zasadę równania w dół do najsłabszych studentów, jest to narzędzie obniżania poziomu nauczania, a autonomia uczelni nie ma z tym wiele wspólnego [1]. Z pewnością wzrasta biurokratyzacja dydaktyki, a pisanie sylabusów według wzorca ministerialnego, jest źródłem żartów, ale musi być wykonane, bo w przeciwnym razie dany kurs nie może być uruchomiony.

Sprowadzając rzecz do absurdu, można powiedzieć, że autonomia programowa pozwala zatrudnić właściwie kogokolwiek, byleby wiedza, umiejętności, kompetencje zostały na końcu osiągnięte przez studentów, co oceniają prowadzący odpowiednie kursy. Czasem ma to swoje dobre strony, ale biorąc pod uwagę schematyczność i ogólnikowość charakterystyki wspomnianych efektów kształcenia, możemy uznać, iż jest to kolejna fikcja, której się podporządkowujemy, skupiając się na działaniach pozornych, bo schematycznych, a władze wyższe udają, że wszystko jest w porządku, bo elementy te znajdują się w opisie kursów, i w USOS-ie. Można mieć wrażenie, że żyjemy w dwóch rzeczywistościach, jak w czasach PRL.
Wracając do uwag prof. Walickiego o sytuacji uczelni w USA trzeba przyznać, że w Polsce ugruntowała się wiara, w to, że jakiś centralny urząd będzie wpływał na naukę i szkolnictwo wyższe w sposób ożywczy. Idzie bowiem o sposób rozdzielania funduszy na szkolnictwo wyższe i na badania naukowe w sposób adekwatny do osiągnięć danych jednostek w dziedzinie dydaktyki i badań naukowych. Wprawdzie istnieje instytucja niezależna od Ministerstwa Nauki i Szkolnictwa Wyższego – Fundacja Nauki Polskiej, ale np. Narodowe Centrum Nauki jest agenda rządową, to zaś oznacza, że w dalszym ciągu decentralizacja decyzji o finansowaniu szkolnictwa i wyższego i nauki jest zadaniem, a nie osiągniętym rezultatem.

Jeśli podejście ilościowe jest tak forsowane, to wiąże się to z przekonaniem, że decyzje – oparte na algorytmach uwzględniających punkty stosowane w parametryzacji – są neutralne aksjologicznie, mierzalne i co za tym idzie, sprawiedliwe. To, co ratuje nas przed całkowitą klęską, to poziom niektórych czasopism i wydawnictw, które dbają, by ich publikacje były rzetelnie oceniane. Ale należy przyjąć, że to ranga czasopisma i wydawnictwa ma istotne znaczenie. Czy można tę rangę wyrazić za pomocą liczby punktów?

Można, pod warunkiem, że punktacja jest przygotowywana przez zespół specjalistów z pewnego obszaru nauk, np. literaturoznawcy ustalają ranking czasopism ze swojej dziedziny. Filozofowie znajdują się w szczególnym położeniu, bowiem ich dyscyplina zaliczana do humanistycznych, równie dobrze mogłaby się znaleźć w kategorii nauk społecznych lub w obu naraz, albo najlepiej poza nimi. Ustalanie rankingu przez odpowiednią komisję wiązało się obecnie z koniecznością interweniowania, by uwzględnione zostały czasopisma filozoficzne o renomie międzynarodowej, których rangę usiłowano w komisji obniżyć, zrównując liczbę punktów za artykuły w czasopismach znajdujących się na liście ERIH (choć, jak wiadomo, na tej liście czasopisma ssą podzielone na grupy o różnej randze), jak należy przypuszczać, z braku rozeznania w tej materii i w przekonaniu, że tym sposobem uzyska się proste narzędzie oceny merytorycznej. Prof. Jan Woleński, członek KNF PAN, którego pytałem o prace tej komisji i szanse uwzględnienia postulatów środowiskowych, wyraził umiarkowany optymizm, podkreślając opór biurokratyczny, z jakim spotykają się próby wpływania na ranking czasopism ze strony ekspertów z danej dziedziny, w tym wypadku filozofii. Ważne jest zatem, by różne komitety PAN wywierały nacisk na komisje pracujące nad rankingami czasopism.

Istotne jest również, by artykuły w publikacjach zbiorowych nie były lekceważone w stosunku do artykułów w czasopismach. W humanistyce, zwłaszcza w wypadku polonistyki, tego rodzaju artykuły mają swoją wartość, o ile są rzetelnie oceniane pod względem merytorycznym, a to można zrobić, uwzględniając także recenzje po wydaniu.

2. Radykalna jawność czy radykalne zaufanie? Co jest ważniejsze dla właściwej oceny środowiskowej?

Jawność recenzji prac habilitacyjnych jest już w różnych uczelniach faktem. Powinno to dotyczyć także prac doktorskich i recenzji w przewodach profesorskich

3. Cytowalność – czy to dobre kryterium w humanistyce? Czym można je zastąpić?

Cytowalność nie jest złym kryterium. Jednak w humanistyce trzeba dużo cierpliwości by stwierdzić, że wskaźnik ten powoli, ale systematycznie rośnie. Np. prof. Woleński jest cytowany wielokrotnie, w tym także w publikacjach zagranicznych, bo często publikuje po angielsku i chyba najczęściej z polskich filozofów. Ale nawet gdyby był cytowany rzadziej, to nikt nie miałby wątpliwości co do wartości Jego osiągnięć. A jeśli ktoś nie jest cytowany tak często, to jego osiągnięcia są mniej warte? Za przykład niech posłuży historia filozofii starożytnej i prace prof. Ryszarda Legutki czy prof. Janiny Gajdy-Krynickiej A jeśli praca wydana np. w 1980 roku, jest cytowana w ostatnich latach częściej niż w ciągu pierwszych 10 lat po publikacji, to jak uwzględnić tę rosnącą wartość. Czy ocena wartości części dorobku naukowego autora ma uwzględniać „odłożenie” w czasie? Oczekuje się przecież, że kryterium cytowania niejako od razu wskaże miejsce danego badacza pośród pozostałych.

Pomijam paradoks związany z cytowaniem publikacji ze względu na ich kuriozalny charakter, bo i takie przypadki się zdarzają, o czym wspomniałem wyżej.

4. Problemy umiędzynarodowienia – jak umiędzynaradawiać, czy każdą naukę, i za jaką cenę?

Jeśli jest to możliwe, to publikowanie w językach obcych, czyli przede wszystkim po angielsku, jest ważne. Lecz w wypadku polonistów, ze względu na specyfikę języka polskiego, znaczenie publikacji w obcych językach jest ograniczone i jak zwraca uwagę p. prof. Maria Korytowska, zainteresowanie polską literaturą w świeci jest ograniczone do wąskiego grona specjalistów. Ponadto ważną kwestią jest dbałość o rozwój języka polskiej humanistyki i filozofii, a to oznacza, że publikowanie po polsku nie może być traktowane jako wyraz indolencji i zaściankowości. Bogactwo języka ojczystego jest wartością nie do przecenienia. Gdybyśmy byli dwujęzyczni lub trójjęzyczni moglibyśmy równie bogato wypowiadać się w dwóch czy trzech językach. Na ogół jednak, nawet przy dobrej znajomości obcego języka, wypowiadamy się w sposób uboższy niż po polsku. Nie znaczy to, że mamy rezygnować z publikowania w obcych językach, ale nie zapominajmy, że nie we wszystkich dziedzinach ma to sens (polonistyka), i że mamy obowiązek dbać o język ojczysty jako język różnych dyscyplin badawczych, w tym przede wszystkim humanistyki i filozofii.

5. Jak oceniać monografie? Czy obecnie są dyskryminowane?

Monografie powinny być oceniane wyżej niż artykuły, przy założeniu, że ocena jest wielostronna i rzetelna przez dobrych ekspertów. Tak, są obecnie dyskryminowane.

Artykuły w pracach zbiorowych, dziwacznie określanych mianem monografii, powinny być oceniane niżej niż artykuły w renomowanych czasopismach (ranking), ale nie w sposób wyraźnie dyskryminujący. Warunkiem jest merytoryczna ocen ich jakości. Zatem nie artykuł w dowolnej pracy zbiorowej, ale wydany w uznanym wydawnictwie i pod reakcją uznanych autorów.

6. Pod jakie nauki rozpisany jest dzisiejszy model ewaluacji? Jakie są realne linie podziałów i interesów środowiskowych?

Model ten jest przede wszystkim dostosowany do nauk przyrodniczych. Ich model uprawiania i stosowane kryteria oceny wyników badań są przenoszone w sposób nieuprawniony na dziedziny, które pod względem merytorycznym, metodologicznym i, co najważniejsze, kulturotwórczym, różnią się od nauk przyrodniczych.

Obraz podziałów środowiskowych jest niejasny, gdyż nauki humanistyczne i do pewnego stopnia społeczne (granica między nimi jest płynna ze względów metodologicznych i teoretycznych), oraz filozofia są w rywalizacji o środki finansowe w gorszym położeniu, nie są bowiem w stanie spełnić kryteriów (lub czynią to częściowo) stosowanych w naukach przyrodniczych, nie mówiąc o technicznych, a tym samym mają mniejsze szanse na wsparcie finansowe. Program
ministerialny służący wzmocnieniu humanistyki, być może przynosi jakieś pozytywne rezultaty, ale to musiałoby być ocenione, i to nie przez administrujących przyznawaniem funduszy, ale przez korzystających z nich i przez niezależnych ekspertów.

 

[1]  „Każdy efekt kształcenia powinien być zdefiniowany na poziomie osiągalnym dla najmniej zdolnego studenta a nie na najwyższym możliwym poziomie.” (podkr. MK) (Autonomia programowa uczelni.Ramy kwalifikacji dla szkolnictwa wyższego, Warszawa 2010, s.105; http://www.nauka.gov.pl/g2/oryginal/2013_05/577acf803ab68698c4639ec62e77cf6a.pdf; dostęp 18 maja 2014).