Prof. Zbigniew Osiński
Każda ocena ma sens tylko wtedy, gdy jest rzetelna i obiektywna, bo tylko wówczas daje nam przydatne i wiarygodne informacje. Kryteria oceny muszą być bezstronne, niedyskryminujące i adekwatne do ocenianej rzeczywistości.
Tak więc narzędzia pomiaru muszą dostarczać danych pozwalających na wystawienie oceny rzetelnej i obiektywnej przy zastosowaniu wspomnianych kryteriów. Należy je dobierać z uwzględnieniem specyfiki funkcjonowania ocenianej rzeczywistości. Nie każde bowiem narzędzie nadaje się do pomiaru i oceny dowolnej rzeczywistości. To truizmy, ale ich przypomnienie jest niezbędne w kontekście dyskusji o zasady oceniania badaczy humanistów.
Czy w realiach polskiej humanistyki zasadne jest stosowanie ocen bazujących głównie na punktach za publikacje w czasopismach?
Zasady oceny preferują publikowanie po angielsku w czasopismach z wyliczonym wskaźnikiem impact factor, czyli indeksowane w komercyjnej bazie Web of Science i umieszczane corocznie w „Journal Citation Report”. Inne czasopisma, obecne na tzw. ministerialnej liście B, pozwalają na zdobycie kilkukrotnie mniejszej liczby punktów mimo, że część z nich spełnia wszelkie kryteria dobrego czasopisma naukowego, o czym świadczy indeksowanie w bazie Scopus i posiadanie innego wskaźnika wpływu – SJR. Monografie i syntezy, mimo, że dla humanisty są największym osiągnięciem, także są niżej punktowane niż artykuły w czasopismach z wyliczonym IF.
U podstaw tego systemu oceny leży teza, że wartościowe prace publikują jedynie nieliczni badacze w dosyć ograniczonej grupie czasopism. W związku z tym sięganie po inne czasopisma to strata czasu. Taki system jest dalekim efektem badań Alfreda Lotki z lat 20. XX wieku, który miał ustalić, iż większość ważnych prac naukowych jest dziełem niewielkiej grupy badaczy oraz badań Samuela Bradforda z lat 30. XX wieku, który stwierdził, iż zdecydowaną większość wartościowych prac naukowych opublikowano w niedużej grupie czasopism. Jednakże wartość tych ustaleń jest obecnie negowana ze względu na niemożność uzyskania podobnych wyników w przypadku analizowania czasopism z większości dyscyplin naukowych, zwłaszcza z obszaru humanistyki i nauk społecznych. Polscy reformatorzy najwyraźniej zapomnieli, że Bradford ustalił jedynie, iż można wyodrębnić kilka wyraźnych grup czasopism w zależności od częstotliwości występowania w nich artykułów z danej dyscypliny czy specjalności naukowej, ale praktyka instytucji oceniających badaczy, pod wpływem Eugene Garfielda zaczęła utożsamiać te grupy z jakością publikowanych w nich artykułów. Wzbogacenie wskaźników wyliczonych w oparciu o prawo Bradforda analizą cytowań opartą na pomyśle Garfielda skłoniło wiele instytucji do postawienia tezy, iż większość istotnych publikacji w danej dyscyplinie naukowej ukazuje się w stosunkowo niewielkiej liczbie czasopism, a bardzo niewiele czasopism uzyskuje olbrzymią część ogółu cytowań. Jednakże takie przekonanie nie zawsze się sprawdza. W przypadku np. periodyków historycznych okazuje się, że dużych problemów nastręcza samo wyodrębnienie grup czasopism powiązanych z konkretnymi obszarami badawczymi, gdyż znacząca ich część ma charakter multi- i interdyscyplinarny, a to oznacza, że trudniej wyodrębnić w nich artykuły poświęcone konkretnym aspektom dziejów. Oznacza też, że artykuły mieszczące się w określonej specjalności pojawiają się w tej grupie znacznie rzadziej niż w czasopismach historycznych o profilu specjalistycznym, co oczywiście nie ma związku z jakością naukową danego czasopisma. Podobnie przedstawia się sytuacja z periodykami ogólnohistorycznymi akceptującymi różnorodne zagadnienia z historiografii, w których artykuły dotyczące dziejów poszczególnych państw lub epok pojawiają się stosunkowo rzadziej niż w czasopismach wyspecjalizowanych. Dodatkowe zaburzenie w próbie wnioskowania opartego na prawie Bradforda wywołuje fakt, iż redakcje poszczególnych czasopism przyjęły różną politykę w zakresie liczby artykułów publikowanych w ciągu roku (od kilkunastu do ponad stu). Fakt, że można wydzielić zasadnicze jądro czasopism, w których publikowana jest znacząca część artykułów poświęconych np. dziejom Francji, Niemiec, Hiszpanii, Starożytności, Średniowieczu, wojnom i rewolucjom, czy dziejom gospodarczym nie oznacza, że w tych czasopismach publikowane są prace najbardziej wartościowe dla danych obszarów badań i najczęściej cytowane. Oznacza jedynie, że są to przede wszystkim czasopisma wyspecjalizowane w określonej tematyce, dodatkowo publikujące rocznie więcej artykułów niż inne. W zasadniczym jądrze periodyków z dowolnego obszaru historiografii dobranych zgodnie z prawem Bradforda nie spotkamy raczej humanistycznych czasopism multi- i interdyscyplinarnych, bez względu na wartość publikowanych w nich artykułów.
Ostatnie kilkanaście lat dostarczyło nam powodów do poddawania w wątpliwość zasady, że publikowanie w czasopismach i wydawnictwach uznawanych za prestiżowe (m.in. ze względu na wskaźniki bibliometryczne) jest równoznaczne z tym, że dana publikacja prezentuje wysoką jakość naukową. W dziedzinie nauk humanistycznych na drastyczną niezgodność pomiędzy wskazaniami tej zasady, a faktyczną jakością prac naukowych zwrócił uwagę Alan Sokal. Doszedł on do wniosku, że w drugiej połowie XX wieku słynni europejscy humaniści publikujący na łamach wiodących czasopism naukowych i w prestiżowych wydawnictwach oraz zdobywający dużą liczbę cytowań często uprawiali pseudonaukę. Ukrywali brak sensownej treści pod płaszczykiem naukowej terminologii i żargonu, używali pojęć niezgodnie z ich znaczeniem, korzystali z naukowych teorii w oderwaniu od ich kontekstu, mieszali pojęcia i teorie z różnych dziedzin nauki, ulegali modom, prowadzili teoretyczne dyskursy niepodatne na sprawdziany empiryczne, manipulowali zdaniami i zwrotami pozbawionymi sensu. Sokal udowodnił też, że wystarczy napisać tekst, nawet kompletnie bzdurny, ale mieszczący się w opisanej powyżej konwencji, by przeszedł on pomyślnie proces recenzji i został opublikowany w tzw. wiodącym czasopiśmie
Problemem nauki jest także preferowanie wskaźnika impact factor stosowanego przez redakcję Web of Science. Krytykowany jest on za to, że uśrednia liczbę cytowań uzyskanych przez poszczególne artykuły opublikowane w danym czasopiśmie, a przez to nie radzi sobie z przypadkami, w których czasopismo może uzyskać wysoki wskaźnik cytowań dzięki pojedynczym, często cytowanym artykułom. Toleruje się w ten sposób sytuację, w której wysoki IF (czyli wysoką renomę naukową) może zostać przypisany także autorowi, który opublikował artykuły nie wywierające większego wpływu na naukę, bo rzadko cytowane. Zwraca się uwagę na fakt, że IF uwzględnia cytowania wyłącznie z okresu ostatnich dwóch lub pięciu lat, niezależnie od dziedziny wiedzy, którą reprezentuje czasopismo. Tymczasem obserwuje się duże zróżnicowanie przeciętnego czasu od ukazania się publikacji do jej cytowania dla różnych dyscyplin naukowych. W związku z tym IF czasami nie pokazuje rzeczywistego wpływu czasopisma na rozwój nauki. W kontekście oceny naukowców należy podkreślić, że ten wskaźnik wyliczany jest przez filadelfijski ISI wyłącznie dla czasopism, a nie dla badaczy. Poza tym, coś takiego jak „sumaryczny impact factor” badacza nie istnieje, mimo, że umieszczono go w rozporządzeniu o kryteriach habilitacji.
Na ważne skutki stosowania IF już dawno temu zwrócił uwagę Richard Monastersky. Stwierdził, że badacze zamiast skupiać się na istotnych problemach, które wcale nie muszą stać się naukowymi przebojami, zabiegają o tematy, na które panuje moda – czyli takie, które łatwiej będzie opublikować w wiodących czasopismach i zdobyć dzięki temu wysoką cytowalność. Dostrzegł też, że w redakcjach części czasopism rutynowo prosi się autorów o poruszanie tzw. tematów modnych oraz o cytowanie wcześniejszych artykułów z tych samych czasopism – taka polityka sztucznie podnosi wartość wskaźnika IF. Redakcje – w sposób świadomy, lub nie – biorą pod uwagę potencjalne wskaźniki cytowań przy podejmowaniu decyzji o opublikowaniu danego artykułu. Rzeczywista wartość naukowa pracy staje się w ten sposób mniej ważna.
Kolejne kontrowersje w sprawie wykorzystywania wskaźników bibliometrycznych i komercyjnych baz bibliograficznych do oceny dorobku naukowego wynikają z ich coraz częściej dostrzeganych ułomności. Podstawowym problemem jest fakt, że wskaźniki bibliometryczne opierają się na niekompletnych, stworzonych pod wpływem prawa Bradforda, bazach danych. Zapomniano też, że Eugene Garfield, założyciel filadelfijskiego ISI, pierwotnie zaproponował stworzenie indeksu cytowań naukowych jedynie dla dostarczenia naukowcom narzędzia do łatwego przeszukiwania literatury w celu znalezienia wcześniejszych prac na podobny temat. W przypadku Web of Science przede wszystkim krytykowany jest dobór czasopism. Humaniści i przedstawiciele nauk społecznych z krajów nie angielskojęzycznych uważają, że w tej bazie występuje zdecydowana nadreprezentacja czasopism amerykańskich, a z niezrozumiałych względów pomijane są wartościowe czasopisma nieamerykańskie, wydawane nie tylko w innych językach narodowych (co jest typowe i całkowicie zrozumiałe w przypadku większości dyscyplin z nauk humanistycznych i społecznych), lecz często także po angielsku (lub przynajmniej z dodatkiem tytułów i abstraktów artykułów oraz słów kluczowych w tym języku). Przykładowo, Art & Humanitiest Citation Index w 2013 r. w grupie ok. 1700 czasopism humanistycznych uwzględnia jedynie następujące polskie: Acta Poloniae Historica, Artibus et Historiae, Filozofia Nauki, Journal of Juristic Papyrology, Kwartalnik Historii Żydów, Poznan Studies in Contemporary Linguistics, Studia Logica i Teksty Drugie. Z kolei wśród ponad 2600 czasopism uwzględnionych w Social Science Citation Index w 2013 r. obecne są następujące polskie: Argumenta Oeconomica, Eastern European Countryside, International Journal of Occupational Safety and Ergonomics, New Educational Review, Polish Sociological Review, Poznan Studies in Contemporary Linguistics (występuje w obu indeksach), Problemy Ekorozwoju i Studia Socjologiczne. Sugestia, że tylko w wymienionych czasopismach publikowane są wartościowe prace, że wszystkie pozostałe, nieobecne w WoS, polskie czasopisma humanistyczne i obejmujące nauki społeczne nie prezentują większej wartości naukowej (a więc cytowania w artykułach tam publikowanych nie są istotne) lub nie wnoszą niczego do rozwoju nauki (bo nie są cytowane) byłaby absurdalna i pozbawiona wartości merytorycznej. Zasadność przekonań polskich reformatorów nauki, leżącego u podstaw dzisiejszych zasad oceny humanistów, rozwiewa analiza danych udostępnianych w „Journal Citation Report 2012”, dotyczących czasopism historycznych z wyliczonym IF. Wspomniane przekonania sprowadzają się do poglądu, że redakcja WoS wybrała czasopisma najlepsze, najczęściej cytowane, najbardziej wpływowe i prestiżowe. Skoro więc jest ich tak mało, to znaczy, że inne raczej nie zasługują na uwagę. Jednakże wystarczy przeanalizować liczby związane z cytowaniami w czasopismach historycznych z wyliczonym IF, by przekonać się, że jest inaczej. Logicznie rzecz biorąc, skoro w JCR są czasopisma najlepsze, to autorzy zamieszczanych w nich artykułów reprezentują światową elitę historyków i jeżeli w swoich pracach kogoś cytują, to niewątpliwie jest to inny historyk ze światowej elity, który opublikował ważną pracę. Analiza danych wykazuje jednak, że w periodykach uznanych przez redakcję WoS za wiodące i prestiżowe historycy cytują prace opublikowane w czasopismach spoza JCR od 2 do 37 razy częściej niż opublikowane w periodykach z tej listy. W ośmiu przypadkach różnica jest tak duża (od 8 do 37 razy), że skłania do zastanowienia się – czy to historycy pochopnie cytują głównie prace niewiele warte, bo opublikowane w czasopismach spoza JCR? Czy może jednak redaktorzy WoS popełnili kardynalny błąd pomijając dużą liczbę czasopism wartościowych? Do opowiedzenia się za drugim przypadkiem skłaniają wyliczenia badaczy z brytyjskiej Public Policy Group działającej przy London School of Economics, którzy ustalili, że w WoS jest indeksowanych jedynie od 11% do 27% wartościowych czasopism z poszczególnych dyscyplin humanistycznych, a według tych badaczy do obiektywnego przeprowadzania analiz bibliometrycznych nie nadają się bazy indeksujące mniej niż 75% artykułów z danej dyscypliny. Z porównania przeprowadzonego około dziesięciu lat temu (ale dalej aktualnego) przez Erica Archambault i Etienne Vignola-Gagné wynika, że czasopism humanistycznych i społecznych w bazie WoS, w porównaniu z uznawaną za najbardziej kompletną bazą Ulrich’s Periodicals Directory, jest proporcjonalnie mniej, np.: o 34% w przypadku wydawanych w Niemczech, o 24% z Francji, o 89% z Włoszech, o 75% z Hiszpanii i Belgii oraz o 87% wydawanych w Polsce. Natomiast czasopism wydawanych w Wielkiej Brytanii jest proporcjonalnie więcej w WoS – o 55%. Inna baza międzynarodowa – Scopus – indeksuje prawie dwa razy więcej czasopism humanistycznych niż WoS.
Międzynarodowe bazy bibliograficzne deprecjonują czasopisma związane z dyscyplinami, których paradygmat jest inny niż w naukach mających charakter uniwersalny i międzynarodowy (np. przyrodniczych, ścisłych, technicznych i medycznych), a obszar badań powiązany jest ściśle z lokalnymi językami, kulturami i grupami społecznymi, czyli przede wszystkim humanistyczne. Redakcje tych baz preferują nie tylko dyscypliny o charakterze uniwersalnym i ponadnarodowym, lecz także język publikacji właściwy dla tych obszarów nauki, czyli angielski. Dyskryminują tym samym te dyscypliny, jak na przykład historia, w których język publikacji najczęściej tożsamy jest z językiem badanych źródeł, dzieł kultury i grup społecznych. Wydają się abstrahować od faktu, że w takich dyscyplinach jak historiografia badania prowadzone w jednej części świata nie muszą być porównywalne do prowadzonych w ramach tej samej dyscypliny w innych państwach ze względu na odmienność stawianych celów, stosowanych metod i podejmowanych tematów badań. Nie uwzględniają faktu, że w każdym prawie państwie w języku narodowym powstaje 95%-98% prac historyków. Poza metodyką tworzenia wspomnianych baz pozostaje oświeceniowa rola humanistyki sprowadzająca się do zasady mówiącej, iż np. historyk publikuje prace nie tylko dla innych historyków, lecz także dla społeczeństwa, by oddziaływać na poziom znajomości dziejów, na to jak historię prezentują dziennikarze i jak nauczyciele nauczają o przeszłości. Podkreślić należy, że wiedza historyczna, w przeciwieństwie do np. medycznej, technicznej czy chemicznej, najczęściej nie potrzebuje pośrednictwa w postaci tzw. popularyzacji, by być zrozumiałą dla dużej części społeczeństwa.
Jak więc oceniać dorobek humanistów?
Biorąc pod uwagę potrzebę obiektywizacji oceny badaczy, w tym humanistów, należy poszukiwać takich form i narzędzi, które złagodzą wspomniane mankamenty i zobiektywizują proces oceny. W tym celu można rozszerzyć zakres danych służących wyliczaniu wskaźników bibliometrycznych, np. poprzez uwzględnianie także lub przede wszystkim bazy Scopus. Baza ta zapewnia nie tylko większy niż WoS wybór indeksowanych czasopism, lecz także poprawniej skonstruowany wskaźnik wpływu – SJR (SCImago Journal Rank). Określa on ragę periodyku w oparciu o liczbę cytowań, których waga zależy od jakość czasopism cytujących. Uwzględnia jedynie recenzowane artykuły naukowe, bez listów do redakcji, wywiadów i komentarzy. Wskaźnik SJR dla czasopisma za dany rok obliczony jest na podstawie cytowań z trzech poprzednich lat. W naukach humanistycznych i społecznych pożądane byłoby tworzenie dziedzinowych baz cytowań uwzględniających czasopisma polskie. Przykładem takiego rozwiązania są bazy Cytbin (http://www1.bg.us.edu.pl/bazy/cytbin/) i Arton (http://www1.bg.us.edu.pl/arton_inf/arton.htm). Konieczne jest także (przynajmniej w humanistyce i naukach społecznych) uwzględnianie cytowań w monografiach i pracach zbiorowych. Szansę na obiektywizację miar bibliometrycznych wykorzystywanych do oceny humanistów należy upatrywać w takich inicjatywach jak Pol-index (https://pbn.nauka.gov.pl/polindex/info/), gdzie mają być zgromadzone dane o cytowaniach w polskich czasopismach z tzw. „ministerialnej listy B”.
Dużo większe możliwości pojawią się gdy obok cytowalności danej publikacji uwzględnimy jej pobieralność z Internetu. Oczywiście nie jest możliwe stworzenie takiego wskaźnika bez wcześniejszego zapełnienia Sieci elektronicznymi wersjami książek i artykułów. Jednakże ten proces już trwa – coraz większa grupa czasopism naukowych przyjmuje postać elektroniczną, dostępną bezpłatnie, w coraz większym stopniu rozwijają się zasoby bibliotek cyfrowych i repozytoriów naukowych. Większe problemy występują natomiast z przemianą mentalną u badaczy. Muszą oni bowiem zrozumieć, że w XXI wieku odbiorcami ich naukowych studiów są już nie tylko inni badacze, lecz także coraz liczniejsze zastępy specjalistów, którzy do swojej pracy potrzebują najnowszych wyników badań, i którzy swojej działalności zawodowej nie mogą opierać na akademickich podręcznikach i różnych formach wiedzy popularno-naukowej. W związku z tym zapewnienie takim grupom dostępu do najnowszych artykułów i książek naukowych staje się problemem kluczowym z punktu widzenia rozwoju społeczno-gospodarczego, a pobieralność tych prac z zasobów internetowych niewątpliwie świadczy o stopniu ich popularności i społecznej przydatności. Pojawiły się już pierwsze badania tego wskaźnika. Ronald Snijder dokonał analizy różnorodnych aspektów pobieralności książek udostępnianych przez Open Access Publishing in European Networks Library (http://www.oapen.org/home). Ustalił, że powiązanie danych dotyczących odsetka pobrań dla każdego typu dostawcy książek (autor, uczelnia, wydawnictwo) ze średnią liczbą pobrań dla grup tytułów pozwala na ocenę wpływu i użyteczności badanych prac. W ten sposób bibliometria uzupełniana jest webometrią (mierzenie zjawisk ilościowych występujących w Internecie).
Jeszcze większą rewolucję we wskaźnikach wykorzystywanych do oceny badaczy i ich prac może przynieść zjawisko webometryczne zwane społecznościowym indeksem cytowań. Polega ono na zliczaniu recenzji, cytowań, wzmianek i opinii na temat określonego artykułu lub książki pojawiających się w naukowych i ogólnych serwisach społecznościowych, forach dyskusyjnych, blogach, serwisach zarządzających bibliografią, platformach dzielenia się prezentacjami oraz repozytoriach naukowych. Służą do tego takie narzędzia jak Altmetric (http://www.altmetric.com/) i Total Impact (http://impactstory.org/). Potrafią zbierać informacje z wymienionych obszarów Internetu o książkach i artykułach, które w Sieci umieszczono z dodatkiem identyfikatora DOI (digital object identifier – cyfrowy identyfikator dokumentu elektronicznego). W ten sposób mierzona jest popularność prac danego autora wśród użytkowników określonych zasobów Internetu oraz ich wpływ na innych badaczy i specjalistów.
Jednakże należy mieć świadomość, że przynajmniej w humanistyce podstawą oceny badacza musi być ocena jakościowa jego prac. Podstawową wadą tej metody, według krytyków, jest podatność na koleżeńskie recenzje. Ale z tym problemem można łatwo uporać się. Uczelniom należy narzucić obowiązek udostępniania w Internecie recenzji opublikowanych prac (artykułów i książek) powstałych w ramach obowiązków służbowych i zaliczanych do dorobku naukowego. Recenzje powinny być podpisane imieniem i nazwiskiem recenzenta, bo to najlepszy sposób na zmobilizowanie do uczciwości i rzetelności. Autor zrecenzowanej pracy powinien do recenzji dołączyć swój stosunek do zawartych w niej uwag. Serwis, w którym recenzje byłyby zamieszczane, powinien posiadać funkcjonalność pozwalającą na komentowanie recenzji i samych prac (te bowiem powinny być dostępne w Internecie na zasadach open access – przynajmniej preprinty). Jawność i dostępność dorobku oraz recenzji jest podstawą uczciwości i rzetelności przy ocenie jakościowej.
© Zbigniew Osiński
Dr hab. Zbigniew Osiński jest profesorem w Zakładzie Informatologii na Uniwersytecie Marii Curie-Skłodowskiej w Lublinie.