Mennyiségtől a minőség felé – Konferencia az Akadémián a kutatásértékelés új irányairól

A konferenciát megnyitó előadásában Kollár László akadémikus, az MTA főtitkára azt mondta: a tudományos munkában a mérhetőség sokszor felülírja a valódi tudományos értéket. „A tudományos kutatások során a tudás mennyisége helyett egyre inkább a könyvelhető mennyiséget nézzük. A mérési eredmény sok esetben maga lett a cél, de ezáltal könnyen manipulálható, helyettesítő indikátorrá vált” – fogalmazott. Hozzátette, a mérés elkerülhetetlen, de a minőségi döntések meghozatalát is biztosítani kell.

Kollár László kitért a sokszor vitatott egyetemi rangsorokra, és példákkal illusztrálta a visszásságokat. Egy ausztrál egyetem például a kutatási eredmények javítása érdekében kiváló kutatók helyett menedzsereket alkalmazott, kizárólag azért, hogy jobb helyezést érjen el a különböző rangsorokban.

Kollár László (A konferencián készített képgaléria a fotóra kattintva nézhető meg) Fotó: mta.hu / Szigeti Tamás

Az ezekkel kapcsolatos fenntartásokat mutatja, hogy a közelmúltban több vezető európai egyetem – köztük a párizsi Sorbonne – úgy döntött, hogy nem szolgáltat adatokat a THE listájához, összhangban a CoARA egyezmény vállalásaival. A több mint 800 tagot számláló Európai Egyetemi Szövetség is vizsgálta a problémát, és megállapította, hogy a rangsoroknak több hibájuk is van. Viszonylag kevés a releváns adat, miközben nem eléggé átlátható a rendszer, és jól láthatóan megjelent az anyagi érdekeltség is. Sok esetben nem veszik figyelembe a rangsorok az egyetemek sokszínűségét sem. Mindezek miatt a szövetség szerint az egyetemeknek nem szabad a rangsorok szerint készíteni a stratégiájukat, hanem helyette átfogó intézményi stratégiára van szükség.

Kollár László az intézményi értékelési problémák mellett kitért az egyéni kutatói teljesítmény mérésével kapcsolatos anomáliákra, így például a cikkvásárlásra, az affiliációk megvásárlására, valamint a kifogásolható gyakorlatot folytató (gyakran predátornak nevezett) folyóiratok terjedésére. Utalt arra a 2022-es esetre, amikor egy kutató 176 cikket publikált, ami azt jelentette volna, hogy átlagosan minden második nap publikált – ez szerinte a rendszer abszurditását mutatja.

A predátor folyóiratok példáján keresztül arra is rámutatott, hogy a gyorsított, megalapozatlan bírálati folyamatok és a megnövelt publikációs díjak a tudományos hitelességet veszélyeztetik.

A problémák egyik gyökere szerinte az aránytalan haszonelvűségben keresendő. Ezzel kapcsolatban a Nobel-díjas akadémikust, Karikó Katalin gondolatait idézte fel, mely szerint a cél nem az, hogy sok cikket írjunk, hanem hogy megismerjük a világot. A kiváló kutatás öröm, amelynek következménye a cikk.

A számszaki méréseket értékelve Kollár László egy SWOT-analízis alapján az erősségükként azt említette, hogy nem szubjektívek, gyengeségükként, hogy fontos szempontokat hagyhatnak figyelmen kívül, lehetőségként, hogy ösztönözhetik a teljesítményt, veszélyként pedig, hogy torzíthatják a viselkedést.

A főtitkár szerint az intézmények szintjén elkerülhetetlen a számok alapján történő minősítés, az egyéni értékelésben viszont a csúcsteljesítményre kell koncentrálni, nem a kumulatív mutatókra.

Zárszavában hangsúlyozta: a tudomány hitelességének és átláthatóságának megőrzése közös felelősség. „Mérni kell, de emellett a minőségértékelés is elengedhetetlen” – fogalmazott, hozzátéve, hogy a tudományos közösségnek magának kell fellépnie az etikátlan gyakorlatok ellen. A környezet szerepét kiemelt jelentőségűnek nevezte. Mint mondta, olyan környezet kell, amelyik értékeli a valós teljesítményt, és elutasítja a visszaéléseket, továbbá olyan szabályok, amelyek nem csábítanak csúsztatásra.

Fotó: mta.hu / Szigeti Tamás

A 15 hazai intézmény részvételével működő CoARA Magyar Munkacsoport által szervezett tanácskozás iránti nagy érdeklődés jól mutatta, hogy a tanácskozáson tárgyalt témák fontosak a hazai kutatói közösség számára. „Nincsenek tiszta válaszaink a problémákra – mondta az mta.hu-nak Kollár László a konferenciát követően. – A mérések, mint minimumkövetelések ugyan fontosak, de önmagukban nem alkalmasak az objektív értékelésre.” Az egyetemi rangsorokról szólva úgy fogalmazott, hogy azokkal együtt kell élni, de ellen kell állni annak, hogy azokra alapozzuk a stratégiánkat. Mint az az egyik panelbeszélgetésen elhangzott, a listák elkezdtek kicsit „idomulni” a vezető egyetemekhez, amelyeknek egyébként kevésbé fontos, hogy rajta legyenek egy rangsoron, mint egy olyan nem élvonalbeli egyetemnek, amely így tud forrást és hallgatót bevonzani magához.

Kollár László azt reméli, hogy az Akadémia székházában rendezett konferencia is hozzájárul ahhoz, hogy a CoARA elveit jobban megismerjék, és szélesebb körben támogassák.

„Minél több kutatót szeretnénk szembesíteni azzal, hogy a kutatásértékeléssel kapcsolatos problémákkal foglalkozni kell. Lépésről lépésre kell haladnunk”

– mondta Kollár László, aki egy ilyen lépésnek nevezte például, amikor az MTA a Lendület Program bírálatához az Európai Kutatási Tanács ERC programjához hasonlóan narratív önéletrajzot kért a pályázóktól. „Mint ahogy Sean Sapcariu, a CoARA's "Experiments in Assessment" working group vezetőjének előadásából kiderült, előzetesen a megkérdezettek nem örültek a narratív CV bevezetésének, de utólag a felmérések szerint mind a pályázók, mind pedig a bírálók túlnyomó többsége pozitívan fogadta. Ez pedig mindenkinek jó volt, hiszen ez a lépés is segített abban, hogy reálisabb bírálói döntések szülessenek.”