A mesterséges intelligencia oktatási alkalmazása egyre fontosabb kérdés, különösen a természettudományos tárgyak esetében, ahol nemcsak ismeretek felidézésére, hanem fogalmi megértésre, számolásra és következetes érvelésre is szükség van. A kutatásban 13 nagy nyelvi modell-konfigurációt vizsgáltak 985 magyar nyelvű, szöveges, feleletválasztós fizikaérettségi-feladaton. A feladatokat fizikai témakörök, valamint gondolkodási szintek szerint is csoportosították, elemezték.

Az eredmények szerint a legerősebb, következtetésre optimalizált modellek közel hibátlan teljesítményt értek el, és jelentősen meghaladták a magyar fizikaérettségi 2020–2025 közötti átlagos emberi eredményeit. Ugyanakkor a modellek teljesítménye nem volt egyenletes: a legtöbb rendszer a tényszerű tudást igénylő kérdésekben szerepelt a legjobban, míg a számolási és különösen a kritikai gondolkodást igénylő feladatok nagyobb kihívást jelentettek.

A témakörök között is jelentős különbségek mutatkoztak. A modellek különösen jól teljesítettek a modern fizika és a magfizika feladataiban, míg a mechanika és a hőtan kritikai gondolkodást igénylő kérdései nehezebbnek bizonyultak. Ezekben a feladatokban gyakran nem elég egy összefüggés vagy ismert fogalom felismerése: a sikeres megoldáshoz a feltételek pontos értelmezésére, az idealizációk következetes kezelésére és több lépéses fizikai modellalkotásra van szükség.

A kutatás pedagógiai szempontból arra hívja fel a figyelmet, hogy a nagy nyelvi modellek már hatékonyan támogathatják a gyakorlást, az önellenőrzést és bizonyos rutinszerű értékelési helyzeteket. A magasabb szintű fizikai gondolkodás, a modellalkotás és az érvelés minőségének megítélése azonban továbbra is olyan terület, ahol a tanári szakértelem nélkülözhetetlen.