V lokalite nazývanej Hradovisko nad Jelšavou sa zachovali múry polygonálneho presbytéria gotického kostola, ktoré sú pozostatkom staršieho hradného komplexu. Táto situácia vytvára zaujímavý prierez dejinami miesta — od ranostredovekej drevenej pevnosti až po neskoršie kamenné sakrálne stavby.

Presná chronológia a podoba pôvodného hradu nie je jasná, pretože v oblasti nebol vykonaný hĺbkový archeologický výskum a nezachovali sa písomné dokumenty. Prvá písomná zmienka o hrade pochádza z roku 1243, a predpokladá sa, že pôvodnú pevnosť dal na prelome 12. a 13. storočia zriadiť uhorský kráľ. Pôvodne šlo o drevenú stavbu chránenú valmi a priekopami.

Historický význam miesta spočíval najmä v obrane ťažby kovov — podľa dochovaných údajov bola tu zriadená prvá kráľovská pevnosť na ochranu tejto činnosti. Už na konci 13. storočia však hrad stratil svoju funkciu, čo sa odrazilo aj v postupnej premene areálu a vzniku sakrálnych stavieb, ktorých zvyšky dnes vidno.

Pre návštevníka je Jelšavský hrad cenným príkladom zaniknutého hradiska s dodatočnou gotickou architektúrou. Zachované múry presbytéria dávajú tušiť viacvrstvovú históriu miesta, hoci mnohé otázky zostávajú nezodpovedané bez ďalšieho výskumu. Pri návšteve je vhodné rešpektovať pamäť miesta a zachované múry, pretože ide o dôležitý fragment miestneho stredovekého dedičstva.