Het kerkgebouw, dat tot 1976 in gebruik was bij de hervormde gemeente, is sinds 1981 eigendom van de gereformeerde kerk. De toren van de kerk is de hoogste van de stad.

De eenbeukige gotische kerk werd in 1423 gebouwd op de plaats van een kapel uit ongeveer 1380. Voor de Reformatie was het kerkgebouw gewijd aan Onze Lieve Vrouwe (Maria). In 1450 werd de kerk al vergroot, wat in het interieur nog zichtbaar is. Destijds werd er gemetseld met leem, later is de kerk met cement ingevoegd.

Aan de westzijde, aan de kant van de toren, werd in 1660 een galerij geplaatst, in 1781 werd het meubilair vernieuwd. Het dak is in 1911 vernieuwd en voorzien van leien.

De eiken preekstoel uit de zeventiende eeuw is afkomstig uit de hervormde kerk van het verdronken dorp Beulake, nabij Giethoorn.

Bij de overname door de gereformeerde kerk bleken de banken in slechte staat te verkeren. Ze werden vervangen door eikenhouten banken uit de Grote Kerk in Steenwijk.

In de maanden juli en augustus en daarna tot en met 9 september (Open Monumentendag) is de Kleine of Mariakerk op dinsdag, donderdag en zaterdag te bezichtigen van 14.00 tot 16.30 uur, in juni ook op zaterdag.