Ruševine spadajo med prve zidane in dobro utrjene fevdalne postojanke na našem območju. Začetki segajo v 10. stoletje, prvotna stavba je bila postavljena na strmem pomolu nad polskavskim potokom, tako da je bil stolp za prve Gromberžane bivališče in utrdba hkrati. Ruševine nakazujejo, da se je Gromberg v pravi grad razširil šele v poznem srednjem veku, že v 17. stoletju pa je začel propadati.