Nejvýznamnější památkou ve městě, zmiňované v pramenech již v roce 1224, jsou zříceniny kdysi slavného královského hradu Brumov. Po rozsáhlém archeologickém průzkumu v letech 1977 - 1982 byl hrad opraven a v roce 2000 slavnostně předán veřejnosti. Ve sklepeních ze 16. století je expozice o historii místa a jsou zde uloženy vzácné nálezy. Dolní hrad je využíván ke kulturním a společenským událostem.