Areál středověkého gotického hradu z přelomu 13. a 14. stol. patří k ojedinělým dílům české hradní architektury. Jeho dominantu tvoří zřícenina gotického paláce Rajského domu a věže Putna, obě části spojuje mohutný kamenný most. Po r. 1395 byly na hradě ukryty české korunovační klenoty. V 15. stol. bylo vystavěno nové opevnění s věžemi, baštami a vrátnicí. Na dolním nádvoří byl vybudován pivovar a vinopalna. Na počátku 17. století bylo vystavěno renesanční zámecké křídlo zvané Huertovo. Posledním majitelem panství byl Josef Windischgrätz, který ve Velharticích pobýval do roku 1946, poté byl majetek zkonfiskován.