Die Burg entstand am Anfang des 14. Jahrhunderts über der Gemeinde Velhartice. Die Festung gründete wahrscheinlich der Herr Bušek von Velhartice, der auch den Burgpalast mit einer mächtigen Wand errichtete. In der nächsten Entwicklungsperiode wurde ein mächtiger vorgeschobener prismatischer Turm erbaut, der durch eine einmalige Steinbrücke mit dem alten Palast verbunden wurde. Menhart von Hradec, seit 1436 der höchste Burggraf von Karlštejn (Karlstein), wollte die Burg befestigen, um hier die Krönungskleinodien aufbewahren zu können, die hierorts während des Streits von Menhart und Jiøí von Podìbrady verlagert wurden.
Später kam die Burg an die Herren Švihovský von Riesenburg und Zdenìk Lev von Rožmitál. Nach einer Ständeerhebung gewann der kaiserliche General Baltazar de Marradas die Burg und verkaufte sie an den bekannten don Martin de Hoeff Huerta weiter. Dieser hat die durch den Krieg zerstörte Burg grundlegend neu gestaltet. Später blieb die Burg schon fast unverändert.
Die letzten Inhaber waren bis zu 1945 die Herren von Windischgrätz.
Die Besucher der spätgotischen Burg, eines nationalen Kulturdenkmals, können zwischen zwei Rundgängen wählen und ein audiovisuelles Programm anschauen.