Auf einer Höhe von 886 m ü. M., 3 km nördlich von Kašperské Hory, erstreckt sich die höchstgelegene Königs-Burg Böhmens. Dieses majestätische gotische Bauwerk ist benannt nach dem Gründer, dem böhmischen König und Kaiser des Heiligen Römischen Reiches Karl IV., der 1356 Vít Hedvábný mit dem Bau betraute. Die Burg war schon nach 5 Jahren Bauzeit fertig. Karlsberg diente schon vom Anfang an der Bewachung des neu errichteten Handelswegs „Goldener Steig“, dem Schutz der Gold-Gruben in der Umgebung von Kašperské Hory sowie der Überwachung der Grenze zu Bayern.
Die Burg hatte eine Reihe von bedeutenden Besitzern, wie z. B. den Prager Erzbischof Jan Oèko aus Vlašim, das Adelsgeschlecht Zmrzlík aus Svojšín, das Adelsgeschlecht Šternberk und Švamberkové und den schlesischen Ritter Jiøí aus Lokšany. Alle hatten sie die Burg vom Kaiser für eine bestimmte Summe als Lehen zur Verfügung gestellt bekommen.
