Das Pfarrhaus wurde 1728 vom Schwarzenbergschen Fürsten Adam František gestiftet. Es war ein einstöckiges Haus mit dem Halbwalmdach und Volksarchitektur-Elementen. In dieses Pfarrhaus kam oft der tschechische Schauspieler Zdeněk Štěpánek mit seiner Familie zu Besuch - seine Ehefrau ist am hiesigen Friedhof begraben. In der gleichen Zeit wie das Pfarrhaus gründete Adam František Schwarzenberg die Schule von  Horní Vltavice.