Nejdelší Karlův pobyt na zámku souvisel s jeho službou u dragounů ve Staré Boleslavi. Karel byl posledním majitelem zámku před rokem 1918