Замок был основан в середине XIII века дворянином Чехом из Будеёвиц на скале высотой 83 метра над рекой Влтавой недалеко от местечка Подграби и выстроен в готическом стиле. Его первоначальное название — замок Фрауенберг. Позднее он неоднократно перестраивался, приобретая то ренессансные, то барочные черты. За первые 400 лет существования (XIII—XVII век) замок сменил 26 хозяев [1]
В середине XVII века (в 1660 году) замок стал собственностью рода Шварценбергов (владели также Чески Крумловым, и именно с этой фамилией связан современный облик замка. В XIX веке замок подвергся значительной реконструкции в стиле неоготики. В качестве образца для перестройки замка послужил Виндзорский замок, архитектором проекта реконструкции является венский архитектор Франтишек Бера. Идея создания «Чешского Виндзора», как неофициально именуется замок[1], принадлежала одной из владелиц замка — герцогине Элеоноре Шварценберг. Шварценберги владели замком вплоть до 1945 года.