Rod Desfours de Mont et Atthienville pocházel z Francie. Do Čech přichází v době třicetileté války, kdy Mikuláš Desfours sloužil dlouhá léta v armádách Albrechta z Valdštejna. Vysloužil si plukovnickou hodnost a panství Hrubý Rohozec s Malou Skálou.
Vnuk Mikuláše Desfoursa, hrabě Jan Ferdinand Desfours, koupil v roce 1731 hrádecké panství a začal ještě v témže roce s přestavbou renesančního zámku. Citlivě přistavil ke starému renesančnímu zámku nový barokní. Budova renesančního zámku sloužila již jen pro správu rozsáhlého panství. Dispoziční podoba této úpravy se zachovala skoro nezměněna do dnešních dnů. Nový zámek je jednopatrová vícekřídlá budova, zastřešená sedlovými střechami s valbovým ukončením. Hlavní východní vstup do zámku má dvě krátká křídla vytvářející čestný dvůr, otevřený do návsi. Uprostřed je průjezd zdůrazněný v průčelí rizalitem s erbem hraběcího rodu Desfoursů a balkonem s kovaným zábradlím, kde je vpleteno znamení dalších majitelů panství, Sturmfederů. Průjezd ústí do dvora omezeného zleva protáhlým obdélným jižním křídlem a ze severu křídlem s kaplí sv. Valburgy. V této části se „Nový zámek“ plynule napojuje na „Starý zámek“. Na jižní křídlo, obrácená hlavním průčelím do zahrady, navazovalo krátké příčné patrové křídlo, uzavírající nádvoří a dále čtverhranná věž. Toto krátké křídlo i věž byly odstraněny po roce 1976.
V díle Jana Ferdinanda pokračoval jeho synovec Bedřich Desfours.
Kompozicí a detaily průčelí i tvarem schodiště je zámek v Hrádku velmi podobný Pachtovskému paláci na Anenském náměstí v Praze. Pachtův palác a další významné stavby jak v Praze, tak i na jiných místech Čech jsou dílem nejvýznačnějšího architekta českého rokoka Jana Josefa Wircha.
Podoba hrádeckého zámku se od této rokokové, neboli pozdně barokní přestavby, provedené druhým majitelem zámku z rodu Desfours, Bedřichem, do dnešních dnů prakticky nezměnila. Zmizela pouze věž v jižním křídle zámku, která v roce 1976 spadla. Zámek vlastně skrývá dvě vzácné stavby – výstavní renesanční zámek a dílo jednoho z nejvýznamnějších rokokových architektů v Čechách, již několikrát zmiňovaného Jana Josefa Wircha.
Další zásluhou Bedřicha Desfoursa, viditelnou do dnešních dnů, je postavení kaple sv. Valburgy v roce 1775.
O zámecké kapli vám budeme ještě vyprávět. Nyní se ale podívejte do vitríny k vystaveným knihám. Knihy pochází z původní zámecké knihovny. Jsou psané latinsky, italsky, německy a anglicky. V otevřené knize jsou vidět poznámky Bedřicha Desfoursa z roku 1784.
Obrázek krásné mladé dámy patří Adéle Desfoursové, vnučce Bedřicha Desfoursa. Adéla byla sestrou další dědičky hrádeckého panství po Bedřichovi Desfourovi, Romany Františky. Od roku 1814 se tyto dvě mladé dámy spolu se svojí energickou matkou staraly o celé hrádecko-velhartické panství. Se správou jim pomáhal baron František Hildprandt, ke kterému tyto ženy jezdily pro radu na nedaleký zámek Blatná. Zde se Adéla seznámila s Janem Evangelistou Purkyněm, později známým přírodovědcem, který v blatenském zámku v té době působil jako vychovatel. Láska, která vzplála mezi mladým vzdělaným mužem a krásnou komtesou, je doložena v korespondenci. Adéla byla nejen krásná, ale také velmi vzdělaná, inteligentní a citlivá žena, která bohužel nikdy nenalezla rodinné štěstí. Dalším důležitým mužem jejího mládí byl Matyáš Benjamin Kosler, známý Jana Evangelisty Purkyně z pražských studií. Elegantní urostlý muž se stal správcem hrádeckého panství. Byl nejen velmi schopným hospodářem a právníkem, ale také zábavným společníkem a výborný zpěvákem a tanečníkem. Mladá komtesa Adéla jím byl okouzlena. Pod vlivem romantických ideálů si nijak nepřipouštěla rozdílnost jejich společenského postavení a ve své čisté duši viděla jen člověka a ne rod, tituly a postavení. O své lásce a touze provdat se za neurozeného Benjamina se Adéla svěřila své matce, která ji ale razantně řekla: „Ne!“
Její sestra, majitelka hrádeckého panství, Romana Františka, se v roce 1823 provdala za Karla Teodora Sturmfedera z Oppenweilern. Jejich manželské štěstí trvalo jen tři roky. Romana Františka umřela při druhém porodu mrtvé holčičky. A krátce na to umřel i jejich prvorozený syn. Karel Teodor Sturmfeder se stal jediným majitelem panství. Několikrát nabízel svobodné Adéle manželství, ale ta jej odmítla a raději spolu se svou matkou v roce 1827 opustila Hrádek, který jejich rodině patřil téměř sto let.
Adéla spolu s matkou cestovala po Evropě, navštěvovala známé a příbuzné, až našla domov v italském Meranu. Krásná a velmi okouzlující Adéla si všude, kde žila, získala náklonnost a přátelství tamní společnosti. Muži ji milovali, ale měli před ní ostych. Adéla se nikdy nevdala. Její život skončil tragicky, kdy ve svých 46 letech umřela na následky těžkých popálenin, které si nešťastně způsobila o hořící svící, když se chystala na ples.