Gyöngyös jelképeinek is tartják azokat a kőoroszlánokat, amelyek az Orczy-kert kapuját őrzik. A város keleti részén elterülő klasszicista stílusú Orczy-kastély a település egyik kulturális központjának számít, ám az elmúlt évtizedek komoly nyomot hagytak rajta: bár a város tulajdonában volt, évtizedeken keresztül több "bérlője" is akadt, ám gazdája tulajdonképpen nem volt.
A helyzet 1984-ben változott, ekkor az épület a Heves Megyei Múzeumok Igazgatóságának tulajdonába került, s itt kapott helyet a Mátra Múzeum. A múzeum 2005-ig volt nyitva, a felújítást követően ismét várja látogatóit.
Az igény a város polgáraiban és vezetésében már régen élt, hogy ismét méltó körülmények fogadják a kastély és a múzeum látogatóit. A felújítás közvetlen előkészületeként 2000-ben a kert régészeti feltárása kezdődött el. A feltáró munkálatokkal párhuzamosan kiépült a kastély szennyvízhálózata is. A felújítás további szakaszában a kastély műemléki feltárása következett, amelynek köszönhetően ismét láthatóvá vált a belső udvar homlokzati részén az egykori árkádos emelet és földszint faragott oszlopsora, valamint az emelet téglából rakott mellvédje. A szobákban és a folyosókon barokk kori falfestmények kerültek elő.
A felújítás kezdeti szakasza után a kertet tulajdonló városi és a kastély tulajdonjogával rendelkező megyei önkormányzat gesztori megállapodást kötött. A megállapodás értelmében közösen pályáztak a Regionális Operatív Program pályázatán, a kastély felújítására és a kert revitalizációjára kérve uniós pénzeket. Az előzetes koncepciótervek ismeretében kiírt tervezési pályázatot a gyöngyösi Grafit 37 tervezőiroda nyerte. Az elkészített részletes megvalósíthatósági tanulmány olyan átfogó felújításnak teremtette meg az alapját, mely nemcsak a kastélyt, hanem annak környezetét, az egykori angolkert megmaradt részének újra életre keltését, illetve a múzeum jelenlegi és jövőbeni funkcióit is figyelembe vette. A beruházás a ROP 1.1.3 pályázaton elnyert 820 millió forintos támogatással 2005 tavaszán elkezdődhetett. Az átépítés alatt a múzeumnak teljes egészében el kellett hagynia az épületet, ezzel a költségekbe a kiállítások kiköltöztetésének, a régi kiállítások bontásának költségeit is bele kellett számítani.
A felújítás során újra kibontották a feltételezések szerint 1826-ban befalazott és így szinte teljesen eltűnt egykori kosáríves nyitott folyosókat, új tereket alakítottak ki és lefedték az eladdig nyitott udvart, kicserélték a tetőszerkezetet. A múzeum épülete így alkalmassá vált nagyobb rendezvények megtartására, az új üvegtetős múzeumi területen légfűtést alakítottak ki. Az épületben a teljes közmű- és energiaellátást is felújították, ehhez kapcsolódóan a központi tér is új díszkivilágítást kapott.
A belső munkálatok mellett a kert helyreállítása is megkezdődött. Ennek során visszaállították a kert egykori kerítését s felújították a kert délnyugati sarkán egykor állt kis sarokbástyát, az úgynevezett gloriettet is és hasonló - a műemléki környezethez kapcsolódó - kis épületet kapott az északnyugati oldal is.
A délkeleti oldalon, az oroszlános kapu mellett álló, korábbi földszintes gloriettet a tervezők a múzeum pénztárának és idegenforgalmi központjának álmodták meg. Itt a mozgássérültek számára a belépést segítő járdát alakítottak ki. A látogatók immár saját parkolóban is hagyhatják kocsijukat.
Az épület teljes és a kert részleges műszaki átadása 2007 januárjában történt meg, a nagyközönség először a hónap közepén megrendezett városbálon látogathatta meg a kastélyt. Május óta már a múzeum is várja a látogatókat.
Az összetett beruházás második ütemét a kert átalakításának véglegesítése jelentette, ezt idén őszre fejezték be. A tervek szerint az utolsó beruházási körben egy háromszintes természettudományi kiállítás lesz a kert északkeleti szegletén, a korábbi neogót üvegház, az orangerie helyén. A természettudományi pavilonban pálmaház, kávézó és étterem is nyílik.
