Senieji Plungės parko rūmai stovėjo priešais dabartinius centrinius rūmus. Tai buvo dviejų aukštų pastatas. Pirmasis aukštas – mūrinis, antrasis – medinis. Pastato priekį puošė keturios ąžuolinės kolonos. Žinoma, kad šiuose rūmuose yra lankęsis ir Rusijos caras Aleksandras I.

Ėjo 1807-ieji. Europoje pradėjęs įsigalėti Napoleonas ėmė ruoštis karui su Rusija. Aleksandras I- asis tai žinojo ir nusprendė geriau susipažinti su vakarine imperijos siena, kurią pirmiausia galėjo pamėginti kirsti Napoleonas. Kelionės metu Aleksandras I su didele palyda atvyko ir į Plungę. Jis buvo iškilmingai sutiktas prie Plungės senųjų dvaro rūmų. Tradicinė duona ir druska imperatoriui buvo pateikta medinėje dekoruotoje lėkštėje. Ši lėkštė yra išlikusi, saugoma Žemaičių dailės muziejuje.

Dabar nuo rūmų terasos su apžvalgos aikštele atsiveria puikūs reginiai į parko gilumą ir Babrungo upelį.

Manoma, kad šiuose rūmuose yra lankęsis ir Rusijos caras Aleksandras I.