Tuomet jis priklausė Jonui Lenartavičiui, iš kurio šias valdas 1584 m. nusipirko iš Prūsijos atsikėlęs pirklys bei LDK iždininkas, Kauno pilies raštininkas Krišpinas Kiršenšteinas. Jo palikuonis Jonas Jeronimas Kiršenšteinas tapo žemaičių vyskupu ir mėgo gyventi tėviškėje. dvaras atiteko Karpiams, kurie jį valdė iki 1807 m., kol kairiakrantė Lietuva priklausė Prūsijai. Garsiausias iš Karpių – žemaičių vyskupas Juozapas Mikalojus Karpis taip pat mirė 1739 m. Kiduliuose. Kidulių dvare viešėjo Prūsijos karalius Frydrichas Vilhelmas III, ruošdamasis Tilžėje pasirašyti pralaimėjimo sutartį su Prancūzijos imperatoriumi Napoleonu. Jis iki vidurnakčio sėdėdavo mažame dvaro kambarėlyje prie lango ir nostalgiškai spoksodavo į pasroviui plaukiančius ar Jurbarko uoste stovinčius laivus. Kartais jo gyvenimą paįvairindavo prabangiu keltu atplaukiantis Rusijos caras Aleksandras I. Tuomet jie vaikštinėdavo parko alėjomis ir nelinksmai kalbėdavosi. 1812 m. birželį pro Kidulius didingai praėjo Napoleono kariuomenė, o 1813 m. pradžioje jau priešinga kryptimi žygiavo caro armijos generolo leitenanto Piotro Vitgenšteino korpusas. Po karų su Napoleonu dvaras atiteko generolui leitenantui, baronui Jonui von Ofenbergui. Tuomet Kidulių dvaras vėl suklestėjo ir buvo vadinamas pilimi. Naujasis Kidulių dvaro šeimininkas sutvarkė parką, visur prisodino gražių, iš tolimesnių kraštų atvežtų gėlių. Jis labai mėgo sodininkauti ir pats prižiūrėjo sodo medžius, net oranžeriją buvo įkūręs. Šimtametis parkas ir dabar mena tuos laikus. Pirmojo pasaulinio karo metais Kidulių dvare šeimininkavo abiejų kariaujančių pusių kariai. Keista, tačiau dvaras beveik nenukentėjo.
1922 m. iš Kidulių dvaro, kuriam priklausė net 27 pastatai, išsikėlė paskutinis kilmingas savininkas Otas Ofenbergas. Kidulių dvaras šiandien gyvas, jame gyvas kultūros židinys. Jaukūs nedideli Kidulių dvaro rūmai sutvarkyti, juose įsikūrė biblioteka, patalpos pritaikytos vietos bendruomenės veiklai. Kidulių dvaras naujai atgimė ir svečius pradėjo kviesti nuo 2013 m. rudenio.
Šiuo metu Kidulių dvaro rūmuose rengiamos XIX a. dvaro šokių popietės. Tai linijiniai valsai, rateliniai ir kadriliniai dvaro šokiai, anksčiau buvę ypač smagia dvaro pramoga. Užsiėmimus veda senovinių šokių studija. Organizuojamos įvairios tautodailininkų parodos, vyksta koncertai, pasirodo teatro trupės. Vyksta paskaitos apie dvarų istoriją ir kultūrą, kviečiami lektoriai iš universitetų, vyksta kita švietėjiška veikla. Visa veikla orientuojama į XIX a. dvarų kultūrą.
