Manželka Jana Antonína Robmhápa ze Suché Anna Františka, rozená z Frankenfeldu, prodala moravanský statek, tvořený tehdy už jen dvěma vesnicemi, Ignáci Václavu Carreto z Millesima. Tento původně italský šlechtický rod přišel do Čech v pobělohorském období a postupně skupoval panství kolem Golčova Jeníkova a v roce 1741 přikoupil i Moravany. Ignác Václav Carreto z Millesima započal ve 40. letech 18. století přestavbu moravanského dvora. Při této velkolepé barokní přestavbě byl v severní části celého areálu postaven jednopatrový zámek.

Ignác Václav Carreto byl patrně první a poslední, kdo používal Moravanský zámek jako své sídlo. Po jeho smrti roku 1746 převzala zámek jeho žena, vdova Marie Dorota Carreto, rozená Vernierová. Před rokem 1776 získal statek Jan Josef Carreto z Millesima, syn Jana Václava Carreto, bratrance Ignácova. Ten již na zámku nesídlil a Moravany, tak jako i jeho další statky měly dle jeho poslední vůle připadnout nově vzniklé nadaci pro zchudlé šlechtice.

Jan Josef Carreto a jeho dědic a strýc Jan Jindřich Carreto z Millesima zemřeli krátce po sobě (1800 a 1801), tato událost vyústila ve spory mezi nadací pro zchudlé šlechtice a rodem Millesimů. Teprve po více než dvaceti letech roku 1823 bylo soudem v otázce vlastnictví Moravan rozhodnuto ve prospěch nadace. V zámku byly vybudovány byty pro úředníky lesní správy nadačních panství. Nadace vlastnila zámek až do konce první světové války.

Zámek měl čtvercový půdorys, všechny jeho stěny měly mělké dvouosé rizality, nad nimiž byly štíty mansardového patra. Za zmínku stojí nedochovaná zámecká kaple, která procházela přes dvě podlaží a byla chloubou zámku. Na fasádě byly jako členící prvky bosáže a zmíněné pilastry, okolo oken byly vytvořeny šambrány.