В 1792 году новым владельцем Остафьева стал князь Андрей Иванович Вяземский. Вяземскому выпала удача выгодно приобрести все сразу: землю и крестьян, красивую усадьбу с прудами и садом, и готовым к производству «заведением». Выгода и состояла в том, что несмотря на решение Сената от 1786 года имение все еще оставалось в «споре» между наследниками К. Матвеева и П. Сухарева.

В 1801 году Вяземский начинает строительство усадебного дома по проекту, авторство которого пока не установлено. Андрей Иванович, человек много повидавший, умный, независимый и людей притягивал к себе незаурядных. В числе частых гостей были баснописец, позднее министр юстиции Иван Иванович Дмитриев, сенатор и поэт Юрий Александрович Нелединский-Мелецкий, дипломат, член Петербургской академии наук Александр Михайлович Белосельский-Белозерский, Василий Львович Пушкин, Василий Андреевич Жуковский... С 1804 года в Остафьеве живет историограф Николай Михайлович Карамзин.

В 1811 г. Петр женился и с этого времени взял на себя хозяйственные хлопоты. При Петре Андреевиче достраивается усадебный дом, а также перестраивается суконная фабрика. Между тем государственные заказы на поставку сукна резко сократились. Не имея связей, подобных связям отца, служившего в Сенате, Петр Андреевич оказался к тому же и в новых более жестоких условиях рыночной конкуренции, поскольку суконные и ткацкие фабрики в его эпоху росли в дворянских и купеческих имениях, буквально, как грибы. Но при всех трудностях фабрика оставалась одной из главных статей дохода.

Когда выделка сукна перестала быть выгодной, фабрику перепрофилировали на производство полотна и парусины. Фабрику закрыли лишь в 1861 году в связи с крестьянской реформой, так как крестьяне отказались работать на прежних условиях.