清嘉庆二十三年（1818年），姚姓徽商姚斯侯（1788-1865）从安徽桐城南姚庄安吉天荒坪镇，发现这里有一座老宅是风水宝地，于是姚斯侯便买下老宅。经过几代的发展，姚氏成为当地首屈一指的大户。
1945年春，新四军苏浙区前线指挥部为了控制莫干山及杭嘉湖敌后区，建立前进基地，组成了前线指挥部，粟司令员粟裕、政委谭震林等就曾住在该大院内，挺进孝丰、安吉。粟裕司令员在指挥反顽自卫战役时，将此大院作为新四军政治部，粉碎了国民党第25集团军近13个师，43个团得疯狂进攻，取得了三次反顽战役得辉煌胜利。解放后，大院建筑内的柱梁、板壁上皆刷上石灰以用做粮仓，直至1990年。

在对“姚家大院”景点进行全方位开发后，2005年姚家大院正式开门迎接游客。游客们除了游览明清时期的私家园林建筑外，还可参观白鹭园、安吉民俗风情园、方竹园，新四军纪念馆、粟裕纪念馆、姚氏家族史馆、胡宗南生平馆、小姐楼生活馆、安吉历史馆、中外钱币史馆等三园七馆；其它还有风火墙、怡香、华夏野桑王、残垣断壁、境静、起舞、鸳鸯池、孝峰、古杏林、江南桂花王、明代假山、生春台、潜机洞、豁然开朗、藏金穴、戏春池、画廊、芭蕉林、福渡、胭脂井、图腾神柱、曲径通幽、古校场、丰收台等二十四景。

姚家大院景区宾馆座落于姚家大院旅游景区内，庭院式风格，玲珑淡雅，竹影婆娑，曲径通幽，木结构客房全新装修。 安吉姚家大院拥有客房22间，客房环境幽雅秀丽，房间设施大方舒适，电视、电话、24小时热水一应俱全；大院餐厅以经 营安吉特色菜为主，价位合理适中，就餐环境高雅清闲；大院商场以安吉本地的土特产为主，山货、竹制品、茶叶等应有尽有。

姚家大院作为湖州书画院的创作基地和学生的德育教育基地，成为安吉历史人文旅游和绿色风光与“红色旅游”相结合的一个高品位景区。