1969年8月，乌以风被遣送归山。天柱巍峨，依然在望，他与古岳神交30余载，不可一日忘怀，今日又见其雄姿倩影怎不由衷高兴呢？西下夕阳红，柴门鸟雀噪。他的老伴正倚门张望。当一个肩驮破旧的衣物的瘦骨嶙峋的老头儿出现在门前时，她还误为讨饭的乞丐，哪能料是自己的丈夫？两双眼睛对视良久，眼泪直往下掉。他赶忙丢下肩上的东西，紧紧抱着年迈的妻子，哽咽道：“可把你苦坏了”。妻子看着形体枯槁的丈夫，抹着泪说：“你也苦够了，你能活着回来就好”。桌上摆着一碟炒鸡蛋和半碗腌豇豆，外加二两老白干。乌先生静静地斟上两杯，递一杯给老伴，自己端起一杯一饮而尽，苦笑道：“一旦能够生还团聚，岂非生平一大幸事。”当夜，他着手清点劫后书房，发现撰写天柱山志的原始材料幸存在废堆纸里。他铺开张，挥笔写下“梦里丹台云渺渺，愁来空谷雨霏霏”“投书欲问当年事，只恐人言有世非”。他想重整旗鼓，誓为名山留一信史，但人虽归山，头上仍戴着沉甸甸的管制分子帽子，“不许乱说乱动，只许规规矩矩。”他和老伴居陋室，着布衣，共患难。生活的来源主要靠锤石子换点米糊口，他曾写下“辟榛应许腰身健，破石谁怜依袖单”的句子，是当时生活境遇的写照。当时生产队长对这位饱经忧患的老人有着恻隐之心，把他安排到小小碾米厂开栗，名曰利用他一技之长，实则使他有点固定收入，好让这对老夫妻在世上能活下去。每天黄昏，他都要沿着山路散步，或在那块平石板上打坐，每每望见天柱山的时候，总有一种内疚、压抑感折磨着他。他顾不得什么得失了，不得不挑灯夜战，伏案疾书，重新撰写山志。经过2500多个夜晚，50万字的书稿完成了。在这“孤灯满尽始开云”的夜里，他如释重负，感到一阵从未有过的轻松，对着梦中的天柱笑了。他“奉书欲叩金门献”，但又流露出“只恐天威罪旧闻”的复杂心理，他只得合上厚厚的书稿，耐心等待着。1979年1月6日，一辆飞驰的小车突然停在三祖寺，在车内走出安庆地委宣传部长邓竹虚和县委宣传部长徐继达，接着走出一位枯瘦如柴的老人，他是乌以风。乌以风挥动着拐杖，不时地指指点点，慢声慢气地向两位领导介绍着三祖寺的历史和山谷流泉摩崖石刻的价值，并借机汇报了自己所著山志已经脱离。两位领导肯定他对天柱山所作的努力及其建树，并用叶剑英同志“老夫喜作黄昏颂，满目青山夕照明”的诗句勉励他。他对共产党的两位宣传干部如此信任自己，激动得彻夜难眠似乎看到春花烂漫的季节即将到来。这件事曾在当地引起一阵议论：“乌老（当时仍戴着管制分子帽子）与共产党官员打得非常火热，莫非世道要变了？”