时光易逝，转眼到了1957年，中国的政治风云悄悄变幻，一批大大小小的知识分子被划为右派。乌以风自然逃脱了厄运，被列入“另册”中，加上他在省府有过那么一段历史，于是他被戴上右派、历史革命两顶帽子，成了赫赫有名的双料货。1958年12月，乌以风被捕入狱，羁居安庆监狱，从此过上长达12年的囚隐生活。每当老伴余氏去江城探监时，这位隐身大墙内的读书人方感人间仍一点温暖，这种夫妻感情往往成为共同生存下去的力量。而在乌以风的内心深处，更多的则是对老伴的内疚和歉意。他自四川婚变后，一直过着单身生活，没有萌生再婚的念头。在“景忠”主持校务时，有人半开玩笑地为他提亲，他也半开玩笑地要找个知书达理的老处女。其实，他是想搪塞一下罢了，自己毕竟快步入“知天命”之年了。但事情偏偏那么巧，好像是天意安排。水吼区有一位难觅知音的大家闺秀，一听说乌先生的人品、学问和爱好，决定走出生活过30多年绣楼，带着30亩良田作陪嫁，愿与乌先生一起生活。她就是他后来相依为命的妻子余氏。当他望见老伴蹒跚身影时，眼眶湿润了，一种愧对妻子的感情便油然而生。自从结合以来，他没有给她带来任何幸福，反而拖累了她，给她造成种种不幸。他强颜欢悦道：“难为你又来了，累了吧”，妻子看着他削瘦的面容，毫无血色的，似一具木乃伊。她把每次见面都当作见他最后一面，不相信他在世上能活多久，临分手时，便安慰几句：你要多保重，不要挂念我。当他发现妻子送来的衣衫、布鞋、炒米粉等东西中，仍有一小袋黑黄豆时，他朝妻子理解地点了点头。他有个习惯，就是清晨服一把黑黄豆，趁着空腹生嚼吞食下去，直至晚年皆是如此，这也许是他长寿之秘诀。可想而知，他的老伴一生要为他种植多少黑黄豆啊！3年后，乌以风被押往宿松县九成坂农场劳改。此时，他年满花甲，随时都有可能踏上另一世界的归途。管教人员见他年事已高，颇为照顾，分配他专司养鸡。他清楚比起凿沟开渠，肩挑背驮的活儿，这算是幸运的。他好好养鸡，钻研养鸡技术，逐渐对鸡群产生了感情，并写了十多首关于鸡的诗，记录了当时的复杂心情。如《哀鸡群》曰：“华裳翠羽各成群，伴我寂寥非一春；呼唤，俱随波浪渺，漂流怀尔独伤神。这首诗的意境很美，但流露出悲伤，这也是世人所能理解的。
有一天，他听说江湖水涨有溃堤之危险，看着鸡群正在争斗，偶有感触，一首诗便脱口而出：“千古安流称禹功，难凭金坝伏蛟龙，雏鸡不解山河变，犹向花荫争小虫。”他在农场养了一只小猫为伴，朝夕相处，情深意笃。他以《戏玉猫》为题叹道：“灯下飘零尔伴予，花前月下共安居；可怜异类同忧患，鹤子梅妻我不如。”
他接到家书闻讯父丧，但他没有办法去见最后一面，只得哭成七律一首遥寄聊城：“割肉报恩时悔晚，添香换水梦难开。”他为没有尽到做儿子的一份责任而遗憾、伤悲。在劳动之余，他唯一消磨时光是在纸片上写诗，他的诗愈来愈凝炼，一共写了109首诗，取名《囚隐集》，大多是赞美祖国山河和怀恋友人之作。他写庐山晨雾、峨眉夜雨、华山天险、黄山云海……。他把自己游历过的18座名山一一回忆，一一入诗。他笑慰自己可算“半个徐霞客”了。他的眼前又浮现云雾缭绕的天柱山。东关秀气。西关雄伟，南关神秘、北关幽静……顿时，一种愧对古岳的情绪又笼罩着心头。他偶尔听到友人汪植庭下放到离农场仅20里地的套口公社，于是他托人到汪家询问志稿之事，得到的回答是刻印了一小部分，看他被捕就搁下来了，后来被红卫兵当作“四旧”扫走了。他如雷轰顶，目瞪口呆，几十年的心血付之一炬。