光绪七年（1881年），刘被罢两江总督。直接原因是张之洞攻击他：“嗜好素深，又耽逸乐，比年精神疲弱，于公事不能整顿，彭玉麟与之筹议江防颇为掣肘。”就是说他好抽鸦片（嗜好素深），安于享受，体弱力衰，已不能很好理事了；与另一重臣彭玉麟又不睦。曾任过湖南巡抚的陈宝琛此时也说他：“广蓄姬妾，日中始起，稀见宾客，公事一听藩司梁肇煌所为，且又纵容家丁收受门包。”陈说与张说大体一致，都强调了他的私生活的毛病、身体原因，只是陈没有说刘与彭不睦。这些弱点，在当时并不构成对其身居总督要位的危险。有趣的是，奉命核查的兵部尚书、长江巡阅使的彭玉麟（湘军名将）对张、陈二人的指斥，为刘一一进行了开脱，如说刘广纳姬妾，是因他年近五十，尚无子嗣；吸食鸦片，是因为有脾泻的顽疾，等等。这当然有维护湘系面子的因素。
真实原因是，一是任总理衙门大臣的李鸿藻顺势利用张、陈二人所说，对其进行报复——刘是沈桂芬的门徒，而李与沈的关系形同冰炭；二是清廷分治淮、湘的需要；三是清廷须统一东南事权，刘在两江总督任上，兼有南洋防务大臣，而两广总督、淮系将领张树声，浙闽总督何璟并未听命于他。
直到九年后的光绪十六年（1890），刘坤一才被重新起用为两江总督。

图为刘坤一住宅