光绪二年（1876），又调任两江总督。六年，俄罗斯因交还伊犁，寻衅要挟。朝廷让众大臣筹画防务。刘坤一上疏指出：东三省当以劲旅驻扎，东南不应再生事端，日本、硫球之事应早日结束，不能日俄勾结图谋大清。英德与俄国有矛盾，当加以利用。九年（1883），法越冲突，刘坤一上疏，请求选派方面大员领劲旅驻守谅山，并招用越南境内的太原、宣光之黑旗军。云南方面，则应据险设奇，与广西互为犄角。他的这些建议，多为朝廷所采用。
光绪十二年（1886），为继母服丧。十六年（1890），仍任两江总督。十七年，命帮办海军事务。二十年（1894），慈禧太后六十大寿，赐双眼花翎。是年，甲午战争起，日本进犯辽东，九连城、凤凰城、金州、旅顺都陷落了。刘坤一被急召至京，命其为钦差大臣，统领关内外各部，以御日军。刘坤一认为军队尚未完全集结，装备也没有准备好，不宜轻易开战，朝廷严令其出关。事实上，朝廷已派遣议和使者。刘坤一见皇上与太后意见不统一，甚为忧虑，临出发前，对帝师翁同龢说：你的斡旋重任，比我军事调度还重要！
二十一年春，前锋宋庆、吴大澂屡败，新招募的军队又不能作战，日本议和要挟更甚，朝廷让刘坤一与直隶总督王文韶就和与战作出决策。刘坤一虽然主战，但态度并不坚决。他反对与日议和。不久，中日和议成（即《马关条约》）。他上书请求缓换和约，未被接受。此后，他的外交思想由以前的防俄制俄转为联俄制日。
晚年的刘坤一又回到两江总督任上。此时体弱多病，多次请求引退，没有得到批复。