中华人民共和国成立后，调广东工作，先后任中共中央华南分局常委、广东省人民政府副主席、广东省委书记兼副省长等职，主持省人民政府工作。

1954年9月任全国人大常委会委员；1956年9月，在中共第八次全国代表大会上继续当选为中央候补委员；1957年在广东反地方主义时受到错误的处分；1958年下放到增城县，任县委书记。

1966年11月4日病逝于广州；粉碎“四人帮”后，党中央做出决定，为古大存平反，恢复名誉。

刘少奇同志曾经说过：“好在历史是人民写的”——的确，为人民的人，党和人民将永远把他铭记。

1983年中央正为古大存平反，并再度肯定古大存“在极其艰苦的条件下，长期坚持武装斗争，对党和人民有着重大贡献”。