古大存，字永鑫，1897年4月24日生于广东省五华县梅林村。

1917年春，他就读于梅州中学，1919年在当地参加五四运动，次年入广东法政专门学校。那时广东共产主义小组成员陈公博，是法政学校的教员，陈独秀是广东省教育委员会的委员长。他们常到法政学校去演讲，古大存受到了革命的启蒙。

1924年的夏天，古大存加入了中国共产党。

1924年12月，他从法政学校毕业后，受广东区委的派遣，报名参加东征军，任国民革命军张民达师战地政治宣传队负责人，结识了师参谋长叶剑英。 东征军击溃了盘踞在粤东一带的军阀陈炯明的主力。他奉命留在五华县领导农民运动，担任县农民协会副会长兼军事部部长，并负责整顿国民党五华县县党部，领导了梅县武装暴动，任暴动委员会主席，旋任党的七县联委书记。

1925年任党的东江特委常委、军委书记、东江工农武装总指挥部总指挥。

1930年古大存任东江工农民主政府副主席、红十一军军长。次年当选为中华苏维埃共和国临时中央政府委员。