1926年初，被选为国民党五华县党部委员，同年2月，任五华县农民协会副会长兼军事部长。

1927年广东四一五反革命政变后，他组织了东江人民反击国民党反动派。同年11月，任工农革命军第七团团长。

1928年革命转入低潮，古大存审时度势带领幸存的战士走进八乡山继续革命斗争，在八乡山根据地10多年的革命战争中，古大存和战友们转战丰顺五华，紫金等县，足迹遍布莲花山、大南山、八乡山。建立革命根据地，任五华、丰顺、梅县、兴宁、大埔五县暴动委员会主席。同年8月领导梅县暴动胜利后，任中共七县(兴宁、五华、丰顺、梅县、大埔、揭阳，潮安)联合委员会书记，领导开展土地革命运动。期间，由于左倾路线，内部肃反，敌人的围剿等原因，革命屡受挫折，古大存还因受极左路线的迫害险遭不测，但他仍不折不挠地率领部队坚持斗争，成为东江地区一面不倒的红旗，为东江革命史写下雄奇而悲壮的不朽篇章。