1932年11月，中共陕西省委派吴鸿宾和王建三来到兰州，组建成立党组织。12月初，中共甘宁青特区委员会在兰州正式成立，吴鸿宾为特委书记，孙作宾为特委军委书记，常黎夫为秘书长，马豫章为组织部长，李慕愚为宣传部长。甘宁青特委成立后，除着手建立和发展党组织外，继续开展兵运工作，并由吴鸿宾、李慕愚和孙作宾负责。为此，决定将靖远起义后转入地下活动的陕甘工农红军游击队重整旗鼓，以此为基础进一步扩大力量，建立一支抗日革命武装，利用过去的影响，创造条件，在靖远建立革命根据地和工农政权。
党组织决定，由王儒林负责联络原参加起义人员，组建西北抗日义勇军，并通过上层统战关系，给王儒林谋得“西安绥靖公署甘肃行署招募专员”的合法职务。1932年靖远兵暴后，王儒林一直隐蔽在宁夏，接到通知，他和事先联络好的几位同志从宁夏返回兰州，接收新的任务，以邓宝珊部西安绥靖公署甘肃行署“招募专员”的合法身份，公开在靖远招募新兵。
1933年2月，王儒林、李慕愚以及前陕甘工农红军游击队骨干吕振华、史悟亭、吕明成等十多人，在靖远北湾设立招募办事处，名义上是招抚散兵游勇，实际上是遵照特委的指示，联系皋兰北山、靖远、海原、古浪、会宁一带潜伏的工农红军游击队战士，为成立抗日义勇军作准备。时值农历正月十五前后，群众集会闹社火，王儒林回来的消息迅速传开，潜伏的队员闻讯后携枪持刀前来投奔，很快发展到百余人。由于绥靖公署指示自筹给养，这样便给了活动的便利条件，招募办事处转移到靖远、榆中交界的园子岔（今榆中县园子乡），积极进行西北抗日义勇军的筹建工作。
1933年3月中旬，招募人数已达三四百人。受中共甘宁青特委指示，西北抗日义勇军在园子岔成立。成立前，李慕愚向全体人员讲话，介绍九一八事变后东北三省人民的遭遇，以及东北抗日义勇军的情况，宣布成立西北抗日义勇军，跟全国人民一起共同抗日。大家欢呼赞成，随即将盖有“西北抗日义勇军总指挥部关防”的布告公之于众。
西北抗日义勇军由王儒林任总指挥，李慕愚任政委，薛宝山任副总指挥，张子明任参谋长。义勇军编制为一个大队，下辖三个中队，杨得胜任大队长，吕振华、孙绍堂、王丕荣分别任一、二、三支队队长。另外有一个侦察小分队，武振华任队长。后来随着人数的不断增加，义勇军改编为骑兵和步兵两个大队，下辖的分队也相继增编，部队转移到皋兰后长川开展活动。