早年贩卖私盐。后投身军旅，历任哨长、领哨、管带、十五标标统、四十七团团长、混成旅旅长、总统府谘议，1917年任淮扬镇守使，1920年任第二师代理师长，1923年10月被封为衡威将军，1925年1月任淮扬护军使兼江苏陆军第三师师长、第七军军长，1926年任直鲁联军第十二军军长，被授予上将军衔，1930年任第十六路军总指挥兼二十七军军长，参加中原大战。1937年七七事变后，在家乡组织抗日义军，后被改编为苏鲁战区第一路抗日游击军，任该军司令。1940年1月3日，率部攻下日伪军占领的阜宁县城，但在激战中不幸身负重伤，壮烈殉国。追赠陆军中将。

马玉仁为国殉难后，国民党军事委员会追认他为陆军中将。　　1986年，中共中央军事委员会把马玉仁的事迹收入中华民国史料《国民党抗战殉国将领》一书。马玉仁将军以他“偏师抗敌顽，马革裹尸还”的报国壮举，为自己划上了一个浩气长存的句号。