魏伯阳生于汉桓帝元嘉元年，即151年。至汉恒帝延熹十年（167年），其父魏朗（会稽上虞人，“东汉三君八俊”之一）遭党祸被禁锢上虞家中。魏朗之《魏子》可能写作于此时，魏伯阳的儒学功底亦可能于这以后在其父子督导下筑成深厚根基。汉灵帝建宁二年（169年），魏朗因党祸被害致死。时人尊其为“八俊”之一，魏伯阳则成年。汉灵帝熹五年（176年），因党祸牵连家属，魏伯阳在高压下被迫隐遁山林修道，时年二十六岁。在十八岁至二十六岁之间，魏伯阳的生活大致为进修学业，整理父亲遗稿并编辑成《魏子》一书传世，与淳于叔通之交往亦可能在这一时期，因而奠定了后来入山修道之志。宋代人曾云：“云牙子游于长白之山，而遇真人告以铅汞之理龙虎之机焉，遂著书十有八章，言大道也，”游长白山之事无旁证可徵，但魏伯阳修道之初造访名山可能性很大，是否一定为长白山也无关紧要。魏伯阳的著作有《参同契》以及为“补塞遗脱”而作的《五相类》各一卷，此外《抱朴子内篇·遐览》载有《魏伯阳内经》一卷。至于著书之时间，至早也应在修道十余年之后，若定四十岁左右著《参同契》一卷，那么《五相类》当在又五至十年之后。（以五言句为《参同契》、四言句为《五相类》，说详在第三章）至于《魏伯阳内经》一卷，内容已不可考，因而成书时间亦难以推测。以终年七十岁计，魏伯阳去世之年约在魏曹丕黄初二年（公元221年）。

魏伯阳的生平事迹未见于正史。据葛洪的《神仙传》记载，“魏伯阳出身高贵，而性好道术，不肯仕宦，闲居养性，时人莫知其所从来”。五代后蜀时，彭晓在《周易参同契分章通真义》一书的序言中说，魏伯阳是东汉会稽上虞人，不知师承谁氏，他“博赡文词，通诸纬候”，曾以其所撰《周易参同契》“密示青州徐从事，徐乃隐名而注之。至后汉孝桓帝时，公复传授与同郡淳于叔通，遂行于世”。这说明魏伯阳是生活于东汉桓帝(公元147—167年)前后的人物，他的弟子有徐从事、淳于叔通(即淳于斟，又名翼)等人。