光绪五年（1879年）十二月九日生于广东番禺县，祖籍江西庐陵县延福乡青山村人，累世务农，他祖父来粤做官遂落籍番禺（即广州），父亲靠当师爷（县官幕僚）为生。随父亲到过博罗、高州等地，八岁那年，全家迁回广州，在仓边街（今仓边路）附近租屋住下。胡汉民天资聪颖，十一二岁时，就已读过《十三经》、《史记》等古籍，且“文俱斐然可观”。十一岁时，其父去世，两年后其母也病逝。
      胡汉民从小能文能诗，十三岁时写下种竹诗：“种竹北窗前，潇潇清香发。本以招凉风，反教蔽明月。”可惜在以后的几年里，一个哥哥及两弟一妹也因疾病无钱就医而早逝。这接连而至的不幸，使年幼的胡汉民倍感忧伤，以致成年后一直体弱多病。这一时期，胡汉民的人生观发生很大变化，“从友爱的家庭中心的人生观，一变而为冷酷的厌世观”。
      为了维持生计，胡汉民十六岁便开始教书生涯。胡汉民边教书边自修，先后肄业于学海堂、菊坡、越华、粤秀等书院。认识了史坚如、左斗山等青年朋友，对康有为、孙中山有自己的见解，留下“早知康乐非山贼，漫信孙登是水仙”二诗句。
      光绪二十四年（1898年），二十岁的胡摒弃了“学而优则仕”的封建知识分子的“正途”，任广州《岭海报》记者，决心投身于改造社会的洪流之中。
光绪二十六年（1900年），好友史坚如的殉难对胡产生了很大的刺激，他以为“非游学，无以与革命党人谋，即个人学业，亦皆不足充所怀之志愿”。这前后，胡的人生观发生了重大转变，从“消极厌世观”变化为“积极的救世观”。
      光绪二十七年（1901年），他中了举人，次年与陈融之妹陈淑子结婚，住在德宣东路（今东风东路）太华坊莘桂里1号。是年胡汉民为人“操刀”（替人考试），得到六千多两银子。

      光绪二十八年（1902年），胡汉民与吴稚晖等人东渡日本。由于他当时认为“从教育着手，使学界丕变，为达到目的之唯一法门”，于是入东京宏文学院速成师范科。不久，吴稚晖因保送自费留学生入成城学校一事与清公使闹翻，被日本警察驱逐出境。胡汉民亦愤而退学回国。回国后，胡积极实现其教育救国的初衷，先后担任广西梧州中学总教习及梧州师范讲习所所长和香山隆都地方私立学校校长。但由于地方守旧势力的阻挠，他两次从教育入手进行救国活动的尝试都失败了。
      光绪三十年（1904年）冬，他再次东渡日本，入法政大学速成法政科，系统地研读政治学。同行的有汪精卫、朱执信、陈融等广州人。期间，他还结识了廖仲恺。
      光绪三十一年（1905年）七八月间，同盟会在日本成立时，廖仲恺、胡汉民刚好回国度假，得到消息，他们马上赶回日本，胡汉民夫妇和廖仲恺夫妇同租一屋居住。九月一日晚上，孙中山应邀到他们家，胡汉民第一次见到孙中山，他曾说孙中山光绪二十一年（1895年）领导的第一次广州起义是“空前奇举”。孙中山对自己学说的解释完全征服了他。于是，胡汉民夫妻加上妹妹，与廖仲恺一同加入了同盟会。胡汉民任评议部议员、书记部书记，主持编辑《民报》，批驳保皇和立宪思想。主编《民报》第1至5期，根据孙口授写成《<民报>发刊词》，先后在《民报》发表《民报之六大主义》、《告非难民生主义者》等文，与康、梁保皇派展开论战，对孙中山思想多所阐发。