胤祥生于1686年(具体月份存在争议)，自三十七年七月12岁的胤祥第一次跟随皇父去盛京谒陵后，直至四十七年九月一废太子事件发生前整整10年间，康熙帝只要离开京师，无论去哪里，必将胤祥带往。仅此即足以说明，康熙帝对他是另眼相看的。胤祥在雍正年间作为皇帝最得力助手的种种表现，也充分表明他除去具备较高的文化素养外，还颇有办事才力，善于协调人际关系，是难得的人材。

胤祥能文能诗，书画俱佳，但流传至今的作品甚少。只有《交辉园遗稿》中少量作品流传下来。康熙四十一年，玄烨南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。不仅亲书大字对联当场展示，还邀请众人观赏皇四子胤禛和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？胤祥继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之。见者无不佩服他的神勇。

康熙四十三年（1704年）前后，皇八子允禩的老师何焯在给家人的信中，也提到十三殿下为皇帝所钟爱者，前途无量。不足20岁的胤祥受到皇父的器重，连供职清廷的汉族文人也一清二楚。但在第一次废太子时，胤祥不知为何，失宠于康熙，终康熙之世，既无重用，也没有受封。（注：网上流行的胤祥曾被“十年圈禁”一说，实为文学影视作品的杜撰。有大量史料，如皇子请安折、出席康熙六十大寿、拉拢文士屈复等等，能够证明胤祥在康熙四十七年至康熙六十一年的十四年间拥有行动自由。）

雍正和胤祥早年的关系，虽然没有太多史料可寻，但可以肯定兄弟俩是亲密无间的。雍正给胤祥的祭文中提到胤祥的算学由他亲自教授，“忆昔幼龄，趋侍庭闱，晨夕聚处。比长，遵奉皇考之命，授弟算学，日事讨论”，每逢塞外扈从，兄弟俩“形影相依”。当康熙出巡只带他们其中一个扈从时，即使短暂分别，两兄弟也会诗书往还。雍正还把他和十三弟唱和的诗作收在诗文集中，使胤祥的少数作品得以传世。