张行简聪明好学，幼年聆听父亲张暐讲授经史，每天都到深夜方罢。长大后，博通经史，才能出众张行简著作

。大定十九年（1179年），他考中状元，出任翰林文学。明昌元年（1190年），张行简出任太常博士，后任礼部郎中等职。他办事认真，尊重科学。当时，司天监刘道用改进新历法，章宗完颜王景下诏由学士院审定历名。张行简认为此历应经过复校测验，等将来月蚀时没有差错，然后再赐名称才合适。章宗采纳后，下诏由党怀英等人复校。测验结果，发现新历有很多错误，因而被废弃不用。 张行简熟悉历代的礼仪。为使官员了解古代典章制度，他要求于太常博士以下设置检阅官两名，给礼不甚懂的官吏进行专门培训。他曾说：“今虽有《国朝集礼》，但食货、官职、兵刑、沿革都未成书，乞定会要，以示无穷。”这种注重编纂史书的态度是值得称赞的，他自己也作出了榜样。金章宗对他很信任，泰和四年（1204年）曾下诏说：“每奏事之际，须令张行简常在左右。”