尹翁归幼年丧父，依靠着叔父过活。成年后他当了一名小狱吏，通晓文法，又练得一手好剑术。当时大将军霍光掌握朝政，诸霍住在平阳，他们的奴客仗势妄为，经常携带着兵器在街上捣乱，官吏们对他们无可奈何。后来尹翁归当了市吏，法治严明，吓得这些不法之徒都老老实实，不敢乱动。尹翁归为官清廉公正，谁送礼也不收，那些市井无赖之徒都很怕他。

田延年任河东太守时，有一次巡行各县，到平阳后，要面见县中文武官吏。他让文吏站在东面，武吏站在西面。五、六十个官吏都起身就位，唯独尹翁归仍然跪着不起，说:"翁归文武皆备，愿听驱使。"田延年左右的从吏认为尹翁归过于傲慢，可是田延年却不以为然，叫尹翁归起来，提出问题让他回答。尹翁归应对如流，田延年暗暗称奇，当即任命他为卒史，带回府舍。后来见他处理问题精明强干，诛锄豪强有胆略，对他更加敬重，甚至觉得自己的才能不及尹翁归，便提升尹翁归担任督邮职务。当时河东郡二十八县分为汾北、汾南两部。尹翁归督察汾南。他执法无私，对属县中一些犯了法的官吏都严加惩处。那些受到惩处的官吏自知是罪有应得，也没有怨言。田延年被选入朝中担任大司农后，尹翁归随之提升为都内令和弘农都尉。不久又征拜为东海太守