民勤县苏武山上的苏武庙，最早建设于何时，明《镇番卫志》记载“为前朝所制”。前朝前到何时，有唐诗为证。
盛唐诗人高适在《自武威赴临洮谒大夫不及因事案河西陇右幕下诸公》中写道：“浩荡去乡县，飘飘瞻节旄。扬鞭发武威，落日至临洮。”浩荡，描写的对象就是诗人出发地民勤（武威属地）“白亭海”（唐朝时候，潴野泽休屠泽的称谓）地区浩淼的水势和辽阔的草原。瞻，景仰之情跃然纸上，显然是去瞻仰借代修辞“节旄”所特指的苏武庙。100年以后的温庭筠写了一首咏史的诗《苏武庙》：“苏武魂销汉使前，古祠高树两茫然。云边雁断胡天月，陇上羊归塞草烟。回日楼台非甲帐，去时冠剑是丁年。茂陵不见封侯印，空向秋波哭逝川！”诗中不但详细描述了苏武庙的古老，还明确指出了苏武牧羊的自然环境和具体地点“塞草烟”“陇上”。庙宇可以随心所欲建到什么地方，但是“羊归”何处，却不能凭空臆造。苏武牧羊“陇上”唐朝人已经有了定论，无须我们后人再去争论。明朝所制的《苏武山铭》的内容和语句大都是仿写了温庭筠的《苏武庙》。
实质上，这一事实，早在《汉书•李广苏建传》里面已经写得再明白不过了。先是“乃徙武北海上无人处，使牧羝，羝乳乃得归。别其官属常惠等，各置他所”，19年后“言武等在某泽中”。可见，苏武并非被严格控制在某一个固定的“北海”19年整，而是随着时间的推移和汉匈关系的缓和，逐渐宽松起来，牧羊的地点也由原来的“北海”，迁徙到了“某泽”，并且让苏武的下属随员也回到了苏武身边。期间单于的弟弟於革干王、单于的公主、李陵的妻子还亲自赏赐给苏武牛羊和生活用品，甚至奴仆。“（於革干）王死后，人众徙去”，“苏武前发匈奴时，胡妇适产一子通国”，生活并不是十分凄苦。原因是汉朝和苏武等使者、匈奴和致力于民族团结的匈奴人士，为和解民族矛盾作了大量有意义的工作和艰苦卓绝的努力。而只有这样，才能够出现双方互相交换使者、苏武等为和平事业不辱使命、忠贞不渝的名人公德圆满的结局。
有史学家考证认为，最早的苏武庙，是曹操在迎接蔡文姬归汉续写《汉书》、途径武威郡苏武牧羊故地时，有感而为的。至于明清时期武威人、民勤人的关于苏武牧羊在民勤的诗词歌赋铭文，则不胜枚举。