青羊宫始建于周朝，原名青羊肆。唐朝中和元年（公元881年）黄巢起义，唐僖宗避难于蜀中，曾将此作为行宫。待他重返长安后，拨钱增建并下诏改为今名。至明朝，唐朝所建殿宇毁于兵灾。现存建筑为清代康熙六至十年（1667-1671）陆续重建。 关于青羊宫的详细历史如下：唐乐朋龟《西川青羊宫
碑铭》说：“太清仙伯敕青帝之童，化羊于蜀国。”题名汉扬雄《蜀王本纪》亦曰：“老子为关令尹喜著《道德经》，临别曰：“子行道千日后，于成都青羊肆寻吾”。时隔三年，老子降临此地，尹喜如约前来，老子显现法相，端坐莲台，尹喜敷演道法。自此以后，青羊宫观便成为神仙聚会、老子传道的圣地。到了唐代，青羊观的规模已相当大
天宝十五年（775），唐玄宗为避安史之乱而幸蜀，居于观内。恰好伟大诗人杜甫居住草堂，亲见雨映行宫，即景赋诗《严公雨中垂寄见忆一绝奉答二绝》。中和元年（881年），唐僖宗为避黄巢之乱奔蜀，也在观中驻营。据记载，在观内忽见红光如毯（球）入地，挖得一块玉砖，上面刻着古篆文：“太上平中和灾”。僖宗便将古篆玉书砖石的发现，当作天降吉祥的象征。后来僖宗返回长安，认为是道教最高尊神三清祖师太清道德天尊即太上老君的恩典，特下诏令，赐内外库钱二百万，大建殿堂，改“观”为“宫”。青羊宫的宏大格局，就是在那时形成的。宫观落成之后，报导象盛极。唐乐朋龟《西川青羊宫碑记》说：“冈阜崔嵬，楼台显敞，齐东溟圆峤之殿；抗西极化人之宫，牵剑阁之灵威，尽归行在；簇峨眉之秀气，半入都城。烟粘碧坛，风行清磬。”这样一来，青羊宫便成为唐末四川最大、最有影响的宫观了。
到了明代，唐代所建殿宇不幸毁于天灾兵焚，破坏惨重，已不复唐宋盛况。今所见者，均为清康熙六至十年（1667-1671年）陆续重建恢复的，在以后的同治和光绪年间，又经多次培修，改革开放后又多次修葺。宫内保藏有清代光绪三十二年(1906)所刻《道藏辑要》经版，共一万三千余块，皆以梨木雕成，每块双面雕刻，版面清楚，字迹工整，为当今我国道教典籍保存最完整的存板，是极为珍贵的道教历史文物。
原山建于明代，占地六百平方米，山门西侧为八字墙，长二十米、高四米。墙顶盖琉璃瓦，边上是花瓣为白色，中心为红色的琉璃荷花。右边塑有土地神、青龙像各一尊。还有明代正德十二年冬立的皇恩九龙碑一座。右边塑有白虎像一尊。还有七星桩，上刻有道教秘传天书云篆，根据中天北斗布局，称为北斗七星桩。龙凤桩，大[4] 石狮一对，龙王井一口等。因城市建设需要拆除。
现新建山门庄严宏伟，重叠飞檐。龙、虎吉祥动物雕饰镶嵌在飞檐壁柱上，雕刻细致、造形典雅。殿顶塑有两条游龙正戏抢灵珠，生动活脱，煞是宏丽，展示了东方文明的古老与活力。
金字横匾“青羊宫”高悬在山门正上方。此匾为清乾隆年间成都华阳县令安洪德的墨迹，笔力遒劲，为青羊宫一大文物。