直到清末，广州内城还没有一条比较平坦顺畅的马路。1884年至1889年间，主张“中学为体，西学为用”的张之洞，担任两广总督。他接受了建业堂等商户的建议，下令拆掉南城墙，修筑长堤马路。对新马路的建设，张之洞提出了一个“铺廊”的概念，即在临街修筑两米宽、可以遮阳挡雨的行栈长廊，以利商民交易。这是广州近代骑楼的最初蓝图。可惜，张之洞担任两广总督时间甚短，他离任后，长堤马路也成了一个烂尾工程，仅成堤坝，断续难行，而“铺廊”计划，也因人亡政息，不得不束之高阁，令人扼腕。
张之洞的“铺廊”灵感，究竟从何而来，今天已难以考证了。1880年代的广州与1900年代的台湾，均未出现华侨归国的热潮，也未见有大量侨汇的涌入，而近代骑楼的雏形，已隐然可见，这对所谓骑楼是英国殖民地首创，由华侨引入国内的说法，亦是一种质疑。
1911年辛亥革命以后，广州成立军政府，旋即颁布《广东省城警察厅现行取缔建筑章程及施行细则》（“取缔”一词，源自日文，意为“管理”），其中有云：“凡堤岸及各马路建造屋铺，均应在自置私地内，留宽八尺建造有脚骑楼，以利交通之用。”这是“骑楼”一词，首次见诸官方文献，标志着以政府为主导，以法制为规范的城市改造运动，由此展开。这是中国步入现代法制国家的一个示范性事件。
当时号称华南最繁华商业城市的广州，城里的街巷，狭窄而混乱，由于治安恶劣，所有内街的街口都筑起街闸，入夜关闸，行人断绝。民国新政府为了塑造一个现代文明都市的形象，要求广州市民拆掉街闸，市民最初的反应，是激烈的反弹，但最后都接受了这一改变。此举看似无关宏旨，却有着深远的用意，它为大规模的市政建设，扫平了现实上与心理上的路障。
然而，更大的路障依然横亘在人们面前，那就是古人花了一两千年修筑起来的城墙。以前构筑城墙，是为了防御外敌，在弓箭时代，倚为金汤，但现代的外敌，火炮射程，即使隔着城墙，也能把城内夷为平地。城池的作用，已经微乎其微。何况，广州的城墙，年久失修，复经鸦片战争的炮火摧残，早就多处倒塌，只剩下城基，对城市的发展，造成了极大的妨碍。
1918年10月，广州市政公所成立，在育贤坊禺山关帝庙办公。政府从军队中抽调大批官兵，组成工兵队，扛着锄头、铁锤、铁钎，开赴拆城墙、筑马路的工地。政府对未来的城市马路和建筑作了全面规划，颁布《临时取缔建筑章程》和《建筑骑楼简章》。
为了充分运用城市空间，应付广州夏季酷热多雨的天气，当时在新筑马路的两旁，大都建起了两三层高的骑楼式楼房。这种骑楼与传统的干栏建筑，已有了明显的分别，它们多属砖木混合结构，楼下既可住人，也可做商铺，商住混合；在建筑风格上，也引入了大量的西方建筑元素，显得更加典雅、美观。政府对骑楼的楼层高度、人行走廊的宽度等，都做了详细的规定，甚至成立了“建筑审美委员会”，专门对涉及市容美感的建筑物设计方案进行审定。
撇开骑楼源自哪里的争论，有一点是无可争议的：广州是中国近代骑楼建筑最发达的城市之一，也是最早制定骑楼建筑政策和法规的城市。
民国初年的时局，风雨飘摇，但市政建设还是断断续续地进行着。当满城工地的滚滚灰土，终于尘埃落定之时，市民们惊喜地发现，斗折蛇行的街巷，变成了一条条宽阔平坦的马路；低矮简陋、杂乱无章的民房变成了一幢幢精美整齐的骑楼，沿着马路两侧，排列成行，让人眼前一亮。
当年有一首童谣在坊间传唱：“一德路，二沙头，三元里，四牌楼，五仙观，六榕路，七株榕，八旗二马路，九曲巷，十甫路。”以数字排列广州的地名，一德路占了“一”字的便宜，排在“天字第一号”。而在广州骑楼街的历史上，一德路也是“第一号”的，因为它出现最早，资格最老。
一德路原是明、清外城的南城墙，1920年拆城筑路。以前圣心大教堂（俗称石室）一带叫卖麻街，早在鸦片战争之前，已是十行九铺、民物殷阜的街市了。广州人习惯把商品集散地称作“栏口”，俗称“九八行”。由于广州的货运主要靠水路，栏口也大多设在珠江边。最大的果栏、菜栏、咸鱼栏集中在一德路南侧，广州人一说“去三栏”，就知道是去一德路。后来海味、干果食杂的批发市场，也都集中在一德路。
一德路变身为骑楼街后，“暑行不汗身，雨行不濡屐”，自然生意兴隆，财源滚滚了。一些以栏商为主要顾客的茶楼，也应运而生。每天凌晨，码头上灯火明灭，人影幢幢，到处都在装货、卸货，骑楼下堆满了大大小小的箩筐，货如山积；嘈杂的点数声，百口喧呼，此呼彼应。交易过程，热闹紧凑。等到天亮了，栏口生意也结束了，商人们、卖手们便相约到一德路的源源楼、沧海楼、一德楼，开个茶位，茶靓水滚，一盅两件，摸摸焗盅盖，斟斟生意经。
要说服广州人接受一样新事物，似乎不是要他们相信这事物如何古老，而是要他们相信这事物如何新奇。对于广州人来说，骑楼虽然是一种崭新的建筑形式，但似乎与他们的生活习惯和情调，十分契合，因此马上得到人们的认同与喜爱。
人们接受骑楼的初衷，倒不仅因为它们美观，更不是为了斗富炫奇，而是因为它们实用，既可遮阳挡雨，又可充分利用空间。拓宽马路令他们损失的了一些地方，于是地面的损失空中补回来。在广州坊间，曾经流行过这么一句顺口溜：“骑楼骑你头，翻风落雨永无忧。”广东人考虑问题的出发点，往往就是这么现实。
大规模的城市改造，一直持续到抗日战争爆发前夕，随着一德路、永汉路（今北京路）、大德路、大南路、文明路、泰康路、太平南（今人民南）、惠爱路（今中山四路）以及长堤等马路的开辟，广州建起的骑楼，加起来长达40公里，遍布广州老城区，成为民居的主流样式之一，以至于人们一提起广州，脑海里立即就浮现出长长的骑楼街影像。这就是一个地区的象征符号，一种文化的烙印了。因此，人们把广州称为“中国近代骑楼街的发祥地”，绝对是实至名归的。