1999年3月，马云正式辞去公职，和他的团队回杭州，以50万元人民币

开始了新一轮创业，开发阿里巴巴网站。意识到互联网产业界应重视和优先发展企业与企业间电子商务（B2B），而这种模式被称为"互联网的第四模式"。

1999年10月和2[11] 000年1月，阿里巴巴两次共获得国际风险资金2500万美元投入，培育国内电子商务市场，为中国企业尤其是中小企业迎接"入世"挑战构建一个完善的电子商务平台。[12]

马云为完善整个电子商务体系，自2003年开始，先后创办了阿里巴巴、淘宝网、支付宝、阿里妈妈、天猫、一淘网、阿里云等国内电子商务知名品牌。

在淘宝迅速崛起后，eBay希望能够收购淘宝，但马云希望能够保持对淘宝的控制权。马云得到了雅虎联合创始人杨致远的支持，雅虎向阿里巴巴注资10亿美元。

马云也历任多家公司的重要角色，其中包括阿里巴巴集团董事局主席、软银集团董事、[11] 华谊兄弟传媒集团董事（华谊兄弟18名发起人之一）。[13] [11]

2005年，阿里与雅虎达成的交易，阿里巴巴集团获得雅虎在中国的独家所有权，马云出任中国雅虎董事局主席。[14]

2008年11月，杭州师范大学-阿里巴巴(中国)有限公司合作发起杭州师范大学阿里巴巴商学院，马云任院长。[15]

2009年，马云加入TNC中国理事会，并于2010年4月16日加入大自然保护协会(TNC)全球董事会，成为该董事会中的第一位中国人。[16]