马云就这样，每天出门对人讲互联网的神奇，请他们同意付钱并把企业的资料放到网上去。人们不相信他，马云只好动用自己还算优秀的个人资信，去说服朋友们把公司资料免费放到网上。不出所料，杭州望湖宾馆、杭州电视机二厂，还有一个律师事务所，都收到了国外电话和传真。马云高兴极了。但现实却是残酷的，因为没有人愿意付钱。这些企业根本看不到网页，更不知道载有自己企业资料的网页究竟存不存在，怎么可能仅凭几个越洋电话就付钱给马云？
在那段时间里，马云过的是一种被人视为骗子的生活。直到1995年7月，上海开通互联网专线。为了证明自己没欺骗客户，马云决定在杭州上网给客户看。他找来一台486电脑，然后从杭州拔长途电话到上海连接互联网，再通过互联网把望湖宾馆的照片和资料从美国传过来。结果花了三个半小时，照片终于一点一点出来了。焦躁得如热锅上的蚂蚁一样的马云终于欣喜若狂，为了记录这一历史时刻，马云请了电视台记者进行了全程录像。
从此马云挺直了腰，也开始有了收入。他们在全国27个城市一个一个地开拓业务，在所有没有互联网的城市，他们都被视为骗子。但马云仍然像疯子一样不屈不挠，他天天都先这样提醒自己：“互联网是影响人类未来生活30年的3000米长跑，你必须跑得像兔子一样快，又要像乌龟一样耐跑。”然后出门跟人侃互联网，说服客户，说服记者。业务就这样艰难地开展了起来。
1996年，马云的营业额不可思议地做到了700万元。也是1996年，随着互联网渐渐普及，全国各地.COM公司群雄并起，竞争对手步步紧逼。马云意识到另一个生存法则：背靠大树好乘凉。他决定同杭州电信合作，对方出资占70%的股份。但是这次他却失败了。对方急于做大赚钱，马云则认为，做.COM公司犹如养孩子，你不可能让3岁小孩去挣钱吧！双方分歧日深，以致马云的任何提议都被无情否决，最终马云不得不决心分道扬镳，放弃了自己的海博网络。
不过，遭遇了人生中第二次重大挫折的马云很快便重新上路了。以“中国互联网时代的先驱”身份，1997年底，马云带领自己的忠实盟友远走北京，加盟了中国外经贸部下属中国国际电子商务中心，出任该中心信息部总经理。一年内，马云和他的团队为政府建立了一系列网站，净利润做到了287万元。以致后来他敢于在任何场合口出狂言：“我做阿里巴巴网站不是不能赚钱，而是不急于赚钱！”还是他的“养孩子”理论，他说，等孩子长大了，他会赚大钱。
一年多的北京之行，马云学会了判断国家宏观经济发展方向。更重要的是，在中国互联网大潮风高浪急、人人争锋之时，马云却可以耐心地思考：下一个将要到来的浪潮是什么？互联网最有潜力的方向究竟在哪里？
1998年底，马云的B2B思路渐渐成熟：用电子商务为中小企业服务。他研究认为，互联网上商业机构之间的业务量，比商业机构与消费者之间的业务量大得多；前5年的经历，使他对国际贸易市场、国内生产厂家和进出口公司有较深的了解；而商业机构中最需要电子商务支持的，是大量的中小企业。马云选择为中小企业服务，他打了一个比方：“听说过捕龙虾富的，没听说过捕鲸富的。”
1999年初，马云下定决心创办B2B网站，他灵机一动，为网站起了一个众所周知代表财富的域名“阿里巴巴”。然后他对团队说：“我要回杭州创办一家自己的公司，从零开始。愿意同去的，只有500元工资；愿留在北京的，可以介绍去雅虎和新浪，收入怎么都不会低。”他说用3天时间给他们考虑，但不到5分钟，大家一致决定：“我们回杭州去，一起去！”从此一段新的人生之旅一路铺开，最精彩的演出拉开了大幕！
1999年2月的一天，从北京回到杭州的18人创业军团，在马云家里召开第一次全体会议。马云则站在一张桌子后，发表了他激昂的演讲。
“从现在起，我们要做一件伟大的事情。我们的B2B将为互联网服务模式带来一次革命！”他掏出身上的钱放在桌上，“启动资金必须是Pocket money（闲钱），不许向家人朋友借钱，因为失败可能性极大。我们必须准备好接受‘最倒霉的事情’。但是，即使是泰森把我打倒，只要我不死，我就会跳起来继续战斗！”就这样，18个人扛着小米加步枪上路了。
他们每天16到18个小时野兽一般在马云家里疯狂工作，困了就席地而卧。邻居们常觉得奇怪，这群人早晨六七点离开马云家，下午三四点又来了。他们日夜不停地设计网页，讨论创意和构思。马云的想法是，阿里巴巴应由网上论坛BBS按行业分类发展而来。其他人不同意，拍着桌子同马云吵。马云就拍自己的脑袋，还是觉得自己对。1999年3月份，他在外地发电子邮件要求同事立即完成这一程序，他们还是不同意。马云发怒了，他抓起长途电话，尖声大叫：“你们立刻、现在、马上去做！立刻！现在！马上！”然后就有了今天的阿里巴巴。
经过几个月的筹备建设，www.alibaba.com在互联网上出现了，效果立竿见影。一个青岛商人，每年从韩国进口一种设备，他坚信设备的产地其实就在中国，但他绞尽脑汁也无法找到中国厂家。后来他偶然发现了阿里巴巴，然后在上面发了一条求购信息，不料几天之内就同该设备的中国厂家联系上了！令他惊奇的是，该厂家竟然就在青岛！另一个例子是，众所周知徽章等小商品多半出自浙江，如果这种企业在东北，哪有人理？但就有这样一家东北企业聪明地利用了网络，他们每年从网上搜集义乌、温州企业的最新产品图样，接着从当地购回样品照着生产，然后再到阿里巴巴上发布信息寻找买家。一年下来，他们46个买家中有44个来自阿里巴巴网站！
一传十，十传百，阿里巴巴网站在商业圈中声名鹊起。但马云知道，阿里巴巴面临着一个巨大的战略选择——国内电子商务尚不成熟，只有利用发达国家已深入人心的电子商务观念，为外贸服务，才是真正利润丰厚的大鱼。于是，阿里巴巴开设了一个专区“中国供应商”，把中国大量的中小型出口加工企业的供货信息，以会员形式免费向全球发布。此时，至为关键的是找到全球买家。
1999年至2000年，马云不断实施着一个战略行动。他像一只大鸟不停息地在空中飞行，他参加了全球各地尤其是经济发达国家的所有商业论坛，去发表疯狂的演讲，用他那张天才的嘴宣传他全球首创的B2B思想，宣传阿里巴巴。他相信自己就是一台永不停息的发动机，是一台促销机器！
他一月内可以去三趟欧洲，一周内可以跑七个国家。他每到一地，总是不停地演讲，他在BBC（英国广播公司）做现场直播演讲，在全球著名高等学府麻省理工学院、沃顿商学院、哈佛大学演讲，在世界经济论坛演讲，在亚洲商业协会演讲。他在哈佛与诺基亚总裁同台辩论，赢得台下上千人起立鼓掌！怪异的长相、雄辩的口才和超越全球的商业思想，竟然综合交融在这个枯瘦弱小的中国人身上，听众无不为之惊讶。
海外媒体开始对马云表现出极大热情。第一个来到杭州的是美国的《商业周刊》，当该刊记者在杭州一个居民区住宅里找到阿里巴巴，看到黑压压坐了几十个人，地上还满是床单时，惊讶得目瞪口呆！
很快，马云和阿里巴巴在欧美名声日隆，来自国外的点击率和会员数呈爆增之势！到2000年底，阿里巴巴会员数以每日增长一二千的速度发展，每天可收到3500条商品供求信息，700余种商品信息按类别和国别分类。一个想买1000支羽毛球拍的美国人可以在阿里巴巴上找到十几家中国供应商，了解他们不同的价格和合同条款；位于中国西藏和非洲加纳的用户，可以在阿里巴巴网站上走到一起，成交一笔只有在互联网时代才可想象的生意！
从此，阿里巴巴开始被业界公认为全球最优秀的B2B网站。但无论传教士一般的马云如何有魅力，风险投资商们都知道，阿里巴巴并没赚钱，而且缺钱，因为.com公司是烧钱的主，庞大的运营费用终会将马云压得喘不过气来。幸运的是，他在全球的巡回演讲，起到了一箭双雕的作用：一是吸引客户，二是吸引风险投资。
吸引客户是手到擒来，风险投资的到来却另有一番故事。台湾人蔡崇信是全球著名的风险投资公司InvestAB的亚洲代表，他听说阿里巴巴之后立即飞赴杭州要求洽谈投资。一番推心置腹之后，蔡崇信竟然出人意料地说：“马云，那边我不干了，我要加入阿里巴巴！”马云吓了一跳：“不可能吧，我这儿只有500元人民币的月薪啊！”两个月后，蔡崇信说服家人，高高兴兴地成了阿里巴巴的CFO。
蔡崇信在欧美风险投资界有着广泛的影响力，这一事件引起华尔街一阵惊奇和震动。随后以华尔街高盛为首的多家公司，毫不犹豫地向阿里巴巴投入了500万美元。高盛资金到位的第二天，马云马不停蹄飞赴北京见一位“神秘人物”。见面才知，是成功投资了雅虎网站的“全球互联网投资皇帝”、日本软银公司的董事长孙正义。面谈仅6分钟，孙正义就像蔡崇信一样坚决地投了资。2000年1月，双方正式签约，孙正义投入2000万美元。
到2001年12月27日，“中国供应商”会员达到100万人，成为全球第一个达到此数目的B2B网站，并在当月实现盈利。此后马云又开始向全球出击。
2002年，阿里巴巴推出中国站“诚信通”会员计划，更好服务于从事中国国内贸易的卖家和买家用户。
2003年，马云创办了淘宝网，2010年，淘宝网的销售总额超过4000亿人民币，成为全亚洲最大的网络销售商圈。
之后的事情顺理成章，2008年9月，马云获选美国《商业周刊》评出的25位互联网业最具影响力的人物，成为唯一上榜的中国企业家；2009年，45岁的马云个人净资产达80亿人民币，位列胡润富豪榜77位。
2009年9月，阿里巴巴集团庆祝创立十周年，同时宣布成立另一家子公司阿里云计算。
2011年6月，阿里巴巴集团将淘宝网分拆为三个独立的公司：淘宝网、淘宝商城和一淘，以更精准和有效地服务中国的网购人群。
然而这一举动却正如他在杭州的网商大会上所说的那样，彰显了未来十年他更大的雄心。