虽然他的众多兼职并没有给他带来多少收入，但是却凭着自己超强的活动能力为自己带来了不小的名气。于是，马云的机会悄悄降临了。
1995年，马云被一家与美商合作承包建设项目的中国公司聘为翻译到美国收账。这样马云就有机会到西雅图看朋友，有机会接触互联网，从而产生了做网站的想法。初次接触电脑，马云诚惶诚恐，连键盘的按键都不敢触碰。当朋友教他在搜索引擎上搜索东西的时候，马云发现网络上只有外国公司的产品。颇有感触的马云当时就想到，应该利用互联网帮助中国的公司为世界所熟悉。
完全是因为好奇心的驱使，马云请人为自己的翻译社做了一个网页，在3个小时之内居然就收到了4封邮件。敏感的马云意识到：互联网必将改变世界！于是一个大胆的想法在马云的心中产生了，他打算做一个网站，收集国内的企业资料，然后在网上向全世界发布。虽然当时的马云对互联网可谓是一无所知，但是他却异想天开地这样想了，并且这样做了。
回国以后，马云着手创立网站的事情。当时刚刚步入而立之年的马云已经是杭州十大杰出青年教师，校长还许诺他将会升职为外办主任。但是，固执的马云一心想要做网站，于是他毅然放弃了在学校的地位、身份和待遇，开始下海创业。
当时，绝大部分中国人根本不知道互联网究竟是什么东西，即使在全球范围内，互联网也刚刚开始发展。因此从事互联网行业是一个很冒险的行为，但是敢想敢做的马云却认为这里面充满了巨大的商机，互联网将会改变整个世界，这是他从接触互联网以来一直坚信的信念。
当马云把自己要做网站的想法告诉大家的时候，立即遭到了亲朋好友的强烈反对。马云大讲互联网的好处，他整整讲了两个小时，但是大家听得稀里糊涂，在他请来的24个朋友当中，有23个人说算了吧，没有希望的。只有一个人说你可以试试看，不行就赶紧逃回来。商量的结果是几乎没有人支持，换个人就会大受打击，放弃念头，老老实实回去当老师。但是马云想了整整一个晚上以后，还是决定要做，即使所有的人都反对他，他也要做下去。
1995年4月，马云和妻子以及另外一个朋友，凑了两万块钱，建立了专门给企业做主页的“海博网络”公司，网站取名“中国黄页”，它也是中国最早的互联网公司之一。
事实证明马云的决断是正确的。3个月后，上海正式开通互联网，而马云的业务量也随之激增。此时的各个企业都在忙着建立自己的主页，而马云的先见之明带给了他巨大的利润。不到3年的时间，500万元利润轻松装进了马云的口袋，而他也在国内有了很大的知名度。
1997年，受国家外经贸部邀请，马云带着自己的创业团队走进京城，建立了外经贸部官方网站、网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会、中国外经贸等许多国家级站点。
在外经贸部的工作经历，让马云的眼界得到了进一步的开阔，学会了从宏观上思考问题，这更加坚定了他对互联网前途的无限憧憬。于是马云又做出一个令人惊讶的决定，那就是辞去高薪的工作，回杭州进行二次创业，方向是介入电子商务领域。
与他一起到北京发展的几个同伴也毅然放弃了优越的职务和待遇，和他回到了杭州。1999年初，马云带着他的同伴返回杭州，重新在极为艰难的环境下，开创新的事业。就这样，马云凭着他无人敢比的敢想敢为的勇气，办起了阿里巴巴网站，并一举获得了巨大的成功。
正是因为马云的弃文从商，敢想敢为，大刀阔斧，特立独行，才成就了他自己的伟业。2000年1月，中国互联网络大赛组织委员会将阿里巴巴评为商务类优秀网站。
2000年6月，获互联网周刊授予的2000年度中国百家优秀网站。
2000年6月，美国权威财经杂志《福布斯》将阿里巴巴选为全球200家最佳B2B站点之一。
2000年11月，在《远东经济评论》杂志全球最佳B2B网站的读者评选中，阿里巴巴荣列第一。
可以说，正是有想的勇气，有干的劲头，有敢于放弃的魄力，才使马云在商海的风口浪尖获得了成功。
二、独特魅力，铸就团队
很多人都知道这么一件事情，微软造就了很多百万富翁。但是，许多人在取得了经济独立之后，却仍然选择继续留在微软工作。
在大多数人的眼里，发财就等于拿到了辞职的资格证书。但事实证明，微软公司的百万富翁们并不如此认为。微软为何能让百万富翁为它打工，是因为它有一种别的团队所没有的团队吸引力。
马云也一样，在最初的时候，尽管他除了一张能说会道的嘴之外，几乎一无所有，但是，他具有那么一种魅力，让许多知名人士甘心和他一起创业。一切从零开始，一步一个脚印，踏实而又用心地铸就了一个困难打不垮、风雨吹不倒的优秀团体。
在他铸就这个团队的过程中，有几个颇耐人寻味的小故事。
1999年，马云决定回杭州创办“阿里巴巴”网站，临走前，他对他的同伴们说：“我要回杭州创办一家自己的公司，从零开始。愿意同去的，只有500元工资；愿留在北京的，可以介绍去收入很高的雅虎和新浪。”他说给他们3天时间考虑，但在5分钟的时间里，伙伴们一致决定：“我们回杭州去，一起去再创成功！”
回到杭州，他们创立了阿里巴巴公司，公司就在马云家中。几台破旧的电脑，一群人不分白昼地工作，地上有一个睡袋，谁累了就钻进去休息一会儿。那种艰难的环境真是不堪回首，但是一群人为了一个梦想，再难也坚持了下来。
选择在杭州创业的理由非常简单，因为它远离北京、深圳等IT中心，人力资源也相对便宜。最初创办时，马云在香港寻找投资基金，遇到了在美国耶鲁大学硕士毕业的蔡崇信。蔡崇信时任全球着名的风险投资公司Investab的亚洲代表，年薪百万。但是在与马云洽谈投资的时候，经过一番推心置腹，他居然立刻把原来的工作辞掉，甘心做月薪500元人民币的阿里巴巴财务总监。这令马云自己也大吃一惊。
而蔡崇信却不后悔，他觉得马云是个难得的领袖，他周围都是想做事业的人，跟他干必定前途无量。
这一事件在当时的华尔街引起了巨大的震动。但随之而来的是，以华尔街高盛为首的多家公司，毅然而决然地向阿里巴巴投入了500万美金。
阿里巴巴的总裁马云是个不懂电脑的门外汉，但是他的手下却个个是电脑精英，可以说“阿里巴巴”的管理层，绝对是超豪华的阵容。软银老总孙正义和前世贸组织总干事萨瑟兰是它的顾问；来自16个国家和地区的网络精英是它忠实的骨干，而且，哈佛大学、斯坦福大学、耶鲁大学的许多优秀人才也看好了阿里巴巴这块风水宝地。
而尤为令人惊讶的是，创业多年，“阿里巴巴”从来没有人提出来要走，公司最初的18个创业者，现在一个都不少。别的公司出3倍的工资，员工也不动心。马云有时还开玩笑说风凉话：“同志们，3倍我看算了，如果5倍还可以考虑一下。”
面对诸多人的不惑，马云说得很简单：“在‘阿里巴巴’工作3年就等于上了3年研究生，他将要带走的是脑袋而不是口袋。”