在杭州电子工学院，马云还像先前一样经常跟外国人打交道。1994年圣诞节后的一天，来自西雅图的外教比尔和马云在家聊起了互联网。两人都不懂互联网，但这并不妨碍比尔讲得激情四溢，也不妨碍马云听得激动万分，两个人直聊得手舞足蹈。此时的马云对互联网产生了浓厚的兴趣。“此前教给学生的东西都是从书本上贩卖而来，是在误人子弟，没意思。”马云在找机会。
1995年，马云因为业务关系，作为翻译来到洛杉矶沟通落实一起高速公路投资，未果。马云没有立即回国，他从洛杉矶飞到西雅图找比尔。比尔为了让马云见识一下互联网，带他去西雅图第一个ISP公司VBN参观，马云就是在这里发现了未来的“宝库”。
两间很小的办公室，猫着5个对着屏幕不停敲键盘的年轻人。马云满脸好奇，不敢碰一下电脑。公司的人说，不要紧，你就用吧。公司的人打开浏览器，键入Lycos.com，对马云说：“要查什么，你就在上面敲什么。”马云在上面敲了个beer，搜索出了德国啤酒美国啤酒和日本啤酒，就是没有中国啤酒。马云敲Chinese，一个链接都没有，马云又敲china history，找到一段50字的介绍。
马云就问：“为什么有些能搜索到，有些搜索不到？”公司的人告诉他：“要先做个主页，放到网上去，然后，全世界人都能搜索到了。”
马云还没弄明白互联网是怎么回事，马上就想到应该给海博翻译社做个网页。按照马云的意思，制作人员在海博翻译社网页写明了报价、电话和信箱。晚上，马云回来收到5封回信，分别来自日本、美国、德国，他们都说这是第一个关于中国的网页。马云感到了互联网的神奇，预感这将是一座巨大的金矿，他兴奋地对VBN公司的负责人说：“你在美国负责技术，我回中国找客户。咱们一起来让中国企业上互联网。”
回到杭州，马云马上请来24位朋友，都是马云4年来在夜校教书时结识的外贸人士，马云想听听这些做外贸的人对互联网的商务需求。大家都不知道互联网是什么，于是马云开始宣讲，整整两个小时，马云讲得糊涂，大家听得更糊涂。
马云讲完，朋友们问了5个问题，马云都没答上来。23位朋友反对马云做互联网：“你开酒吧，开饭店，办个夜校，都行。就是干这个不行。”只有一个人说：“你要是真的想做的话，你倒是可以试试看。”
马云没听他们的，第二天立即向学校辞职，然后，自己拿出7000元，向妹妹、妹夫借了一万多元，凑足2万元。然后，马云给杭州电子工学院计算机教师何一兵打了电话：“你听说过互联网吗？我们一起干……”
“其实最大的决心并不是我对互联网有很大的信心，而是我觉得做一件事，经历就是成功，你去闯一闯，不行你还可以调头，但是如果你不做，就像你晚上想想千条路，早上起来走原路，一样的道理。”马云提起当初，赞赏的是自己的勇气而不是眼光。
1995年4月，中国第一家互联网商业公司杭州海博电脑服务有限公司成立。3名员工是马云、马云夫人张瑛和何一兵。此时离中国电信通互联网还有4个月。
1995年5月9日，中国黄页上线，马云开始做身边的朋友的生意。他的生意经是，先向朋友描述互联网的未来优势，然后，向他们要资料，通过EMS寄到美国，VBN将网页做好，打印出来，再快递寄回杭州。马云将网页的打印稿拿给朋友看，并告诉朋友在互联网上能看到。此时离中国能上互联网还有3个月。
不能实际地看到，朋友怀疑马云在编故事。马云说：“你可以给法国的朋友打电话，给德国的朋友打电话，或者给美国的朋友打电话，电话费我出，如果他说没有，那就算了；如果他说有，证明有了，你要付我们一点点钱。”当时中国黄页的收费标准是，一个网页3000字外加一张照片，收费2万元，其中1.2万元给美国公司。
1995年，互联网上的中国网站还很少，中国黄页的生意不错。马云的客户望湖宾馆是当时网上能看到的唯一的中国宾馆，时逢世界妇女代表大会，许多国外的妇女代表到杭州后，专程过去看看望湖宾馆。
中国黄页上线后，马云带何一兵到北京瀛海威公司拜会当时的互联网偶像张树新。张树新很忙，她花了半小时见马云。从瀛海威出来，又望了一眼那块著名的“中国离信息高速公路离还有多远”牌子，马云对何一兵说：“如果互联网有人死的话，张树新一定比我死得更早。”
1995年7月，中国黄页为浙江省外宣办做了一个网站，在网上宣传浙江的经济文化，美其名曰“金鸽工程”。《钱江晚报》以中国最早的政府上网工程为题做了大篇幅报道。
杭州出名之后，马云要进一步在全国成名。1995年12月，他再次来到北京，通过朋友介绍，认识了《北京青年报》一名司机。马云将稿件递给司机，同时塞给他500元钱。“不管什么媒体，发了就算你的。”司机很有能耐，发了5个媒体，还上了《中国贸易报》头版。马云意识到了《中国贸易报》有潜力，马上找到了该报副总编孙燕君，跟他谈了两天两夜。早在1995年10月20日，《中国贸易报》已经成为中国第一个上网的媒体。后来马云还参与了《人民日报》上网的框架构思。
马云越来越有名，中国黄页越做越大，引起杭州电信注意，杭州电信也做了一个中国黄页，分食马云的市场。“杭州电信注册资本3个亿，我们才2万，另外，田溯宁的亚信当时也虎视眈眈。”1996年3月因为杭州电信的实力悬殊的竞争，最后马云不得已和杭州电信合作，马云的中国黄页资产折算成60万元，占30%股份，杭州电信投入140万元人民币，占70%股份。1996年，中国黄页营业额做到了700万元人民币，但马云和杭州电信合作并不愉快。“做网络公司犹如养孩子，而杭州电信想赚现钱，你不可能让3岁小孩去挣钱吧！”马云和杭州电信分道扬镳，放弃了自己的中国黄页，他将自己所持的21%股份以每股2、3毛钱的价格贱卖给了公司，拿回10多万元。
1997年初，外经贸部邀请马云进京成立中国国际电子商务中心（EDI），外经贸部给了200万元启动资金，还说给马云他们30%股份。马云很兴奋地从杭州带了5个兄弟北上，6个人租了一个20平方米的房间，连续苦干了15个月。外经贸部官方站点、网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会和中国外经贸等一系列网站全做了出来。网上中国商品交易市场是中国政府首次组织的互联网上的大型电子商务实践，净利润做到了287万元。事情做出来了，但马云他们的股份在体制内却很难落实。“我们那时候就拿几千元一个月的工资，其他什么也没有。”
1999年，35岁的马云受够了在政府企业做事条条框框的束缚、磕绊与畏首畏尾，不甘心受制于人的马云推辞了新浪和雅虎的邀请决心南归杭州创业，团队成员全部放弃其他机会决心跟随。
1999年初的一个夜晚，在北京一家小酒馆，马云和一帮手下不停地喝酒，吃肉，一直到醉，然后，唱《真心英雄》，说长相聚，多开心……天亮了，马云提议爬长城。长城上，终于有人忍不住放声大哭。“为什么我们付出那么多，却什么都不到？”马云无法回答，他忍住伤心，发誓要建立一个让所有中国人都为之骄傲的网站。马云指着长城上的“张三到此一游”，逗趣道：“这是中国最早的BBS。”那晚8点，他们跳上北京开往杭州的列车，挥师南下……