甲午战争之后，清政府被迫签订了屈辱的《马关条约》，要赔款二万万两。这对本已财政十分困难的清朝政府，无疑是雪上加霜。今后清政府要想生存下去，从哪儿筹集这笔巨额赔款，又从哪儿筹集兵饷呢？为此清政府问计于一向自命懂洋务，又善于理财的盛宣怀。盛宣怀的回答是，除了裁减兵员，尽量减少政府的开支外，就要马上自己开办银行。他认为只要办起洋行，就可以铸银币，发行钞票，用不了一年，就会见成效。
怎么办银行？他在随后的《开银行意见》的条陈中，认为应走招商局的办法，走官助商办的道路，不同意完全官办。而且在同时，他已利用自己的关系暗中活动，联系了数十位富商大贾，集资300余万。
盛宣怀将铁路与铁厂掌握在自己手中后，对办银行的考虑，在思想认识上有了进一步的发展，就是办银行不仅是为了解决清政府的赔款和筹饷，而且也是发展近代工业所需。盛宣怀认识到，银行是商品流通的必然产物，中国要发展现代工业，必须借助银行这一金融手段。但是当时外国银行进入中国，已经控制了中国的金融市场，如英国的汇丰银行，就吸收了中国人的存款多达六千万两，所以从与外国银行竞争，收回一部分国家的权利来说，也应该自己开办银行。
盛宣怀经过积极的活动，在办银行上终于取得清政府中的一些要人的支持。直隶总督王文韶和湖北总督张之洞，就向清政府推荐，由盛宣怀出面筹办银行。于是清政府就在1896年，责成盛宣怀招商集股，创办华商自己的银行。
盛宣怀经过一段时间的积极筹备，终于在1897年5月27日，正式在上海宣布开办了名为中国通商银行的华人银行。这是中国自己办的第一家商业性银行，它对中国近代新兴工业的发展，具有重要的意义。
银行的董事会，盛宣怀聘请了8个人，对于这8个人组成的董事会，盛宣怀是颇费了一番心机的。叶成忠、施则敬、朱佩珍和严信厚是民族资本家，严潆（音Yíng）、陈猷为轮船招商局会办，杨廷杲是电报局总办，而张振勋则是华侨大资本家。这些人当时都是很有经济实力的代表人物，把他们拉入董事会，对筹集银行资金会带来极大的方便。如招商局的严潆、陈猷马上就认股80万两。
中国通商银行开办后，很快就得到了发展。不到一年的时间，就先后在天津、汉口、广州、汕头、烟台、镇江和北京等地开设了分行，方便了工商，达到了官商两利。据1899年的统计，银行每半年结一次帐，除了一切开销外，还可发给股东红利40万两，上缴户部税利10万两。
当然，银行的开办并不是一帆风顺的，遇到很多干预和阻力。阻力主要来自两个方面，一是帝国主义侵华势力的干扰，另一方面是清朝统治者的干预。
在银行筹办的时候，当时控制中国海关的洋人赫德，也想依赖海关的经济实力，在华创办中英银行，受到了盛宣怀的坚决反对和抵制。在华筹建中俄道胜银行的俄国董事四达，竟因为盛宣怀要创办华人的银行而兴师问罪公开反对盛宣怀开办银行，要他全力支持道胜银行，当然遭到盛宣怀的拒绝。这说明当时的外国银行，想垄断和控制中国的金融业，所以极力反对盛宣怀开办银行。
在盛宣怀筹办银行之初，清朝政府中就有一些人攻击他独揽轮、电、银行等大权，为的是谋取个人的私利。当银行办得很有成效时，袁世凯继李鸿章后为直隶总督兼北洋大臣。袁世凯为了发展自己的实力，就先后从盛宣怀手中将招商局和电报局夺走，又准备筹建国家银行。这时盛宣怀的通商银行业务受到限制，处境困难，甚至有停办的打算。后来虽未停办，但在袁世凯的排挤下，发展也遇到了很大困难。