投资银行是主要经营证券业务的金融机构，按照严格的定义，并不属于银行的范畴反而比较像金融事务代办事务所，因此这个称谓具有较强的误导性。
一般意义上的银行（商业银行）是经营间接融资业务的，通过储户存款与企业贷款之间的利息差距赚取利润；而投资银行却是经营直接融资业务的，一般来说，它既不接受存款也不发放贷款，而是为企业提供发行股票、发行债券或重组、清算业务，从中抽取佣金；此外，投资银行还向投资者提供证券经纪服务和资产管理服务，并运用自有资本，在资本市场上进行投资或投机交易。在美国，经营以上业务的金融机构一般称为投资银行，在中国、日本等亚洲国家称为证券公司，在欧洲称为商人银行。由于欧洲金融业在历史上多采取混业经营，事实上独立的“商人银行”数量不多，大部分都是综合性银行或“全能银行”，即同时经营商业银行和投资银行业务。
美国著名金融专家罗伯特·库恩（Robert Kuhun）依照业务经营范围大小，对投资银行给出了四个层次的不同定义：一是广义投资银行，指任何经营华尔街金融业务的金融机构，业务包括证券、国际海上保险以及不动产投资等几乎全部金融活动。二是较广义投资银行，指经营全部资本市场业务的金融机构，业务包括证券承销与经纪、企业融资、兼并收购、咨询服务、资产管理、创业资本等，与第一个定义相比，不包括不动产经纪、保险和抵押业务。三是较狭义投资银行，指经营部分资本市场业务的金融机构，业务包括证券承销与经纪、企业融资、兼并收购等，与第二个定义相比，不包括创业资本、基金管理和风险管理工具等创新业务。四是狭义投资银行，仅限于从事一级市场证券承销和资本筹措、二级市场证券交易和经纪业务的金融机构。
在美国，投资银行往往有两个来源：一是由商业银行分解而来，典型的例子如摩根士丹利；二是由证券经纪人发展而来，典型的例子如美林证券。美国投资银行与商业银行的分离发生在1929年的大股灾之后，当时联邦政府认为投资银行业务有较高的风险，禁止商业银行利用储户的资金参加投行业务，结果一大批综合性银行被迫分解为商业银行和投资银行，其中最典型的例子就是摩根银行分解为从事投资银行业务的摩根士丹利以及从事商业银行业务的JP摩根。但是在欧洲，各国政府一直没有颁布这样的限制，投资银行业务一般都是由商业银行来完成的，所以形成了许多所谓的“全能银行”（Universal Bank）或商人银行（Merchant Bank），如德意志银行、荷兰银行、瑞士银行、瑞士信贷银行等等。事实证明，商业银行和投资银行由同一金融机构完成，在欧洲不但没有引起金融危机，反而在一定程度上加强了融资效率，降低了金融系统的风险。
投资银行业务的利润是很高的。以最常见的股票发行业务为例，投资银行一般要抽取5%-10%的佣金，也就是说，如果客户发行价值100亿美圆的股票，投资银行就要吃掉5亿-10亿美圆。债券发行业务的利润相对较少，但风险也较小。除此之外，兼并重组与破产清算是投资银行近年来的主要利润增长点，近年来欧美发生的大型兼并案，背后往往都有投资银行的推波助澜。
我国的投资银行业务是从满足证券发行与交易的需要不断发展起来的。从我国的实践看，投资银行业务最初是由商业银行来完成的，商业银行不仅是金融工具的主要发行者，也是掌管金融资产量最大的金融机构。八十年代中后期，随着我国开放证券流通市场，原有商业银行的证券业务逐渐被分离出来，各地区先后成立了一大批证券公司，形成了以证券公司为主的证券市场中介机构体系。在随后的十余年里，券商逐渐成为我国投资银行业务的主体。但是，除了专业的证券公司以外，还有一大批业务范围较为宽泛的信托投资公司、金融投资公司、产权交易与经纪机构、资产管理公司、财务咨询公司等在从事投资银行的其他业务。
我国的投资银行可以分为三种类型：第一种是全国性的，第二种是地区性的，第三种是民营性的。全国性的投资银行又分为两类：其一是以银行系统为背景的证券公司；其二是以国务院直属或国务院各部委为背景的信托投资公司。地区性的投资银行主要是省市两级的专业证券公司和信托公司。以上两种类型的投资银行依托国家在证券业务方面的特许经营权在我国投资银行业中占据了主体地位。第三类民营性的投资银行主要是一些投资管理公司、财务顾问公司和资产管理公司等，他们绝大多数是从过去为客户提供管理咨询和投资顾问业务发展起来的，并具有一定的资本实力，在企业并购、项目融资和金融创新方面具有很强的灵活性，正逐渐成为我国投资银行领域的又一支中坚力量。