祁卫是老北京人，母亲是教师，父亲在报社工作。1990年考上清华，在大学期间多次获得奖学金，并顺利读完清华的博士学位。
祁卫说，其实在任何一个环境下，他都不是最优秀的，不管是在中学，还是大学，他的成绩都在10名左右。但是他学习一直很认真，很努力，他的运气很好，往往能抓住机会。比如，高考的时候，他就发挥的特别好，在班上成绩不算突出的祁卫，一下子取得了全校第2名的好成绩，顺利考上清华。祁卫说，每次在关键的时刻，他都有好运气。这大概就是机会总是青睐有准备的人。
祁卫选择在视频领域创业不是偶然的。从进入博士研究开始，他在这个行业已经11年了，没有离开过视频领域。在清华攻读博士期间，祁卫的毕业论文是视频分析。第一份工作，是在微软中国研究院做副研究员，研究视频检索。一年后来到美国硅谷，加盟了一个创业公司，做视频压缩。目前自己创业，做视频传输。
攻读博士期间，祁卫第一次在国际上显示了他在计算机方面的卓越才能。“大家知道，在媒体方面有一个视频压缩编码标准的问题。每一个标准的背后，都有上百个公司的贡献，产生很多个专利。中国在这个方面一直没有贡献，所以很吃亏。比如我们每生产一个DVD都要向别人交一部分钱。所以1999年，国内为此组织了一个专家团，决心在视频压缩编码标准制定的国际会议MPEG上有所贡献。”
当时正是祁卫攻读博士的最后一年，正好他的一些科研成果能够用上，因此，祁卫作为专家组的一员，参加了1999年在温哥华举行的MPEG国际标准制定会议，并作为发言人在视频领域的会议上发言，在国际舞台上向人们展示了中国计算机领域的飞速发展和在视频领域已有的成就。它的重要意义不仅在于这是中国在视频压缩编码国际标准制定会议上的第一次正式提案发言，而且这次发言取得了重要成果：祁卫所提出的主运动估计算法，最终进入了MPEG-4标准的附录部分。
博士毕业以后，祁卫来到微软，任微软中国研究院的副研究员。他希望自己做一个实用性的研究者，能对微软的产品有所贡献，而不仅仅是做研究。终于，工夫不负有心人。经过一年的努力，祁卫和他的同事们一起研究出镜头的切分算法，进入了微软的产品，并申请了专利。现在说起来，祁卫仍然觉得这件事很有意义。
正当他在微软的事业如旭日东升的时候，他辞去工作，去了美国硅谷，加盟了一个刚刚创业的公司。祁卫说，之所以这样选择，是因为这份工作很有挑战性：以前他是做研究的，现在要真正做产品：以前他是做软件的，现在却是做芯片。祁卫在这家公司工作了4年半，通过和同事们的共同努力，在2002年做出了世界上第一颗把MPEG-1、2、4的编解码功能集成到一起的芯片，他觉得很自豪。
在硅谷的时候，祁卫积极参与社会活动，在北美最大的华人专业协会组织“硅谷中国工程师协会（SCEA）”中任副会长。也是在硅谷，祁卫结识了目前的创业合作伙伴莫宇强（Michael Mo）。莫宇强也是来自大陆的华人，在硅谷从事投资和商业方面的活动，具有丰富的投资和商业经验。两人由于偶然机会一见如故，并经常一起探讨商业和投资机会。终于这次创业机会将两人紧紧联系在一起，决心共同创业，在视频传输领域做一番事业。
2005年6月，祁卫回到国内，经过一系列准备，于当年9月2日注册北京盛频网络传媒科技有限公司。和别人不一样，祁卫把公司发展成一个国际性公司的目标很明确，开曼的控股公司在2005年3月就注册了，并在美国加州也注册了分公司。