赵匡胤祖籍河北涿州，出身于武官家庭，祖父当过营、蓟、涿等州的刺史。父亲赵弘殷，是后唐的一名禁军军官。赵匡胤生于洛阳，并在那里度过了他的童年。
公元948年，22岁的赵匡胤离家出走。起初，他曾去投奔与他父亲有旧交的防御使王彦超，但未被王彦超收留；后来，他又投奔随州刺史董本，因为董本的儿子瞧不起他而离开随州。这时，赵匡胤已身无分文，连住宿的地方都找不到了。
一天，赵匡胤投宿在一所庙中，庙中和尚见他如此贫困潦倒，但举止谈吐又颇具雄才大略，便开导他说：“我给你一点路费，你向北走，会有好运的。”传说，当赵匡胤走到河南商丘的高辛庙时，见到一个占卜者，便凑上去，问讯自己的前程。他先问能否当一名小兵，卜显示“不吉”；又问能否当一名刺史，卜又显示“不吉”。他不解，再问能否当皇帝，卜上显示：“吉”！于是，他向南投到后汉枢密史郭威的帐下，郭威见赵匡胤气质不凡，便留在军中。
公元951年，赵匡胤与一批将领拥立郭威，夺取后汉政权，建立后周。在推翻后汉的过程中，赵匡胤因为作战有功，后来被提拔为禁军军官，这激发了他继续往上发展的勇气。公元954年，周世宗柴荣即位，赵匡胤又因智勇双全、连战连胜，先后被提升为“殿前都御侯”、“殿前都指挥使”，成为禁卫军的高级将官。
显德三年（公元956年）春，周世宗柴荣亲征淮南，赵匡胤随驾南征，又立下大功，占领了南唐的滁州。在滁州，赵匡胤部下捉到一百多名百姓，指认他们为盗匪，准备斩首示众。新来滁州上任的军事判官赵普却不同意全杀，他说：“你不审问清楚就一律处死，如有被诬陷者，岂不误伤人命？”赵匡胤说：“这里的百姓，都是俘虏，我将他们全都赦免无罪，已经够仁义了。可他们这些人还要做盗匪，不动刑罚，就不能儆戒他人。”
赵普不同意赵匡胤的说法，反驳道：“南唐虽属敌国，但百姓有什么错？你既然想一统中原，为何要把这里百姓看作俘虏？”赵匡胤无言争辩，只好说：“你若不怕辛苦，就烦请代为审理这些人吧！”赵普对这一百多平民认真查问，绝大多数没有作盗匪的证据，除个别有物证定罪外，其余无罪释放。百姓们非常高兴，称赞赵普英明。赵匡胤由此对赵普格外信任，凡有大事，必同他商量。
周兵攻占滁州，南唐国主李璟害怕了，向柴荣求和未果，便命齐王李景达为帅带6万兵马直奔扬州。扬州当时的守将是韩令坤，忙向滁州求援。赵匡胤率兵来到六合，准备去支援扬州，但韩令坤已撤出扬州，赵匡胤闻讯，捎信批评了韩令坤。韩令坤立即下令回兵扬州，与唐将张孟俊遭遇。周兵各个勇敢善战，唐兵大败，张孟俊被活捉。
过了几天，唐兵主帅李景达发兵攻周。赵匡胤率兵迎战。赵匡胤发现有几位兵士畏惧不前，便用剑在他们的皮笠上砍出痕迹，作为记号。这一仗，双方不分胜负。收兵后，赵匡胤将皮笠上有剑痕的兵士斩了，通报全军。第二天再战，周兵以一当十，杀得唐兵一败涂地，最终平定南唐。
周军节节胜利，直逼幽州，但柴荣大病卧床，不能继续指挥作战，只好撤军。赵匡胤随柴荣皇帝征辽有功，被任命为殿前都点检掌管禁卫军，兼检校太傅，不久又增加了归德（今河南商丘）军节度使一职，权力越来越大。
公元959年，后周周世宗病亡，周恭帝柴宗训年幼。这时的赵匡胤由于屡建战功，声望日高，他除了典掌禁军外，还兼宋州归德节度使（今河南商丘），负责防守京师。于是，当年占卜时得来的一颗当皇帝的心愿，便开始萌发，并很快膨胀起来。
此时，赵匡胤得到率兵出征的命令后，便有条不紊地行动起来。赵匡胤调兵遣将，大造声势，像是真要去抵御大敌。其实，这是赵匡胤等人设下的圈套。当大队人马开进到大梁城北40里的陈桥驿时，天色已晚，便驻扎下来。夜里，赵匡胤的弟弟赵匡义和谋士赵普，按照赵匡胤的预先部署，进行了紧张的活动。他们派人到将士中鼓动兵变，拥立赵匡胤当皇帝。将士们很快地议论开了。大家说：“现在皇上年幼力弱，未能亲理政事，我们为国出生入死，有谁知道？不如先立点检为天子，再北征不迟。”赵匡义和赵普见将士们行动起来，立即派飞骑回京，与留在汴梁的禁军将领石守信、王审琦秘密约定，待赵匡胤回师时作为内应。这天夜里，在陈桥驿的将士们都没有入睡，赵匡胤假装酒醉不醒，躺在床上。黎明时分，赵匡义、赵普和诸将闯进卧室，个个手拿兵器说：“诸将无主，我们愿立太尉（赵匡胤）做天子！”众将士一边叫喊着，一边团团围住正打着哈欠的赵匡胤，并把早准备好的龙袍强行披到赵匡胤身上，随后叩头便拜，高呼：“万岁！”这就是历史上的“陈桥兵变，黄袍加身”一说的来由。这一年，赵匡胤34岁。