马援是战国时期名将马服君赵奢的后裔，汉武帝时由邯郸迁居茂陵。曾祖马通以功封合侯，后受牵连被诛，家道中落。马援十二岁时，父母去世，随兄马况生活。及长，美丰仪，须发明晰，眉目如画。“少有大志，诸兄奇之。”曾师事颍川满昌，学《齐诗》。但马援不满足于分章断句，且当时家用不足，马援就要求去边郡种田放牧。马况对他说：“汝大才，当晚成；良工不示人以朴（你尚未雕琢成器，不宜过早出山），且从所好。（既然你想去就去吧！）”不久，马况病死。马援服丧后，任郡督邮。因私放重犯，逃亡北地（甘肃庆阳西北）从事耕牧。马家宾客（势家豪族的依附人口）前来依附的达数万家。他常对宾客表达自己的抱负，说：“丈夫为志，穷当益坚，老当益壮”。他经营田牧卓有成效，牛马羊达数千头，谷数万斛。马援认为“凡殖货财产，贵其能施赈也，否则守钱虏耳。”将畜谷尽赠昆弟故旧，自己并不积累财富。
王莽末年，四方兵起，经王莽从弟王林推荐，马援被任为新成（王莽改汉中为新成）大尹（即太守）。王莽败，避地凉州。刘秀即帝位后，陇西隗嚣，授援绥德将军，参与决策。
这时公孙述也在蜀称帝，隗嚣为了解两帝情况以决定去从，派马援先后去成都及洛阳观察形势，马援到成都时，认为自己与公孙述是同乡同里，交情甚好，故友重逢必当握手言欢。不料公孙述却盛陈陛卫，戒备森严，摆足了帝王的架子。公孙述拟授马援以封侯大将军之职。马援的随员皆乐于留蜀，马援晓谕他们说：“天下雌雄未定，公孙不吐哺（引用周公“一饭三吐哺”，意谓公孙述不重视人才）走迎国士，与图成败，反修饰边幅，如偶人（木偶）形，此子何足久稽（留）天下士乎！”随即辞归。对隗嚣说：公孙述“井底蛙耳，而妄自尊大，不如专意东方（指刘秀）。”
建武四年（公元28年），马援奉书去洛阳见刘秀时。马援一到，刘秀立即引见于宣德殿，并笑迎马援说：“你来往于成都、洛阳之间，把我与公孙述等同看待，实在令人惭愧。”马援回答说：“当今之世，非独君择臣也，臣亦择君矣。臣与公孙述同县，少相善。臣前至蜀，述陛戟而后进臣。臣今远来，陛下何知非刺客奸人，而简易若是？”刘秀说：“卿非刺客，顾说客耳。”经过几番交谈，马援对刘秀产生极好的印象，颇为刘秀的“恢廓大度”所倾倒，认为刘秀“同符高祖”是真正的帝王。刘秀对他也极为赞赏，带着他南去黎丘，转至东海。回洛阳后，授为待诏，派来歙送归陇右。
马援回来后，对隗嚣高度赞扬刘秀，说刘秀“才明勇略，非人敌也。”还说对秀“阔达多达节，略与高帝同。经学博览，政事文辩，前世无比。”隗嚣听信了马援的见解，决心与刘秀联合，遂遣长子隗恂到洛阳为质。马援也带家属随隗恂至洛阳，由于宾客众多经请示刘秀后在上林苑中屯田。
隗嚣虽然与刘秀联合，但并不肯向刘秀称臣，仍企图保留自己割据一方的独立地位。所以刘秀让他攻蜀，他不出兵，几次派马援来歙去劝他入朝，并许以重爵，他也推辞不肯入朝。马援对此颇为不满，曾数次写信责备隗嚣，隗嚣大怒，认为马援已经叛变，从此二人决裂。
建武六年（公元30年），刘秀以隗嚣不肯借道于伐蜀汉军为借口出兵攻陇，受到隗嚣军的坚强抗击，败于陇坻。马援闻知后即上书刘秀说：“臣与隗本实交友。初，嚣遣臣东，谓臣曰：本欲为汉，愿足下往观之，于汝意可，可专心矣。及臣还反，报以赤心，实欲导之于善，非敢谲以非义。而嚣自挟奸心，盗憎主人，怨毒之情遂归于臣。臣欲不言，则无以上闻。愿听诣行在所，极陈灭嚣之术。”刘秀随招马援为参军。正式加入了刘汉统治集团。马援建议以政治攻势瓦解隗军，被刘秀采纳，马援遂率突骑五千，潜入陇右，往来游说隗嚣的部将及羌族首领，劝其归汉。首先招降了高平第一城（甘肃固原）守将高峻，从此与河西窦融路通。后又招王遵来降，王遵再招瓦亭（甘肃固原）守将牛邯来降，至建武八年时，隗嚣的大将十三人，属县十六，众十余万皆降。马援在击平隗嚣的战争中，起了相当重要的作用。