从此，牛郎和老牛相依为命，他们在荒地上披荆斩棘，耕田种地，盖造房屋。一两年后，他们营造成一个小小的家，勉强可以糊口度日。可是，除了那条不会说话的老牛而外，冷清清的家只有牛郎一个人，日子过得相当寂寞。牛郎并不知道，那条老牛原是天上的金牛星。
这一天，老牛突然开口说话了，它对牛郎说：“牛郎，今天你去碧莲池一趟，那儿有些仙女在洗澡，你把那件红色的仙衣藏起来，穿红仙衣的仙女就会成为你的妻子。”牛郎见老牛口吐人言，又奇怪又高兴，便问道：“牛大哥，你真会说话吗？你说的是真的吗？”老牛点了点头，牛郎便悄悄躲在碧莲池旁的芦苇里，等候仙女们的来临。
不一会儿，仙女们果然翩翩飘至，脱下轻罗衣裳，纵身跃入清流。牛郎便从芦苇里跑出来，拿走了红色的仙衣。仙女们见有人来了，忙乱纷纷地穿上自己的衣裳，像飞鸟般地飞走了，只剩下没有衣服无法逃走的仙女，她正是织女。织女见自己的仙衣被一个小伙子抢走，又羞又急，却又无可奈何。这时，牛郎走上前来，对她说，要她答应做他妻子，他才能还给她的衣裳。织女定睛一看，才知道牛郎便是自己日思夜想的牵牛，便含羞答应了他。这样，织女便做了牛郎的妻子。
他们结婚以后，男耕女织，相亲相爱，日子过得非常美满幸福。不久，他们生下了一儿一女，十分可爱。牛郎织女满以为能够终身相守，白头到老。
可是，王母知道这件事后，勃然大怒，马上派遣天神将织女捉回天庭问罪。
这一天，织女正在做饭，下地去的牛郎匆匆赶回，眼睛红肿着告诉织女：“牛大哥死了，他临死前说，要我在他死后，将他的牛皮剥下放好，有朝一日，披上它，就可飞上天去。”织女一听，心中纳闷，她明白，老牛就是天上的金牛星，只因替被贬下凡的牵牛说了几句公道话，也贬下天庭。它怎么会突然死去呢？织女便让牛郎剥下牛皮，好好埋葬了老牛。
正在这时，天空狂风大作，天兵天将从天而降，不容分说，押解着织女便飞上了天空。
正飞着、飞着，织女听到了牛郎的声音：“织女，等等我！”织女回头一看，只见牛郎用一对箩筐，挑着两个儿女，披着牛皮赶来了。慢慢地，他们之间的距离越来越近了，织女可以看清儿女们可爱的模样子，孩子们了都张开双臂，大声呼叫着“娘亲”，眼看，牛郎和织女就要相逢了。可就在这时，王母驾着祥云赶来了，她拔下她头上的金簪，往他们中间一划，霎时间，一条天河波涛滚滚地横在了织女和牛郎之间，无法横越了。