李白在这里遇到了很多心灵相契、志同道合的伙伴，其中与李白相处得最融洽的便是元丹丘。元丹丘道名霞子，是紫阳先生的入门弟子。生平多不可考，只知他生性淡泊名利，举止安详，气度轩昂，且学富五车，涉猎广泛，天文地理无所不知。李白与元丹丘不但志趣相投，而且亲如手足，李白曾于诗作中说“畴昔在嵩阳，同衾卧羲皇”“吾将元夫子，异姓为天伦”。
他们常在一起谈论玄学，这使李白受益良多，每次与元丹丘谈玄论道后，李白总觉得心神逸扬，通体舒畅，很多执念都在元丹丘的一语或一字间豁然开朗。李白曾作诗一首，叙述二人相聚谈说玄虚的情形：
茫茫大梦中，惟我独先觉。腾转风火来，假合作容貌。灭除昏疑尽，领略入精要。澄虑观此身，因得通寂照。郎悟前后际，始知金仙妙。幸逢禅居人，酌玉坐相召。彼我俱若丧，云山岂殊调。清风生虚空，明月见谈笑。怡然青莲宫，永愿恣游眺。——《与元丹丘在方城寺谈玄作》
像李白这般恃才狂傲的人是很少会叹服他人的才识的，但对元丹丘，他可真是至诚地悦服仰慕，尤其对元丹丘遁隐山林的心志和生活更是羡慕赞赏有加。他们时常结伴云游，促膝长谈，终其一生都交往密切。
由于仰慕元丹丘，李白后来一度想偕妻子到嵩山与元丹丘同游共处，但终因种种现实困难而无法如愿。
紫阳先生在当时是举世闻名的高士，而元丹丘为其最得意的高徒，当然也备受崇仰，朝野上下争相礼遇。此时李白的诗名正盛，也是人人争相邀请的对象，但李白傲骨天成，凡俗之人他尽看不顺眼，来邀访者，一概被拒。后来人们知道了元丹丘和李白的交情，便常通过元丹丘来邀请李白。
有一天，元丹丘与李白应安州郡督之邀，前往赴宴。这位安州郡督姓马，人多尊称为“马公”。在宴席中达官显贵齐聚一堂，这位马公素仰李白诗名，对李白特别礼遇，不但当着众贵客赞誉李白为“奇才”，还向席中一位长史推介李白。马公以郡督之尊，而对一个布衣诗人如此看重，使得一向狂傲不驯的李白也不禁感激莫名。但李白依旧推辞，不愿出仕。很多人不明白，李白为何隐而不仕。对于李白的心态，有一首他当时作的《山中问答》最能说明：
问余何意栖碧山，笑而不答心自闲。桃花流水窅然去，别有天地非人间。
志向高远，不在小就，因而当有人问起李白何故隐而不仕时，李白便“笑而不答”以示深远之境。
酒隐安陆
李白在江夏紫阳先生的道所并没有待很久，与妻子分离一段日子后，李白十分挂念家里，内心的思念令他归心似箭，就连归途的美景竟也无法令他流连了。这趟求访令李白收获良多，以致他连回家赶路的脚步都轻快了。
回到家中，全家都因为他的归来而喜气洋洋，蓝仙更是喜悦万分，她迫不及待地探问紫阳先生的神采、风貌以及这次拜访的心得如何。由于一路的劳累，加上这段日子在心灵、道学上的收获又岂是三言两语所能尽述的！所以李白与蓝仙约定，翌日二人相偕上碧山书房，一来可细诉此行所得，二来因为这次的江夏之行，使他察知自己各方面的不足，他决定在道学上发愤精研。
次日，李白与蓝仙来到碧山的书房，在深幽的山谷中谈道、练剑、弹琴，好不和乐。而李白之前住过的寿山，李白一直觉得那山中景色秀美、仙气缭绕，便也在那里辟了间书屋。
有好长一段时间，李白都没再出游。身为相门龙婿，再也容不得他四处遨游，他只好住在相府。一旦觉得尘气太重，该清静清静的时候，就带着妻子上碧山或寿山去住一阵子。
如果只是这样，那倒也还不错，但此时，李白身份已经不同。作为相府的女婿，他必须要去参加一些当地的大小宴会。
宴饮的场合对李白来说自然不陌生，但他此前经历的，都是与志趣投合、有道有德之人把酒言欢，而如今这些饮宴却大都是些平庸凡俗的例行聚会，在这种应酬性的场合里，没有人会去关注李白的才华。起初李白对这些活动真是厌烦透顶，但后来他改变了心态去面对它：他抱着多多体验人生，开阔眼界的态度去参与，心情倒是好多了。
这些日子里李白又结交了刘侍御绾等人，他曾作《安陆白兆山桃花岩寄刘侍御绾》一诗：
雪卧三十年，好闲复爱仙。蓬壶虽冥绝，鸾鹤心悠然。归来桃花岩，得憩云窗眠。对岭人共语，饮潭猿相连。时升翠微上，邈若罗浮巅。两岑抱东壑，一嶂横西天。树杂日易隐，崖倾月难圆。芳草换野色，飞萝摇春烟。入远构石室，选幽开上田。独此林下意，杳无区中缘。永辞霜台客，千载方来旋。
诗中描写碧山风景和他读书的情形。在这首诗中，他把自己属于神仙性格的一面展露无遗，似乎即将安隐于山野。但是，事实上早先那种“一展长才，一飞冲天”的抱负仍不时冲击着他。他希望在政治上能实现理想，以济天下，这是那个时代的文人墨客的普遍理想，李白自然也不例外。但在李白的意识里除了要在人间创业外，还要超脱世俗的一切羁绊，回归生命的清纯。
追求出世与入世合一是李白的理想，但出世与入世之间，实在是两种绝对相异的观点，更是难以融合为一的两极，甚而可称为两个非常不协调的矛盾。李白对这二者都执著地追求，他坚定地认为，这两者间是可以并行不悖的。唐代诗人中达到这种境界的也不乏其人，如安史之乱后的王维和更晚一些的白居易。可李白的孤傲自负的性情和对政治理想的天真看法，使他注定要在日后落入痛苦的深渊，但也正由于他饱受了这种心灵上的煎熬，心理上充满了复杂的多面性，一旦发之于诗文，更显得多彩多姿了。
在李白停留安陆期间，李客常托人带信来，勉励儿子应该力求上进，并一再提醒要为李家肩负起光耀门楣的重任。在李客眼里，李白是天才，日后必定能在仕途上有所作为，可他眼见年近三十的李白仍旧过着淡然出世的生活，这实在叫他失望和痛心，不免要再三殷殷告诫爱子。但他的做法只能使得李白每次阅信后怅然不已。
除了父亲的深深祈盼带给他的压力外，岳家的名望也时常给李白带来困扰，尽管人们在他面前总是恭维着他的诗文才气，但背地闲谈中，却对这位只会饮酒、舞剑、吟诗弄对的上门女婿十分不屑。父亲殷切期许和贵为名门女婿的尴尬处境使李白承受了沉重的压力，这促使他积极地展现自己，求功立业。
与早期的做法不同，此时的李白决定以投刺上书的方式获得官吏的赏识，以获得一展雄图大志的机会。于是他上书安州李长史与裴长史，推介引荐自己，希望能像苏秦、张仪般，以纵横游说的方式来展现他的长才。