与韦冰分别之后，李白欲回庐山，可不巧遇到了襄阳守将康楚元叛变，将长江也封锁了。李白只好又回了客栈。一日忽然有一人找到李白，说旧交中书舍人贾至被贬为汝州刺史，后因未能守住汝州又被贬为岳州司马，此次是邀李白前往岳阳洞庭湖一游。
乾元二年（759年）八月，李白到达岳阳，贾至在岳阳楼热情地招待了他。同时在座的有李晔。李晔是大郑王的裔孙，在朝中任刑部侍郎，由于他得罪了宦官李辅国，被贬官岭南尉，路过岳州。三人都是长安的老相识，见面格外亲切。李白向李晔打听长安的消息。李晔说，去年，房琯因用车轮战法与叛军作战，结果大败，肃宗因他事将房琯贬为巴州太守。杜甫因谏劝皇帝说，房琯有大臣体，不能因琐事而罢房琯的宰相职，肃宗因此将杜甫由左拾遗贬为华州司功参军。杜甫上个月已辞职西入陇西，生活十分困苦。他在天水时曾写了《梦李白二首》《天末怀李白》《寄李十二白二十韵》等诗，已传入京师。李晔将所抄的杜甫诗递给了李白，李白展卷读道：
其一
死别已吞声，生别常恻恻。
江南瘴疠地，逐客无消息。
故人入我梦，明我长相忆。
恐非平生魂，路远不可测。
魂来枫林青，魂返关塞黑。
君今在罗网，何以有羽翼？
落月满屋梁，犹疑照颜色。
水深波浪阔，无使蛟龙得。
其二
浮云终日行，游子久不至。
三夜频梦君，情亲见君意。
告归常局促，苦道来不易。
江湖多风波，舟楫恐失坠。
出门搔白首，若负平生志。
冠盖满京华，斯人独憔悴。
孰云网恢恢，将老身反累。
千秋万岁名，寂寞身后事。
（杜甫《梦李白二首》）
凉风起天末，君子意如何？
鸿雁几时到，江湖秋水多。
文章憎命达，魑魅喜人过。
应共冤魂语，投诗赠汨罗。
（杜甫《天末怀李白》）
昔年有狂客，号尔谪仙人。
笔落惊风雨，诗成泣鬼神。
声名从此大，汩没一朝伸。
文彩承殊渥，流传必绝伦。
龙舟移棹晚，兽锦夺袍新。
白日来深殿，青云满后尘。
乞归优诏许，遇我宿心亲。
未负幽栖志，兼全宠辱身。
剧谈怜野逸，嗜酒见天真。
醉舞梁园夜，行歌泗水春。
才高心不展，道屈善无邻。
处士祢衡俊，诸生原宪贫。
稻粱求未足，薏苡谤何频。
五岭炎蒸地，三危放逐臣。
几年遭?鸟，独泣向麒麟。
苏武先还汉，黄公岂事秦。
楚筵辞醴日，梁狱上书辰。
已用当时法，谁将此义陈。
老吟秋月下，病起暮江滨。
莫怪恩波隔，乘槎与问津。
（杜甫《寄李十二白二十韵》）
这四首诗，充满了杜甫对李白的无限思念和深情厚谊。他听说李白被流放夜郎，深知流放途中的艰险，生怕李白遭遇险情和为小人所害，所以还以为是李白的冤魂托梦前来相告。但当他确知李白在流放途中还活着，便对李白的冤屈十分同情。他认为李白是诗中豪杰，不愧为谪仙人的称号，并说李白的诗歌有“笔落惊风雨，诗成泣鬼神”的艺术魅力。在诗中，杜甫叙述了李白天宝初年在长安的优宠和盛名，回忆了他与李白交往的经历。他认为，李白受到流放的处罚是冤枉的，说李白像历史上的苏武和黄公一样，是忠心爱国的，深信李白是清白的，他实际上是在为李白申冤和辩解。
李白读后，感动得泪水沾衣，说道：子美贤弟，真不愧是我李白的知己啊，在地遥山远的陇西天水还想着我。陇西可是我李白的祖籍呀，老弟的好意我心领了。“文章憎命达，魑魅喜人过”，说得太好了，我们兄弟俩可真成了难兄难弟了！
贾至接着说：我和子美是同乡，都是洛阳人，如今我们也都是落难之人啊。