杨光远只陪杨复光在渔阳城呆了一天，便在后者的要求下前往辽东，以防吕布在辽东布置人手，抢夺辽东实际大权。
杨复光对杨光远可是寄予厚望的，直接把数万流民尽数赠予，私底下还给了不少钱财资助。
有兵、有钱、杨光远的底气还是很足的，虽然面对着辽东百废待兴的书面，但他却觉得这才是最好的开始，从一无所有打造自己的根基，才最扎实。
杨光远在渔阳城见识过杨复光对吕布的态度后，为了迷惑吕布，便不时写信给吕布、王浚表示自己是新人，一些大事不懂，要讨教。
王浚很高兴地回信指点江山。
但吕布却以杨光远的野心，心知肚明，态度便十分敷衍。
杨光远见此，便舍吕布改而大拍王浚的马屁，想联合王浚除掉吕布，继而控制幽州。
这个目标是弘农杨氏族长亲自交行杨光远的，杨氏族长亦感觉到天下分崩在即，杨氏说不定可以趁机取刘汉而代之，除了在弘农、关中暗中布置外，在天下各地亦收罗人才，布置后手，只等局势再恶化一些，便可起事了。
杨光远对此却很是不满，因为纵然杨氏得了天下，皇帝是杨氏族长做，最后根本没他什么事。
正在杨光远在感叹一生皆在为他人做嫁衣之时，一名叫赵延寿的年轻人前来求见。
杨光远听说赵延寿乃是前玄莬太守之子，在玄莬郡还是有一这影响力的，这才接见了后者。
两人客套了两句，赵延寿一坐下便道：”杨太守，你出身弘农杨氏，身份尊贵，但你却不应该来辽东任职呀，此乃到祸之道呀！“
杨光远一愣，“赵公子的言外之意，是担心吕布会像对王处直之流般对付我？我可不怕，我不但是出身弘农杨氏，还是中常侍杨复光的族子，谅吕布有天大的胆子，都不敢动我。”
赵延寿笑了一下道：“有什么事是吕布不敢干的？当初家父与吕布联兵征讨高句丽，吕布贪图家父麾下那三千兵马，就敢在战场上加害了家父，事后将三千大军尽数收入麾下。杨太守，你占了吕布好不容易才打下的辽东，他会放过你？”
杨光远听得冷汗直冒。
赵延寿继道：“吕布野心之大，恐怕意在图谋刘汉天下，之前在徐州之时，他便通过不断发动战争，继而将整个徐州占据，继而向西，想进占豫州。汉庄灵帝觉察到吕布的图谋，这把下令将吕布调来渔阳，可没想到吕布如此狠毒，一到蓟县便斩杀了石敬瑭，还栽赃谋反书信于石敬瑭身上。
再后来的事情杨太守你也清楚了，右北平的王处直、代郡的拓跋氏、辽东的慕容氏、家父、杜威。这些人一个个都惨死于吕布之手。但吕布却说些都犯的谋反之罪，这话，你信吗？整个幽州官员都是反贼？”
杨光远在京城听说这些事之事，便对这么多皆是反贼之事，产生过怀疑，现在听赵延寿这么一说，心头顿时一颤，有想哭的冲动。