得了大和尚指点，这李员外又从和尚变成了游离天下的游荡者，在全国各地游荡了三年，在游历山东曲阜孔圣人之乡时，遇到一位算相看命的道士，那道士言他与道有缘，刚好这刘员外自感与这道士也算是比较投缘，于是便拜了这道士为师，向这道士学习看相算卦。虽为徒弟，两人实际是亦师亦友。
两人靠着给人算命看相为生，一时倒也活得逍遥自在。然而好景不长，只过了一年，老道士便撒手人寰。说也奇怪，平时这老道士还在世的时候，与他一起给人算命看相，人们都言这老李算命看相很是灵验，等老道士去世后，再给人算命看相，渐渐地，老李的口碑竟逐渐日益下滑。
只到有一日，有一个青年硬说老李算命不准，误了自己大事，青年认为他不配给人算卦看相，怒砸了这老李的卦摊。
经此一事，老李从此顿觉心灰意冷，这老李回顾这几年的人生过往，只觉自己其实也并不喜好给人算卦看相，都快入土的人，为了三斗米，还低声下气，给人摇唇鼓舌，实是无趣。
这李员外越是这样想，又想起了当初学这行，也只不过是与道士有缘，那时对易学感兴趣，与那道士也颇为投机，遂结为师徒，这才有了以算命看相为营生。
而今道士羽化，只留下自己，漫漫人生索然寡味，罢了，罢了，既然算命看相并非是自己真正所愿，趁此机会，不如从今之后就金盆洗手彻底不再起卦看相，岂不美哉。
又过了一段时间，老李方才知道原来那怒砸自己招牌的青年是受城中几个算命看相的同行暗中指示，故意给自己捣乱的，目的是让自己在这一带从此彻底呆不下去。
谁让道士还活着的时候，自己曾经和道士一同给整座城的算命看相生意都给做的别家基本上都没生意。
知道此事后，这李员外只觉人世恍然如一大梦，虚虚幻幻，真真假假，人来世上，一切犹如一场游戏。
罢了，挚友已逝，此地本就不属于自己，其实再在此处呆下去也没什么意思，对了，已经离家好多年了，家是什么样子都快记不起来了，人老终究要落叶归根的，再回家乡去风浊残年过一生吧。
思虑一瞬间，李员外便决定重新再回汴京。回到汴京城，李员外还特地去看了一下昔日自己的家宅与田产，好歹当年卖宅卖地时，买主还不错，也算得上一位仁义之士。
如今既然回来了，与人再叙一场旧，吃一杯酒，倒也无妨，毕竟那人也算是位仁义之人，谅不会对自己冷眼相待。
李员外兴冲冲来到昔日府宅，不曾想这府宅竟又换了主人，家宅与田产不禁又换了新主人，找人一打听，得知当年买自己府宅与田产的人早已是因前几年忽得重病，一病而亡。
这家主心骨病亡，两个儿子不成气，一个好赌，一个好淫，没过三年，家产败的精光，一家仆人走的走逃的逃，两个儿子只好将仅剩的家宅也卖给了人，再后来，两个败家子杳无音讯，人们连在汴京城中都不曾再见这两个败家子。