事已至此，时光无法倒流，错误已然铸成。
假如李林甫从此改换门庭投到太子李亨麾下，是不是一切就可以从头再来呢？
历史旧账不是那么容易一笔勾销，就算太子李亨在表面上接纳他，双方有可能也是虚与委蛇相互敷衍而已。
换句话说不论他怎么做，李亨永远不会相信他。
既然如此，李林甫只能一条道路走到黑，必须不择手段搞掉太子李亨，决不能让他顺利当上皇帝。
经过这么多年巩固并且扩大权力，李林甫基本已经权倾朝野，现在他终于找到机会对太子李亨下手。
李林甫之所以能够权倾朝野，那是因为李隆基默许他这么做。
此时李隆基早已丧失当年那种克己自律的精神，反而变得骄奢淫逸和纵情享乐，就连御史台的谏官们在李林甫的威胁之下，他们也不敢随便劝谏皇帝。
趁着李隆基沉醉在享乐之中，李林甫大肆独揽朝政，这也是为什么殷无咎年仅弱冠就能担任河西节度副使。
正所谓朝廷有人好办事，背靠大树好乘凉。
目前李林甫就是殷无咎的最大靠山。
随着李林甫步步紧逼之下，李适之同样跟着朝不保夕，他经过一番痛苦的思想斗争之后，终于无奈向李隆基递交辞呈，请求退居闲职。
李隆基同意解除李适之的宰相职务，把他迁为太子少保。
殷无咎离开相府之后。
他听说李适之在罢相之后举办盛大宴会，还让儿子李霅到处发放请柬，他想要知道自己失势以后，平日里跟他称兄道弟的朝臣们，到底还有几个能够不惧李林甫的淫威，前来登门喝他的酒。
避贤初罢相，乐圣且衔杯。
为问门前客，今朝几个来。
结果满朝文武亲朋故旧，竟然没有一个人敢来喝他的酒。
这还真是岂料门前客，今朝无人来。
这天李适之和儿子李霅在大门傻站一天，愣是没等到一个客人上门。
看着桌子上的酒菜已经开始凉透，他们父子终于明白过来，原来这就是人走茶凉。
“父亲，看来他们都是小人，就连太子殿下那边也没有派人前来。”
李霅愤愤不平怒骂道。
李适之不禁苦笑道：“儿啊，要怪就怪为父太过天真，竟然对他们抱有不切实际的幻想。”
看到自家父亲已经心灰意冷，李霅觉得这样或许更好，从此便可避免灾祸，毕竟他家跟着李林甫还有亲戚关系。
李霅认为只要自家父亲不再支持太子李亨，李林甫应该不至于赶尽杀绝。
从辈分上来说，李适之还是李林甫的堂侄。
本来李适之带着满腔的幽怨离开相位，他写下一首《罢相》借以抒发自己的满腹怨气，也不乏有跟李林甫赌气的意味。
现在李适之决定在太子少保的闲职上安度晚年，再也不跟任何人赌气。