胡铨当年反对和议，上书要杀了秦桧以谢天下，已经被贬到福州，但是这个事情没完。
绍兴和议以后，右谏议大夫罗汝楫受秦桧指使，再次弹劾胡铨文过饰非，于是胡铨再被夺取功名，贬到更南方的新州（今广东新兴）编管。
当时旅居福州的诗人张元干义愤填膺，作了一首词来送别胡铨，词的名字叫《贺新郎·送胡邦衡待制赴新州》：
梦绕神州路。怅秋风、连营画角，故宫离黍。底事昆仑倾砥柱，九地黄流乱注。聚万落千村狐兔。天意从来高难问，况人情老易悲难诉！更南浦，送君去。
凉生岸柳催残暑。耿斜河，疏星淡月，断云微度。万里江山知何处？回首对床夜语。雁不到，书成谁与？目尽青天怀今古，肯儿曹恩怨相尔汝！举大白，听金缕。
张元干这首词的字里行间都在发问，大宋的万里江山去哪了？但他更注重的是抒发一种送别的哀愁，因为胡铨去的地方连去南方过冬的大雁都飞不到。
隐居泸溪（今湖南湘西泸溪县）的诗人王庭珪也写了两首七律诗为胡铨送行：
囊封初上九重关，是日清都虎豹闲。百辟动容观奏牍，几人回首愧朝班？
名高北斗星辰上，身堕南州瘴海间。不待他年公议出，汉廷行召贾生还。
大厦元非一木支，欲将独力拄倾危。痴儿不了公家事，男子要为天下奇。
当日奸谀皆胆落，平生忠义只心知。端能饱吃新州饭，在处江山足护持。
他这首诗的大致意思是为胡铨打抱不平，但是里面有“当日奸谀皆胆落”，好像是有讽刺当今奸相的意思。
当时很多文人即使赋诗作词讽喻时政，也是非常的隐蔽，生怕被秦桧抓住把柄，但王庭珪这两首诗却是直言不讳。
第一首诗直译是这么个意思：
胡铨的奏折闯过艰难险阻送达朝廷，恰好这天秦桧的走狗都很清闲。
于是百官们惊恐地看着奏折的内容，却没有几个人羞愧于不敢发声。
胡铨的名声威望高北斗，却被贬到南海边的毒瘴之地。
用不了几年后公正的评议一出，朝廷一定会将胡公重新召回给予重任。
诗文一开头就把矛头对着秦桧，说胡铨作为一个小官，面对层层阻碍，要使自己的仗义执言上达天听是多么不容易，可朝廷上下却被秦桧的爪牙所把持。
张元干的词，王庭珪的诗，不仅文学感染力很强，而且很接地气，和当时人们所关注的时事联系在一起，又与当时轰动朝野的胡铨上书有很大的关联，于是在民间悄悄地流传开来。
不过这些诗词传到秦桧的耳朵里，是几年后的事情了。
胡铨在新州过了六年的太平日子，直到有一天，秦桧的小舅子王鈇（音夫）升官到广南东路当经略使兼广州知州，他特意来到新州，召见了新州的守臣张隶。
“老张啊，赵鼎和李光现在都去了海南岛，为什么胡铨还在你这里？”他言下之意就是胡铨也应该早就到海南去过苦日子了。
张隶当然知道这是秦桧的意思，于是就千方百计搜刮胡铨的罪状。
胡铨一介文人，又是正义之士，哪来的小辫子给张隶抓呢？张隶找了半天，终于给他找到个突破口。
胡铨曾经写过一首词，词的名字是《好事近》：
富贵本无心，何事故乡轻别？空使猿惊鹤怨，误薜萝风月。囊锥刚要出头来，不道甚事节。欲驾巾车归去，有豺狼当辙。
这首词的大致意思是：我本无心富贵，为什么落了个远离故乡的下场？我欲乘风归去，却有豺狼当道，挡住了我的去路。
于是张隶就上奏朝廷，说胡铨埋怨朝廷，简直肆无忌惮，把朝廷比作豺狼虎豹。
接下来，张隶再接再厉，发现胡铨还写过一首诗：“万古嗟无尽，千生笑有穷。”
他又上书朝廷，说北宋宰相张商英自号“无尽居士”，“万古嗟无尽”是讽刺宰相，“有穷”是指夏商周的夏朝有穷氏首领后羿，“千生笑有穷”就是嘲笑君主。
秦桧收到奏折当时就就乐了，他没想到张隶一个小小地方官还这么有才华，他于是立马上报给了赵构，赵构一看，好像还真是这么回事。
最后，可怜的胡铨终于被贬到了天涯海角的海南岛吉阳军。
张隶还特意安排一个凶恶的下属游崇押解胡铨，不出意外的话，胡铨就会死在押解途中。
可雷州（今广东雷州）守臣王趯（音越）同情胡铨，在胡铨路过雷州的时候，以贩卖私茶罪逮捕了游崇，还送给胡铨一笔路费，让胡铨顺利的到达了海南。
张隶因为这个案子，升官到了湖北任荆湖北路常平茶盐公事，又是一个垄断商业的肥缺。
胡铨的同乡欧阳安永终于注意到了王庭珪写给胡铨的那首诗，为了攀附秦桧，他出面告发王庭珪，所谓爱屋及乌，要搞胡铨，自然不能放过所有同情他的人，秦桧将已经七十岁的王庭珪流放到了辰州（今湖南沅陵）编管。
但是王庭珪的诗已经流传了这么久，他秦太师却才知道，这不得不说是下面的地方官员不作为，于是江南西路的很多官员也因此降职。
张元干的词最后也传到了秦桧的耳朵里，可是张元干早就辞官二十载，无官可罢，于是秦桧派人把他抓到了大理寺，审讯了很长时间，大约抓不到更多的罪证，只好削去了张元干的官籍了事。
秦桧最痛恨的三个人是赵鼎、胡铨和李光，他曾在自己的书房内写下三人的名字，提醒自己时刻不要忘记将这三人置之死地。
李光从参知政事位上下台后，已经贬到了滕州（今山东滕州），还算是富裕之地。可滕州知州老周没打算让这个曾经的副宰相过好日子。
周知州假意请李光吃饭，席间恭维李光，说他的诗写的好，希望他赋诗两首助助兴。
李光趁着醉意，把心中的苦闷，和对秦桧的怨恨，以及对和议的失望，都化成了诗篇，当场吟诵了出来。
周知州早已命人记录下来，然后密报给了秦桧，秦桧马上指示御史中丞杨愿弹劾李光，于是1144年李光再次被贬，这回他也到了海南岛，在琼州（今海南海口琼山）安置。
李光以为这已经是天涯海角了，再也没有比这里更苦的地方了，没想到，更大的苦难还在等着他。
海南岛在这个时候是宋国的最南端，但是海南岛也分繁华和荒凉，琼州靠近大陆，自然是繁华区域，吉阳军和昌化军，一个在海南岛的最南端，一个在海南岛的最西端，又是驻军之地，艰苦程度可想而知。
另外，对于被贬的官员来说，还有自由程度和经济状况的区别。
贬官分为降官、安置、居住、编管、羁管、除名、勒停等情形。
降官只是降职处理，你还是有实职；除名就是剥夺一切权利，包括政治权利和经济权利，削职为民；勒停是停止你的一切职务，但荣誉衔还保留。
编管和羁管那相当于坐牢，编管是指将户籍编入贬所，比如你被贬到海南，那么你的户籍跟着编入海南，然后定期要向官府报到，不能离开贬所；羁管更严厉一些，有专人看守你，相当于囚禁。
如果是判为编管和羁管，你去贬所报到的路上，会有专人押解。
安置和居住就好很多，相当于给你划了一个专门的退休区域，不用定期报到，还有俸禄可以拿。安置是针对宰执大臣（国级干部），居住则针对百官，去居住和安置的路上，没有专人押解，只会派一两个大臣陪同，相当于游山玩水。
李光到了海南岛的琼州，只是安置退休，他有相当多的时间不好打发，就想把自己在宦海浮沉中的所见所闻记录下来，流传后世，于是他就开始编写自传。
除了官方编纂的史料，其余人编写的历史都称作“野史”或者“私史”，不但不被官方认可，还会被官方无情打压，因为你写的东西可能会丑化朝廷。
李光作为前任副宰相，他了解很多官场的内幕，尤其他写的东西，可能会夹杂自身对于朝政的一些批评和异议，这是执政党不愿意看到的。
李光已经是将近七十岁的老人，要写一部书是很不容易，于是他就让次子李孟坚帮他写回忆录。
李孟坚没有他老子那么深的城府，也不知道官场的黑暗，他有一次跟李光的侄女婿陆升之聊天，就透露出李光在写自传这件事。
陆升之原来是李光的门客，后来娶了李光的侄女，时任淮西提点刑狱司干办公事，只是一个小主管，现在李光又被贬，他虽然叫“升之”，但已经升迁无望。
当他知道李光在编写私史，他意识到升官发财的机会来了，于是他改换门庭，立即向秦桧告密。
秦桧高兴坏了，他正愁找不到李光的把柄，于是他一面让他的亲信两浙路转运判官（相当于浙江高官）曹泳去调查取证，一面让秘书省着作佐郎（相当于国家档案馆副馆长）林机趁面见赵构的机会力陈私史的危害。
赵构只说了一句“私史必须禁”，秦桧马上就找到了李光编写的自传交给赵构，再添油加醋一番，说李光为害朝廷之心不死，还想留下不当言论留给后世。
和州（今安徽和县）通判（副市长）吕愿中也上书告发李光，说他和胡铨私下里往来，写诗作词一唱一和，讥讽朝政。
于是李光坐实了“主和议反覆，后在贬所，常出怨言；妄作私史，讥谤朝廷；意在播扬，侥幸复用，及与士褒于罢政后往来交结”的罪名。
赵士褒是赵构的族叔，正儿八经的皇亲国戚，秦桧诬陷岳飞的时候，他愿意以全家一百多口人的性命保岳飞一命，于是被贬。
跟皇族勾结，这可是谋反大罪，可李光作为前宰执大臣，已经没法再贬了，祖宗规定又不能杀，最后赵构不得已，只能是把他发配到更偏远的海南岛昌化军，还加了一条“永不检举”，意思就是再也翻不了案了，永世不得翻身。
李光的儿子李孟坚参与了私史的编写，被除名，发配峡州（今湖北宜昌）编管。
受此案株连的还有另外八人，包括宗泽的儿子宗颖，秦桧原来的同党程瑀。
可见，秦太师狠起来，连自己人也不放过。
秦太师还间接害死了不少人，比如留在金国的宋国良臣。