当霍氏家族走下坡路的时候，霍云先生的舅父李竟先生，有一个朋友，名叫张赦。此公向李竟先生秘密建议曰：“现在宰相魏相先生，跟平恩侯许广汉先生，大权在握，恐怕终有一天会罩到霍家头上。但你们仍有一条生路，那就是，请霍显老奶出面，说服她外孙女上官太后，由上官太后下令，先把魏相、许广汉干掉，然后一做、二不休，再把刘询先生驱下宝座，另换上一个皇帝，才是釜底抽薪的上策。”问题是，当霍氏家族掌握兵权的时候，这主意是好主意，因为它有成功的可能性。如今，兵权既去，等于丢了刀子再去打老虎，这主意便是馊主意，而且是可怕的馊主意矣。尤其糟的是，这种可怕的馊主意，却不能保密，竟被霍家的马夫听了去。恰巧长安的一个小市民张章先生，跟马夫是朋友，前来投靠马夫，马夫好心肠，留他在宿舍住下。落魄的人心神不宁，一时难以入梦，马夫们却以为他睡啦，对这件事窃窃私语兼纷纷议论。张章先生—一听到耳朵里，暗喜日：“富贵荣华，在此一举。”第二天，他就写了一份检举函，向皇帝直接告密。前已言之，从前任何奏章，都要经过“领尚书事”（皇宫机要秘书长）一关，现在则不再经过啦，所以，这份检举函直接就送到刘询先生那里。司法部（廷尉）立即采取行动，把李竟先生捉住，并下令首都卫戍司令官（执金吾），逮捕闻风逃走的张赦先生。

可是，稍后不久，刘询先生吩咐不再追究，并且把李竟先生释放。罢黜皇帝，是一个非同小可，足以引起千万人头落地的阴谋，忽然稀松平常地消灭于无形，反而使霍氏家族更为恐慌。他们了解，是因为事情牵连到当太皇太后的上官女士，只不过暂时地按兵不动，暴风雨仍在酝酿。偏偏李竟先生在司法部（廷尉）留下不利于霍家的口供——这应该在意料之中。于是，刘询先生认为，机要秘书长霍山先生，首都卫戍部队副司令官霍云先生，已不适合继续担任高级官员，勒令他们退休，但仍保持他们的侯爵。至此，霍氏家族中，除了霍禹先生仍当一个架空了的国防部长（大司马）外，其他的全都被逐出权力中枢。而刘询先生对唯一尚留在政府中的霍禹先生，也不再维持昔日的礼遇，不时地露出使霍禹先生难堪的嘴脸。霍显女士的一些女儿们，都是上官太后的姨妈，不但辈份高，年龄也比较长，平常每次进宫，跟上官太后挤在一起，叽叽喳喳，骨肉情深，现在也成了罪状。有一天，刘询先生声色俱厉地质问霍禹先生：霍家妇女普见上官太后时，为啥不遵守皇家礼节？所谓皇家礼节，就是磕头跪拜的奴才礼节。刘询先生又顺便质问：冯子都是谁？仗着谁的权势，竟敢在长安欺善凌弱？问得霍禹先生哑口无言，浑身大汗。呜呼，霍家从来没有受过这种面对面的侮辱，而侮辱是更大灾祸的前兆。胆小的开始魂不附体，胆大的则一肚子愤怒——一种恶人受挫后所产生的愤怒，誓言霍家决不再继续接受这种侮辱啦，必须采取紧急反应。老太婆霍显女士，身为一家之主，更忐忑不安，她曾梦见霍光先生警告她：“你知道不知道，就要逮捕儿辈乎？”霍禹先生也梦见成队的骑兵和囚车，前来执行逮捕。而且，怪异的事，层出不穷，《汉书》记载曰：“家里的老鼠忽然增多，窜来窜去，有时竟撞到人身上。[号鸟]就在庭院树上筑巢，发出毛骨悚然的叫声。大门无故塌掉，有人仿佛看见鬼魂就坐在霍云先生的房子上，掀起屋瓦，扔到地下。”

——老鼠忽然增多，显然是因为霍家已陷于重大危险，家人上下，朝不保夕，已没人再去整理环境。大门塌掉，屋瓦自落，更说明缺乏照料，任它颓坏。[号鸟]鸟，srixuralersis也，俗称猫头鹰，是生长在幽静丛林里的动物。它阁下的眼睛，在阳光下看不见东西，所以白天只好睡大觉，晚上才出来上班。事实上它根本不可能进入有人居住的人家，无论这人家是不是深宅大院。而它竟然进入啦，”再一次说明霍家的人精神恍惚，众心涣散，不要说猫头鹰在树上筑巢没人去管，恐怕就是老虎闯到厨房，都没人管矣。任何煊赫的官宦世家，一旦失去权势，第一个现象就是住宅的荒芜。嗟夫，不仅霍家如此，古今中外，从无例外。