隋炀帝要去太行山，开辟直道九十里，一直通到张衡的家里。隋炀帝到了张衡的老家之后，发现那里的山泉特别甜美，在那里饮宴三日，与当地的父老欢聚一堂，真是给足了张衡的面子。隋炀帝说：“当年，朕随先帝一起去太行山，途经洛阳的时候，就想过来看看，一直没有这个机会，今日终于实现了这个夙愿。”直把张衡感动得拜伏于地，不知道说什么好了。张衡捧杯祝酒。隋炀帝很高兴，都一一地喝下了，并且，给了张衡很多的赏赐。这份恩宠是任何一个臣子也不曾享有过的。因此，张衡显得有些骄贵。隋炀帝把手中的笔放下了。“朕今日召你，是有一件事想让你去处理一下。”“但不知陛下说的是何事？”张衡问道。“前段时间，朕去了汾阳宫，朕觉得那里有点破旧不堪，有损我们皇家的威仪，因此，朕想扩建汾阳宫，你和纪弘去整画图纸，然后呈报上来给朕看。”张衡听了之后，心想这隋炀帝也太能折腾了，连忙劝阻道：“陛下，这几年，朝廷修筑长城，修建东都洛阳、显仁宫和西苑，又开凿京杭大运河等等一系列大工程，耗费了众多的民力、财力。百姓疲惫不堪，已经怨声载道。如今，朝廷若不是裴蕴推荐了‘貌阅法’，国库已经空虚，那汾阳宫已经够气派的了，何必再要扩建呢？因此，老臣建议陛下暂缓扩建汾阳宫。”“你只知其一，不知其二，西域诸国经常会有使者往来于此，若是让他们看到汾阳宫如此破败不堪，岂不是有失国体，让那些西域诸国小看了我们大隋？”“陛下此言差矣，吴起曾经说过‘在德不在险’，当年，他与魏武侯一起论山河之固时，就曾指出，真正能够守护江山社稷的，在于德，而不在于山川之险和宫殿的巍峨。当年，萧何替汉高祖刘邦修建长安的宫殿，就曾经受到世人的指责。并非宫殿越高大气派，就越能镇住四方，而在于君主实行德政。只要陛下德佩四海，施行仁政，不要说汾阳宫已经十分巍峨壮观，就是断壁残垣，也不影响陛下的威名。换句话说，如果陛下施政无德，那汾阳宫就是修建得再高大壮观，也没有用。”“放肆，大胆！”隋炀帝气得把龙书案一拍，“朕让你去办此事，那是看得起你，你到底去也不去？”“如果陛下一定要扩建汾阳宫的话，那就请陛下另请高人吧。”这张衡今天也拧上了，竟然硬生生地给顶了回去。“行，朕今日就不用你，看能不能把汾阳宫修建好。”君臣二人就这样不欢而散。当张衡走出宫门之时，隋炀帝对太监张成说：“张衡认为，如果不是因为他，朕当初就做不了太子。朕的江山都是拜他所赐的。”“陛下，奴才也认为张大人有失为臣之道。”张成说。张衡郁郁寡欢地回到了自己的府上。小妾田氏强颜欢笑，迎了上来，问道：“你怎么了？怎么看上去气色不太好，皇上都和你说了些什么？”张衡长叹了一口气，就把隋炀帝所说的话对她诉说了一遍。“陛下让你去扩建汾阳宫，那你就去办，反正又不花你的钱，他爱怎么折腾就怎么折腾呗。”“胡说，我身为朝中大臣，当看到君主有不适当的举措时，自然要强言直谏，这才是我做臣子的本分。如果像你所说的那样的话，我和那些奸佞小人又有什么区别？”田氏听他这么一说，不敢再说话了。张衡叹息道：“陛下变了，已经不是当初的晋王了，若是在当初，我说什么，就是什么。如今，他做了皇帝，变得好大喜功，昏庸无道。想当年，秦始皇修筑长城，修建骊山陵墓、阿房宫，秦朝仅维持了十五年，二世而亡，我看他是要步秦二世的后尘啊。我现在都有点后悔了，如果当初杨勇继承皇位的话，虽然他的能力不如杨广，但是，杨勇绝不会像他这样折腾的，大隋朝定会长治久安，代代相传下去的。”田氏听在耳里，记在心里，她把张衡所说的这些言论，一一记录了下来。这一天，隋炀帝单独召见裴蕴。不知道为什么，隋炀帝发现自己越来越离不开裴蕴了。裴蕴说话办事，总是能让他满意。在裴蕴的一番颂扬之下，隋炀帝心情大悦。裴蕴趁机奏道：“最近，张衡的某些行为，似乎有违朝廷制度。”“哦？张衡都干了些什么？”“据哨探来报，张衡私自把伊阙令皇甫诩带到了汾阳宫，这是有违朝廷制度的。”“你说得没错，我什么时候让皇甫诩到汾阳宫去了？张衡这样做，是什么意思呢？”“这就不得而知了。可能他觉得自己是朝中老臣，功劳甚大，想怎么干就怎么干。陛下，你还记得吗？当年你到涿郡以及祭祀恒岳时，前来拜见你的百姓，衣冠不整，这岂不是有违礼法吗？”“裴爱卿，你要不说的话，我差点都忘了，确有此事，张衡作为司法官，这是他的职责，他却不能检举处理此事，是一种失职行为，按照朝廷的制度当罢免他的官职。”“陛下圣明。”裴蕴听了，心头窃喜。隋炀帝长叹了一口气说：“算了吧，我念他昔日有功，不忍心罢免他的官职，就让他出京去做榆林太守吧。”裴蕴心想这样倒也还不错，只要张衡离开了京师这个权力中心，自己将会有更大的话语权，以后再慢慢收拾他。“陛下，不过，还有一事，臣要提醒陛下。”“什么事？”“我听说，陛下最近在重用一对兄弟程咬金和程咬银。”隋炀帝听了，哈哈一笑，道：“也谈不上什么重用，那程咬金参加比武大会夺得了副先锋的将印。他的兄弟程咬银不过是一名小小的队长，不过，他们兄弟俩确实帮助我们隋军东征西讨，立下了不少功劳。”“陛下，据我所知，那程咬金十分奸狡。而且，有结党营私，树立朋党之心，他和翟让、李密、杨玄感等人混在一起，最近，又和裴仁基父子结交上了。”这就叫咬人的狗不露齿，这一条要是坐实了，那就是掉头之罪。不过隋炀帝却也没有糊涂到那种地步，他说：“一个小小的副先锋和一名小队长能掀得起什么风浪来？不必大惊小怪。”裴蕴见一口没咬中，把话锋一转，说道：“我建议陛下，像这些人只能利用，不能视为心腹，一旦战争结束，立即把他们的兵权收缴了才好。”“这一点，朕自然明白，虽然程咬金的祖上是当官的，他的曾祖程兴，北齐兖州司马；祖父程哲，北齐晋州司马；父亲程娄，济州大中正，可是，后来他们家道败落了。程咬金便成了绿林中人。”“陛下，所言甚是。不过，对于礼部尚书杨玄感，希望陛下能对他提高警惕。我听说，他对他父亲杨素之死，一直耿耿于怀，甚至认为他父亲的死和陛下有关系。”“哦？此话怎讲？”“当初，杨素负责修建显仁宫，却死伤了几十万民工，没有向陛下报告，后来，陛下知道了这件事，责罚了他。杨素内心惶恐不安，郁郁寡欢，得了重病。后来，在他生病期间，虽然陛下也派御医前去探望，可是，不知怎么的，杨素就不吃药了，他兄弟杨约去劝他吃药，他也不听。紧跟着，很快，杨素便死去了。为此，杨玄感和他的几位兄弟心中颇有怨言。
而且，我还听说当年陛下御驾亲征吐谷浑之时，在大斗拔谷，六月天降大雪，杨玄感就曾经与他的兄弟商量要谋反，诛杀陛下，幸亏杨约从中劝阻，陛下才得以幸免于难。”“有这种事儿？朕不相信。我对杨玄感和他的几位兄弟十分恩宠，他们为何要谋反？”隋炀帝无论如何也不能接受这样的事情发生。“陛下，没有根据的事，我是不会随便乱说的，希望陛下能够解除他们的兵权，免除杨玄感礼部尚书之职，以防后患。”隋炀帝听了之后，沉思了片刻，说道：“杨玄感身份特殊，他父亲杨素为大隋的建立立下了赫赫战功，在没有任何证据的前提下，突然撤销他的职务，恐怕不妥。而且，杨玄感和程咬金、翟让他们不同，他是士族出身，根深蒂固，在朝中颇有影响力，牵一发而动全身，此事要谨慎处理，从长计议。回头我让内外侯官的人前去调查，等调查清楚了之后，再做决断。”“希望陛下能认真考虑我今天所说的话，以免到时候被动。”“朕知道你是一片忠心，朕会认真考虑的。”张衡自己也不清楚犯了什么罪，稀里糊涂地被贬出了京城。这一天，天气晴朗，万里无云。隋炀帝心情高兴，叫上程咬金、程咬银、翟让、单雄信和尤俊达等人一起到西苑狩猎。这一次，隋炀帝没有带上齐王杨暕，果然射得野鸡、兔子、麋鹿等不少猎物。隋炀帝和众人席地而坐，架起了篝火，在上面烤着野鸡和兔子肉吃。“诸位，朕自继位以来，整日忧国忧民，勤于政务，很少有机会像今日这样逍遥快活，”隋炀帝说，“朕虽贵为帝王，却不得自由；富有四海，却依然感觉到捉襟见肘。”老程拿出自带的杜康老酒和酒盏，先是给隋炀帝满上，又给自己满上，端起酒盏说：“陛下，您辛苦了，我先敬你三盏。”“好，咱们今日就开怀畅饮。”隋炀帝说。“你们替朕东征西讨，也十分辛苦！朕心里很感激你们，我听说，你们此次征伐琉球岛，还消灭了一千多倭奴国的海寇，使我们隋军扬威于海外，我还听说，程咬银竟然斩杀了一头大白鲨，不知可确有此事？”程咬银一笑道：“陛下，我那也是侥幸取胜，当我被那头大白鲨吞噬在口中之时，我也以为自己是必死无疑了。”程咬银便把自己斩杀大白鲨的经过向隋炀帝讲述了一遍。隋炀帝听了之后，大加赞赏：“真乃勇士啊！”“陛下，过奖了。我哪里算得上是什么勇士？像单雄信、尤俊达、翟让他们才是真正的勇士。他们不但武艺高强，而且十分勇敢，智谋过人。”“是啊，你们都是我大隋的后起之秀，希望你们多多为大隋建功。鱼赞死后，他哥鱼俱罗突然失踪了，我原来以为他已经死了，没想到他居然躲到了屋久岛上去了，当初我对鱼赞的处罚可能是重了一点，”隋炀帝略带自责地说，“没想到这一次，他还能帮着我们隋军收复琉球岛。”老程三杯酒下肚之后，喝得脸红脖子粗，话也变得多了起来：“陛下，不是我说你，当初，我和鱼赞关在同一间牢房，我是亲眼看着他被金瓜击顶致死的，那金瓜击顶也太残酷了些，把鱼赞的脑袋锤出几个洞来。那花红脑子撒了一地，哎呀，真是惨不忍睹。我劝你把那金瓜击顶的酷刑给废除了吧。”“好吧，就依你所说，以后，就把这种刑罚取消。其实，我也不是一个喜欢滥杀的帝王。”“此次，收复琉球岛，鱼俱罗功不可没，陛下，当让他官复原职啊。”“那是自然。”老程又说：“我听说，陛下把张衡贬到榆林去当太守了。”“不错，是有这回事。”“我认为张衡对朝廷忠心耿耿，一把年纪了，你把他贬到那里去干什么？不如把他调回来，让他去修筑楼烦城吧。”“好，就依你。”第二天，隋炀帝果然下旨把张衡从榆林郡又调了回来。张衡也听说是程咬金在隋炀帝的面前替他说了好话，他才得以调回京师的。于是，张衡单独设宴招待程咬金，小妾田氏作陪。酒过三巡，菜过五味。“张大人，这段时间，你到了榆林之后，胖了吗？”老程问道。“是啊，我也不知怎么回事，也没吃什么好东西，居然长肉了。”张衡说。老程心想这老头儿心可真够大的，自己的小妾和姓樊的在一起睡觉，给他带了绿帽子，他都不知道。也难怪田氏偷汉子，就凭他那肚子比我的草包肚子还要大，哪个女人会喜欢这样胖的男人？不过，这些话老程也没法跟他说。一般来说，当官的被贬官之后，都会消瘦，可是，这老头儿心宽体胖，不但没瘦，相反，还长肉了，红光满面，鼻子头都闪光。“张大人，你胖了，气色这么好，这要是让陛下看见了，恐怕不太好呀。”老程说。“此话怎讲？”“你想陛下为什么把你贬到榆林去呢？”“为何？”“肯定是你忤逆了他，他生气，才把你贬去的，那意思是让你到榆林反思自己的过错。可是，你没有瘦，反而胖了，陛下定会认为你没有反思自己的过错，因而不悦。”老程说。田氏说话了：“程先锋说得有道理呀，你这个样子，要是让陛下看见了，肯定会不高兴的。”“那我现在又能有什么办法呢？总不能拿刀把身上的肉给割下来吧，”张衡苦笑了一声说，“我一把年纪了，听天由命了，老天爷若是想让我好，陛下必定不会见怪；老天爷若是想让我不好，陛下总能找出理由治我的罪，君为臣纲，君要臣死，臣不得不死。说实话，我这一生做了不少坏事，就是此刻让我死了，也是值得的了。”田氏又说：“从明天开始，你一天只准吃一顿饭，饿你几天，看你瘦不瘦？”老程一听，心想张衡说话倒还算实在，田氏的心肠确实挺狠的，干脆就想把老头给饿死算了。“那怎么能行？一日三餐，我一顿都不能少，而且，顿顿得吃饱。否则，饿得难受。我是宁愿做个饱死鬼，也不愿意活受罪。”老程一笑说：“张大人，那你就该吃吃，该喝喝，别想那么多了，天塌下来，还有像我这样的大个子顶着。”田氏一听，也乐了，心想还有自己夸自己的人吗？这一天，隋炀帝又到了汾阳宫。他东看看，西瞅瞅，正好看见张衡在监督修筑楼烦城的劳役。张衡离老远见隋炀帝来了，赶紧小跑着过来了。他气喘吁吁，跪伏在地上，喘息着说道：“陛下，万岁，万岁，万万岁！”由于他长肉了，肚子太过肥大，竟然弯不下去腰。隋炀帝看了看他，果然不悦，也没叫他起来，问道：“张爱卿，你到榆林郡去当太守，长肉了嘛。”“回陛下的话，臣的身体还算可以，是长了些肉。”“看来你适合在榆林郡待着，那你还回到那里去吧。”“臣……臣谢主隆恩。”张衡心里也害怕了起来，颤抖着声音说道。等他抬起头来的时候，才发现隋炀帝已经走远了。他费力地从地上爬了起来，用袍袖擦了擦额头上的汗，怔怔地出神半天。就这样，张衡又被贬到榆林郡去了。