就这样双方倒也相安无事的相处了十几年。然而就在柴宗训正值20岁青春年少之际，却忽然"病逝"了。这是官方的说法，至于实际到底是"病逝"还是"非正常死亡"，我们也都不得而知了。柴宗训死后，他的儿子柴永崎被再次"降格"封为郑国公，从此代代世袭。但是到了宋仁宗（北宋第四任皇帝）时期，柴宗训嫡系一脉就断了，原因依然不得而知。于是仁宗知道了当时还活着的柴荣的亲侄子柴咏（竟然熬死了宋代三朝皇帝，也不由不感慨北宋帝王们实在是短命），封了他一个"崇义公"的爵位，好让柴家从形式上能继续延续下去。
不料此事却在朝廷掀起轩然大波，当时以司马光为首的保守派与以王安石为首的改革派激战正酣，司马光乘机借此大作文章，认为柴荣嫡系一脉既然已断，那另找继承人也应该从郭家子孙里找，毕竟柴荣当初过继给郭威，那就是老郭家的人了，和柴家已经无关；而王安石却认为，即使柴荣被过继给郭家，但血缘亲情却是无法分割的，因此让柴咏这个血缘上的柴荣侄子来继承也未尝不可。有了自己信任的王安石的支持，仁宗的底气更足了，他丝毫不理睬司马光的纠缠，依旧让柴咏来担任初代"崇义公"。于是柴家的一场不大不小的危机就算这么过去了。
此后，柴氏后人一直承袭"崇义公"爵位，承担奉祀后周皇族之职。值得一提的是，"靖康之耻"宋室南渡后，宋高宗赵构竟然也没忘记柴家，他命人找到了柴氏后人柴叔夏，让他继续袭封崇义公爵位。从以上来看，无论是宋太祖还是宋仁宗、宋高宗，在对待柴家的问题上还算是有着一脉相承的人情味。而比起那些动辄被灭门灭族的前朝皇室，柴家的结局已经算是相当完美了。
