但是，山阳公爵位只有一个，只能由刘协的嫡长子来继承，其他的儿子无权继承，必须要保证爵位继承的唯一性，刘协的嫡长子是刘冯，由于刘冯去世得很早，因此山阳公爵位由刘冯的嫡长子刘康继承，刘康去世后，他的儿子刘瑾继承了山阳公的爵位，刘瑾只当了四年的山阳公就去世了，之后由他的儿子刘秋继承了山阳公爵位，结果刘秋于公元309年被胡人杀死，其山阳公国的土地也被胡人占领，所以山阳公国灭亡。
从这里也能看出，山阳公国存在的时间比曹魏政权还要长，曹魏政权在公元220年建立，到公元265年被司马炎建立的晋朝所取代，存在了45年，但是山阳公国在公元220年建立，到公元309年才被灭亡，存在了89年，是魏、蜀、吴三国存在的时间都要长。
刘协禅让皇帝位给曹丕，几十年后司马炎依葫芦画瓢学曹丕一样，逼迫魏元帝曹奂禅让皇帝位，而司马炎给曹奂的待遇，甚至比曹丕给刘协的待遇更好，同样是行天子礼仪，所不同的是曹奂被司马炎封为陈留王，级别给刘协的山阳公还要高，这是因为司马代魏不得人心，所以只能给曹魏皇帝更高的待遇。
山阳公国的存在的89年时间中，不仅曹魏政权历朝皇帝都承认，当晋朝建立后，仍然继承了曹魏对待山阳公国的待遇，让山阳公国的爵位一直流传下去，这种一脉相传的承袭是对传统的继承，如果山阳公国继承人香火没有断掉，就会一直继承下去。
但是，西晋做为山阳公国后来的宗主国，在晋惠帝时期开始出现混乱，先是贾南风乱政，接着是八王之乱，最后是五胡乱华，西晋内部势力自相残杀，从而导致胡人以及周边少数民族势力开始向中原地区渗透，山阳公国的位置在今天的河南省焦作市山阳区，这里已经快要靠近西晋的边境了，由于西晋内部的混乱与战斗，战斗力大减，胡人趁虚而入，而山阳公国首当其中，于公元309年被胡人入侵，当时的第四任山阳公刘秋在"五胡乱华"时的"永嘉之乱"中被杀。
