弗兰茨·约瑟夫一世的家庭生活是他较为不幸的方面，他的爱妻是来自巴伐利亚王国的茜茜公主，欧洲历史上最美艳的公主之一，两人是表兄妹关系。1854年，24岁的弗兰茨·约瑟夫一世与17岁的茜茜公主结婚，两人婚后一直非常恩爱，一共育有一子三女，其中一子两女长大成人，儿子就是后来的皇储鲁道夫。
鲁道夫皇储是弗兰茨·约瑟夫一世和茜茜公主唯一的儿子，他受到非常严格的皇室教育，为将来继承皇位做好充足准备，但是鲁道夫皇储非常不争气，他因为与皇储妃感情不和，私下找了很多漂亮情妇和社交名媛，来排解心中的苦闷。
当这些事情被公开后，对哈布斯堡王朝的皇室形象造成一定影响，弗兰茨·约瑟夫一世勒令鲁道夫皇储与所有情妇断绝关系，鲁道夫皇储因此陷入精神崩溃，在1889年与其中一名情妇开枪殉情自杀，年仅31岁。
对于唯一的儿子鲁道夫皇储的自杀，弗兰茨·约瑟夫一世感到很内疚和悲痛，茜茜公主对此也悲痛欲绝，但不幸仍未结束，到了1898年，弗兰茨·约瑟夫一世的爱妻皇后茜茜公主在瑞士遇刺身亡。
弗兰茨·约瑟夫一世接连痛失儿子鲁道夫皇储、爱妻皇后茜茜公主，可想而知对他的打击有多大，他再也不像从前那样英明神武，做了很多错误的决定，为奥匈帝国的覆灭埋下祸根。
由于鲁道夫皇储没有儿子，弟弟弗兰茨·卡尔大公也放弃了皇位继承权，弗兰茨·约瑟夫一世选了弗兰茨·卡尔大公的儿子，也就是他的侄子弗朗茨·斐迪南大公为皇储，就是后来在1914年萨拉热窝事件中遇刺身亡的人。
弗朗茨·斐迪南大公遇刺身亡，令弗兰茨·约瑟夫一世敌视塞尔维亚王国，同年他向塞尔维亚王国宣战，标志着第一次世界大战爆发。到了一战打得最火热的1916年，在位长达68年的弗兰茨·约瑟夫一世因肺炎而死在维也纳，终年86岁，由侄孙卡尔一世继承皇位。
弗兰茨·约瑟夫一世死后才不过两年，曾经叱咤风云的奥匈帝国因为一战战败，也随着弗兰茨·约瑟夫一世的死而覆灭，分裂成包括奥地利、匈牙利、捷克、斯洛伐克等多个国家。
