杨广与杨素密谋，伪造诏书抓捕了柳述。最终隋文帝含恨而终，柳述因在斗争中失败发配流放。
兰陵公主再次面临不幸，继位后的杨广逼迫兰陵公主再次改嫁。可是，这一次兰陵公主宁死不从。他要求废除自己的公主封号，愿做一平民与丈夫一起被流放，这自然遭到了杨广的拒绝。公元608年，柳述在流放地染瘴毒去世，年39岁。
不久，兰陵公主病重，临终前她请求死后与柳述同葬，但隋炀帝杨广余怒未消，最终没有满足她的愿望。
兰陵公主一生不幸，去世时年仅32岁，死后也未能与丈夫葬在一起。她一生虽遇三个男人两段婚姻，但前两者均是幼时。野史君认为，兰陵公主真正的婚姻，真正的丈夫，真正爱的人仅柳述一人。
