而在此后数年里，王彩玉又生下一子二女，但是只有大女儿瑞莲顺利长大，剩下两人全部夭折，然而安定的日子也只维持了十年，村里人说她的流言一语成谶。
1895年，蒋肇聪感染疾病，一命呜呼，留下一份因为战局所剩不多的家业和无依无靠的孤儿寡母，32岁的王彩玉这次没有选择逃避，看着还在读书的儿子，她毅然的支撑住了整个家庭，开始承担店子的业务。王彩玉十分明白，如果想要让儿子瑞元出人头地，那么他一定要受到最好的教育。
此时的8岁瑞元，缺乏父亲管教，整天只知道玩耍嬉戏，王彩玉却用所剩不多的钱财，将他他送进了娘家嵊县姚宗元的私塾就读，学名改为志清。等到14岁，王彩玉又为儿子张罗了婚事，让他迎娶了当地望族毛家的女儿，19岁的毛福聪。
按照道理此时蒋家已经衰落，并不是一对门当户对的婚姻，但是毛氏正是看中了王彩玉持家的好本事和瑞元身上的潜力。在瑞元再长大一点后，他决定去东洋留学。
