另外，李淑贤还一直与日本特务来往。50年代初，倪虎（又名倪景山）在北京开了家诊所。其实他是日本潜伏特务，军衔很高，一直藏有与日本方面联系的电台。李淑贤当时在他的诊所当护士，有段时间住在诊所里，与之同居。公安部曾多次找她谈话，要她密切注意倪虎的一举一动，随时汇报。李淑贤或许不知道倪虎的真实身份，她配合公安部门，时常汇报倪虎的各方面动态。
中日邦交正常化后，年近70岁的倪大夫获准回日本后，便再也没有回来。李淑贤便到了朝阳区关厢联合医院当护理员。她与倪虎的关系却始终未断，直到"文革"期间，两人仍时有书信来往。
溥仪对李淑贤的复杂过去知道一些，但不甚清楚。李淑贤也不想提，她很怕见到过去的熟人。60年代，载涛与票友李体扬经常一起唱戏。有次，李体扬偶然见到李淑贤与溥仪及载涛在一起。他得知李淑贤嫁给溥仪后，连忙低声告诉载涛："七爷，李淑贤原来在舞场陪我跳过舞......"
