唐仲友有一个敌人朱熹，朱熹的文学成就很高，是儒学大成者，时任提举。唐仲友在台州很有政绩，得罪了不少人，其中就包括朱熹、高炳如。朱熹出巡台州，听闻唐仲友说他，才识浅薄，根本没有能力做监司。朱熹见唐仲友如此轻视自己，很是生气。
在台州巡视时，高炳如相伴朱熹左右，又说唐仲友与严蕊有不正当关系。由于官员不能私幸营妓，再加上唐仲友先前得罪过朱熹。朱熹为报复唐仲友，给唐仲友安了六宗罪上疏朝廷。朱熹当时为提举，权力很大，可以随时罢免官吏。朱熹让唐仲友交出太守印，并将其关入牢中。
朱熹知道唐仲友与严蕊是清白的，但他为了一己之私，把严蕊也关入牢中。朱熹为了拿到唐仲友与严蕊有染的证据，严刑逼供严蕊。朱熹起初以为严蕊很快就会招供，但严蕊宁肯自己挨打，也不肯承认与唐仲友有染，更何况他们之间本来就是清白的。严蕊在重刑之下，几次昏死过去，命在旦夕。
王淮是唐仲友的同乡，二人交情不错，时任左丞相。王淮见朱熹因一己之私就将唐仲友罢免，觉得朱熹不遵法制，把事情缘由让疏朝廷。宋孝宗赵昚看到后，将朱熹改调别处，严蕊也被释放。后来岳霖接替朱熹（岳飞的儿子）复查此案时，很是同情严蕊的遭遇，想借着庆贺元旦的机会，认识一下这位坚贞不屈的才女。
