1853年3月，太平军杀入南京，刘丽川准备发动起义，于是让潘起亮去上海县城潜伏，准备内外夹攻，夺取城池。谁知，这一去，潘起亮就跟上海知县袁祖德结下"不解之缘"。
袁祖德，浙江钱塘人，清朝著名酷吏，号称清朝版本"张汤"。潘起亮，平日组建"庙帮"时就成为袁祖德重点关注对象。此时，袁祖德在上海招募兵勇，防备太平军进犯苏南，以防不测。潘起亮任务是潜伏，去应募当兵勇，然后乘机发动起义。可惜，潘起亮被识破，结果惨遭毒打。
潘起亮前来应募，袁祖德一眼就认出他，于是将其杖责数百大板。随后，袁祖德给潘起亮带上枷锁，在上海县城里"游街"，当众羞辱他。但是，潘起亮很有骨气，就是不承认"造反"，袁祖德只好放了他。史载："甫下车，寻隙杖之几毙，复枷号县衙前木笼以儆众，起亮坚不吐实，祖德不得已释之。"
杖责、游街，潘起亮受尽了苦头，便发誓一定要杀了袁祖德。1853年8月，刘丽川发动起义，攻打上海县城。潘起亮在城内相应，率领麾下数百兵马杀入县城衙门，手刃袁祖德，并将其首级割下。
