南皮的历史很悠久。早在春秋时代，南皮就已经出现，时称为皮城。一看这地名就知道与皮革有关，春秋时燕国与齐国关系不错，因为燕国受到北方山戎的进攻，请齐兵救援，时间是公元前664年。齐桓公姜小白就是在这里打造皮革以御山戎。西汉的时候，南皮隶属于幽州（省级）渤海郡（地级），设南皮县。有人会说为何会叫南皮这个略显奇怪的地名？其实很简单，因为同隶属渤海郡的章武县（今沧州主城区与青县、黄骅市之间）有个北皮亭，南北相对，所以就称这里为南皮了。
到了三国时期，南皮为河北袁绍控制。汉献帝建安五年（公元200年），曹操在震惊天下的官渡之战中以弱胜强，战胜了不可一世的袁绍，袁绍不久气死。之后，袁绍的儿子袁尚和袁谭兄弟厮杀，曹操渔翁得利。公元203年，袁谭向袁尚借兵甲不成遂成袁尚，被袁尚打败后就退保南皮。一年多以后，曹操开始进攻南皮，一举击斩袁谭。
南皮是从隋朝时开始隶属于沧州，后来基本没有什么改变，一直到现在。
不过说了半天张之洞的家乡南皮，实际上南皮只是张之洞的籍贯，并不是张之洞的出生地。这样的情况在历史上其实有很多，比如说著名的宋武帝刘裕，"金戈铁马、气吞万里如虎"。刘裕在史书中称为"彭城人（江苏徐州）"，实际上，刘裕出生于京口（江苏镇江），代宋的萧齐和萧梁也是这种情况。张之洞的出生于并不在南皮，而在距离南皮有数千里之遥的贵州。
