他这一逃就跑到了广西桂平县的紫荆山区，那时，冯云山正好在紫荆山区传教，原本就瞧不上官府的林凤祥就像发现了另一个大陆一样，果断成为拜上帝教的信徒，成为冯云山的追随者，不久之后洪秀全再次抵达广西，林凤祥自然成为洪秀全的忠实信徒。
在太平天国起义准备阶段，拜上帝教的教徒们常常与当地官府、士绅产生摩擦。一次，拜上帝一信徒的耕牛被人夺走，林凤祥只叫了几十人就把对方两百多人打得落花流水，林凤祥由此名声大振。
金田起义之后，林凤祥备受重用，以御林侍卫的身份跟随西王萧朝贵，成为太平天国先锋军中一将领，随着太平军声势越来越大，军队人数越来越多，林凤祥的官职也累积上升，1852年太平军进攻长沙时，林凤祥官升土官正将军，同年破岳州时升任殿左一指挥，次年破武昌时再次晋升，成为太平天国真正的高官之一--天官副丞相。
