后来，廖氏兄弟领兵打仗，颇具章法，有军事大家风范，在朱元璋南下的过程中，起了很大作用。《明史》记载，廖氏兄弟"操舟若飞"，是朱元璋水军的领袖。但不幸的是，廖永安在攻打张士诚的时候被俘，廖家仅剩廖永忠一人。鄱阳湖水战时，有两个人功劳最大，第一是名将常遇春，他一箭射跑了陈友谅身边的大将张定边，而廖永忠者偷偷潜入陈友谅后方的水寨，大杀四方，最后陈友谅战死，他的儿子陈理投降。朱元璋感叹说：常遇春和廖永忠，真是我的两员虎将！
朱元璋称帝前，廖永忠和汤和一起正在福建攻打方国珍，朱元璋急召廖永忠回到南京，给他布置了一项特殊的任务，那就是去滁州接小明王。元朝末年，爆发红巾军起义，红巾军的老大名叫韩山童，后来韩山童战死，他的儿子韩林儿继位，史称小明王。在名义上，朱元璋等人，都是韩林儿的部下。只是韩林儿已经没有权柄，相当于是个傀儡。但朱元璋"吴王"的身份，是韩林儿封的。所有人都明白，只要韩林儿不死，朱元璋就无法名正言顺地称帝。
朱元璋把接人的任务交给廖永忠，几天后，廖永忠一个人回来了，告诉朱元璋："属下和小明王一起回来时，遇到水贼，水贼将船掀翻，小明王溺水死了。"朱元璋连忙问："水贼呢？"廖永忠答："已经被属下杀光了。"朱元璋此时明白，这件事被廖永忠做的很干净，于是非常"伤心"。
