隋朝建立之后，巩固边防、南平陈朝是当务之急。高颎在平陈方面，他起了重大作用。开皇元年，文帝根据高颎的推荐，派贺若弻为吴州总管镇广陵，以韩虎为庐州总管镇庐江，要他们筹划平陈之事。第二年，以高为总指挥，发兵南征。兵出之后，陈宣帝死讯传到，高颎以“礼不伐丧”为理由停止进攻，班师回朝。通过这次试探性的攻击，高颗提出了一系列灭陈的方略:首先是优待俘虏，以瓦解陈军士气;二是实施麻痹战术，不断派兵在江边演习，陈军习以为常，定会大意;三是削弱陈朝国力，每到陈朝的收获季节，就出兵骚扰，并派人深入江南，放火焚烧陈朝储备。杨坚按照高题的设想去做，果然收到很理想的效果。
开皇九年(59年)，杨坚派晋王杨广为总指挥，分三路大军大举进攻陈朝。而这时高颎是晋王府长史，掌握着实际的指挥权。他又经常派兵缘江狩猎，人马喧嚣，如此反复，也使江南陈军麻痹起来。结果贺若弼由广陵渡过长江，陈军还不知道。与此同时，另一支军队在韩擒虎的率领下也渡江到了采石。贺若弼渡江后俘虏陈军六千人，全部予以释放，发给粮食，并将隋朝诏书交给他们带着，要他们宣传隋朝伐陈的政策。结果，隋军所向无敌，纷纷降附。隋军迅速攻入建康，抓到了陈末帝陈叔宝，陈朝灭亡，隋朝大体统了全中国
高颎在平陈之役中功不可没，所以在一次宴会上，文帝说:“高平定了江南，虞庆则使突降服，可以说是功助卓著啊！“
