22岁时，徐知诰随柴再用攻打宣州（今安徽宣城）李遇，因功升任升州刺史。当时，江淮地区刚刚平定，地方长官多是武夫出身，只知搜刮民财来供养军队，而徐知诰则与众不同。他勤俭好学，重视儒生，宽仁为政，因而得到民众赞誉。
29岁时，徐知训被大将朱瑾所杀，徐知诰在润州得到消息，抢先赶到广陵平乱，任淮南节度行军副使、内外马步都军副使，从而控制了南吴朝政。徐知诰执政后，为了收揽民心，宽缓刑法，推广恩信，还建造延宾亭用以接待四方之士。宋齐丘、骆知祥、王令谋等人都成了他的重要谋士，其他凡有流落在其境内的士人他都加以任用，还经常派人到民间了解疾苦，遇有婚丧匮乏的，便设法予以周济，因此赢得了人们的好感。尽管徐温身居金陵遥秉大政，但人心已大多归向徐知诰。
38岁时，徐温在行军司马徐玠的劝说下，派次子徐知询到广陵，准备让他代替徐知诰执掌朝政。徐知诰听到消息，十分害怕，上表乞求出镇江西。不久，徐温病死，徐知询接任金陵节度使、诸道副都统，数次与徐知诰争权。徐知诰诱骗徐知询入朝，留任左统军，夺了他的兵权。 同年十一月，吴王杨溥僭号称帝，改元乾贞，任命徐知诰为太尉、中书令、都督中外诸军事，封浔阳公，又改封豫章公。
46岁时，南吴加封徐知诰为尚父、太师、大丞相、大元帅、齐王，并将升州、润州等十州之地划为齐国。徐知诰推掉尚父、丞相之职，并在次年开设大元帅府，设置官员。这时，闽国、南汉等国都遣使者前来，劝徐知诰称帝。
48岁时，徐知诰建立齐国，并任命宋齐丘、徐玠为左右丞相。同年十月，徐知诰受禅称帝，国号大齐，改元升元，以建康为西都，以广陵为东都。
