但是两级行政区是不符合疆域辽阔的中国的实际国情的，所以后来渐渐往三级行政区靠，到了东汉末年，监察区"州"成了正式行政区划，江浙当然是属于扬州了，但这个时候有个小插曲，汉顺帝永建四年（129年），阳羡人周嘉等人因会稽郡辖境广大，属县偏远，上书求分郡而治。于是分会稽郡钱塘江以西置吴郡，治所在吴县（在今江苏省苏州市市区），属扬州刺史部。
秦汉时期，苏南浙北是属于同一行政区，秦朝和西汉是会稽郡，而东汉末年后则属于扬州刺史部。
汉末之后，先是三国乱世，后西晋不争气又导致了中国长期的南北对峙局面，由于北方大量流民南迁，南方经济得到很大发展，苏南浙北地区的"三吴"（会稽郡，吴郡，吴兴郡（三国东吴乌程侯宝鼎元年（266年）分吴、丹阳两郡置吴兴郡））得到极大发展。
一直到隋朝才重新统一的中国，隋朝修了大运河，江浙太湖流域和中原联系越来越紧密，隋朝的行政区划有了重大变革，鉴于从东汉末年开始的州郡县三级制已经混乱不堪（长期分裂导致的结果，导致行政区一片混乱），隋朝另起炉灶，实行二级制（一开始废除天下郡置，改为州县二级制。隋炀帝杨广继位后不久将所有的州改为郡），从形式上恢复到了秦朝与西汉的架构，但是实际天下的郡数已经远远超过了秦时的36郡、48郡，达到了鼎盛时期的190郡，这当然不能满足实际的统治需要。
