熹平三年（174年），曹操被举为孝廉，入京都洛阳为郎。不久，被任命为洛阳北部尉。洛阳为东汉都城，是皇亲贵戚聚居之地，很难治理。曹操一到职，就申明禁令、严肃法纪，造五色大棒十余根，悬于衙门左右，"有犯禁者，皆棒杀之"。皇帝宠幸的宦官蹇硕的叔父蹇图违禁夜行，曹操毫不留情，将蹇图用五色棒处死。于是，"京师敛迹，无敢犯者"。曹操也因此得罪了一些当朝权贵，碍于其父曹嵩的关系，明升暗降，曹操被调任顿丘（今清丰）令。
光和元年（178年），曹操因堂妹夫濦强侯宋奇被宦官诛杀，受到牵连，被免去官职。其后，在洛阳无事可做，回到家乡谯县闲居。
和三年（180年），曹操又被朝廷征召，任命为议郎。此前，大将军窦武、太傅陈蕃谋划诛杀宦官，不料其事未济反为宦官所害。曹操上书陈述窦武等人为官正直而遭陷害，致使奸邪之徒满朝，而忠良之人却得不到重用的情形，言辞恳切，但没有被汉灵帝采纳。尔后，曹操又多次上书进谏，虽偶有成效，但东汉朝政日益腐败，曹操知道无法匡正。
中平元年（184年），黄巾起义爆发，曹操被拜为骑都尉，受命与皇甫嵩等人合军进攻颍川的黄巾军，结果大破黄巾军，斩首数万级。随之迁为济南相，济南国（今山东济南一带）有县十余个，各县长吏多依附贵势，贪赃枉法，无所顾忌。曹操之前历任国相皆置之不问。曹操到职，大力整饬，一下奏免十分之八的长吏，济南震动，贪官污吏纷纷逃窜。"政教大行，一郡清平"。
