随后，鲍威尔顺理成章进入小布什内阁，成为美国历史上第一位非裔国务卿。
刘卫东称，总的来说，鲍威尔是一个比较务实理性的外交官。"在小布什政府时期，新保守主义占据优势，当时的副总统切尼、防长拉姆斯菲尔德、副防长沃尔福威茨等人都是鹰派代表，非常好战。他们某种程度上'绑架'了小布什，只有鲍威尔还相对理性，希望在联合国安理会的框架内采取行动，只是他的意见最后未被采纳"。
事实上，鲍威尔出任国务卿的4年，正好是美国外交、军事最为动荡的一个时期。2001年的"9·11"恐怖袭击之后，美国发动了阿富汗战争，开启了一场全球"反恐战争"。而作为美国最高外交官，鲍威尔的职责是协调美国和盟友的关系，以确保一个稳定的反恐联盟。
鲍威尔参与的另一项最广为人知的行动则是伊拉克战争。2003年2月，鲍威尔在联合国安理会发表演讲，就美国出兵伊拉克的理由进行阐释。
他在演讲中提出了美国情报界所说的"证据"，即伊拉克藏有大规模杀伤性武器。他发出警告称，"萨达姆·侯赛因（伊拉克第五任总统）拥有生化武器，并且有能力生产更多的生化武器"。
CNN称，这个演讲是鲍威尔职业生涯中一个难以抹去的"污点"。鲍威尔演讲六周后，美国在未获得联合国许可的情况下进攻了伊拉克。但是，战争结束后，美国经彻底搜查，并未发现萨达姆拥有大规模杀伤性武器的任何证据。
鲍威尔本人后来曾多次提到这次联合国演讲，称对此"很后悔"，而他当时的演讲"毫无疑问影响了公众舆论"。他在2012年的回忆录中曾这样说道，"这绝不是我的第一次失败，但这是我最重大的失败之一，也是影响最广泛的失败之一"。
中间派共和党人、实用主义者
2005年卸任国务卿之后，鲍威尔退出公众视野。之后，他加入了著名的风险投资公司KleinerPerkins，出任战略顾问直至去世。
虽然鲍威尔此后并未出任公职，但他对于美国政治仍然有着相当的影响力。路透社评价称，鲍威尔是一位中间派共和党人、一名实用主义者。
2008年美国大选前，作为共和党人的鲍威尔选择支持民主党候选人贝拉克·奥巴马，称奥巴马具有"鼓舞人心的能力"，是一位"变革性人物"。奥巴马在当年的大选中获胜，成为美国历史上第一位非裔总统。
2012年，鲍威尔继续支持奥巴马争取连任。到2016年，鲍威尔仍然支持了民主党候选人希拉里·克林顿，而非共和党总统候选人唐纳德·特朗普。特朗普赢得大选后，鲍威尔仍多次公开谴责特朗普。
在2020年大选期间，鲍威尔公开支持民主党候选人乔·拜登。他当时表示，特朗普总统背离了宪法，"我今年肯定不会以任何形式支持特朗普总统"。在2021年1月初的国会山暴乱后，鲍威尔甚至表示，他不再认为自己是共和党人了。他对CNN表示，"我只是一个公民，只关注我的国家，不关心政党"。
刘卫东称，鲍威尔属于稳健派、建制派的代表，在特朗普政府时期，曾多次公开批评特朗普，也仍然具有相当的影响力。
据《卫报》报道，美国前总统小布什18日在一份声明中称，鲍威尔"是一位伟大的公务人员"，"他非常受总统们的喜爱，因此两次获得了总统自由勋章。他在国内外都备受尊敬"。
鲍威尔和妻子阿尔玛·维维安·约翰逊于1962年结婚，两人育有1子2女。
