黄琬少年时丧父，自幼聪慧善辩。永兴元年（153年），其祖父黄琼担任司徒，黄琬因为是三公的子孙而被任命为童子郎，但黄琬托病不到任。黄琬后来逐渐升迁为五官中郎将，受到光禄勋陈蕃的敬待。东汉末年，黄琬和陈蕃同心协力，共同选拔贤才。平原人刘醇、河东人朱山、蜀郡人殷参等人都因才德品行被选举。但此举却侵害了世家望族的利益，于是他们联合中伤陈蕃、黄琬，陈蕃被免职，黄琬也遭到了冷藏。由此，在将近20年的时间中，黄琬都没能获得东汉朝廷的任用。直到灵帝光和（178年-184年）末年，太尉杨赐举荐黄琬有治乱之才，因此朝廷才征召其为议郎，出任青州刺史，迁任侍中。中平初年，出任右扶风，又入朝为将作大匠、少府、太仆等职。
中平五年（188年），在刘焉等人的建议之下，朝廷恢复州牧制度，以黄琬为豫州牧，当时豫州境内盗贼猖獗，使得州境凋残，黄琬率军平定盗贼，威名大震。任内成绩为天下表率，因功被赐爵关内侯。而这，无疑体现出黄琬在治理一方上的高超能力。永汉元年（189年），董卓篡夺东汉朝廷的大权时，因为黄琬是重臣且掌有兵权，于是征召他入朝为司徒，不久迁任太尉，进封阳泉乡侯。在东汉末年，董卓虽然篡夺了大权，不过，面对错综复杂的局面，董卓也不得不依靠王允、黄琬等人才。而就王允、黄琬等人来说，则在谋划如何除掉董卓。
初平元年（190年），袁绍、袁术、曹操等诸侯联合起兵讨伐董卓。面对关东诸侯的讨伐，董卓商议迁都长安，司徒杨彪力劝董卓，董卓对杨彪怒道："您要阻挠朝廷大计吗？"黄琬上前说道："这是朝廷大事，杨公所说的，恐怕是可以考虑的。"董卓不回答。当时人们害怕董卓暴怒之下，黄琬会遇害，力谏他不要这么做。黄琬回答道："从前白公胜在楚国作乱，屈庐迎刃向前；崔杼在齐国弑君，晏婴不怕死而不与他盟誓。我虽然无德但确实仰慕古人的节气。"
