《汉书》中记载了这柄剑的由来，早年的刘邦贪杯好色，是个不学无术的小混混。年轻的刘邦时常眺望咸阳的方向，发出"大丈夫当如此耳"的感叹。某日刘邦不知从哪里找到一条锈迹斑斑的铁棒，他对身边的人说这是从南山仙人那里得到的宝剑，这把宝剑的名字叫"赤霄"。
刘邦还说，自己并不是凡人，而是天宫中的赤龙。远在咸阳的秦始皇也是一条龙，不过他却是与赤龙对立的白龙，将来赤龙必定取代白龙。刘邦称，仙人对他说秦始皇的元气化作一条白龙（白蛇），最近一段时间都会停留在丰西大泽的位置，只要自己能斩杀这条白龙，就能断送大秦基业，取秦始皇而代之。人们听了刘邦的话，都觉得这小子在白日做梦没人当真。
某天，刘邦和几个小混混听说丰西大泽附近经常出现行人消失的疑案，刘邦意识到时机已到，于是，便带着伙伴一块赶往事发现场。刘邦派出一名探子前去探路，探子回报说路上出现了一条粗长的白蛇。随即，刘邦立即孤身前往，说自己要杀掉这条白龙。众人在原地等了一天一夜，可刘邦却一去不复返了，大家都以为刘邦死在了白蛇的嘴下。
不久，几个胆子大的小伙伴前去查看。众人来到大路上，只见路边横着一条蛇尸，竟是被人斩成两段。刘邦躺在一旁的大石上睡的正香，手里还握着一把光彩照人的宝剑，而他平日里从不离身的锈铁棍竟消失不见了。大伙走上前去探看，发现宝剑上面端正地刻着"赤霄"二字，大为惊诧。后来，这把剑便随着刘邦南征北战，帮助他缔造大汉基业。
