源赖家完全没什么政治手腕，他跟他爹源赖朝相比，差远了。源赖朝在世的时候，还能调和幕府内部武士和武士之间、武士和文官之间的矛盾。
源赖家完全不行，他年轻气盛，处事判断全凭己好。他不喜欢外公、母亲、舅父等北条氏一族，而偏爱自己岳父比企能员。这引发了北条政子不满。
比企能员一派本来就野心勃勃，北条政子不可能看着自己和背后家族北条氏的权力旁落，在父亲北条时政的运作下，她决定夺回权力。
首先，她以源赖家年幼，无法执政为理由，实行十三名元老合议制度。当然，元老中包括了各个势力和阶层利益的代表：北条时政、时政长子北条义时，北条政子以及一些当年跟着源赖朝打天下的功臣们等等。
随后他们慢慢蚕食功臣的权力，最后他们干脆废黜了源赖家，立源千幡（也叫源实朝，是源赖朝的次子）为三代将军，北条时政以幕府别当辅政。公元1204年，源赖家莫名其妙的死去了。
