折家并非传统的汉族大家，他们的族源可以追溯到北魏时期的鲜卑人，后来与党项族融合，成为党项部落的一支。折家与建立西夏的李氏同出一族，但却与李氏有着不共戴天之仇。在隋唐时期，党项人最初依附于西北的吐谷浑，经常与吐谷浑一起扰乱唐朝的边境地区，贞观九年（636年），唐朝击败吐谷浑后，党项人因此失去了可以联合抗衡唐朝的盟友，崛起于青藏高原的吐蕃代替吐谷浑成为唐朝最大的对手，党项从此处在唐朝和吐蕃的夹缝之间。
唐朝和吐蕃之间的战争在形塑西北地区政局的同时，也造成了西北地区民族的大迁徙，党项族徘徊于唐朝和吐蕃之间，一部分党项人坚持留在故地，最终被同化成吐蕃人，另一部分党项人东迁到陇右，内附唐朝。
安史之乱后，内附的党项人成为唐朝的祸患，唐朝继续组织这部分党项人东迁。这部分东迁的党项人分为两支，以拓跋氏（李氏）为主的党项人迁居到了夏州地区，以折氏为主的党项人迁居到了陕西和内蒙古的交界地，这块区域沿着黄河形成五座军镇，被称为"缘河五镇"，晋王李克用将"缘河五镇"改为"府谷镇"，李克用的儿子李存勖则将府谷镇升为府州。折家一直生活在这里，他们以府州为中心经营着自己家族的事业，因此被称为"府州折家"。
