庙的全名是卡尔尼马塔神庙（KarnimataTemple），因为里头也供奉着女神卡尔尼玛。相传在很早很早以前，有位说书人的儿子得了重病，求救于死神，但是死神却把小孩带走了。
祭司无限同情地把小孩的灵魂寄存在老鼠体内，主要是因为老鼠死后，附体的灵魂还可以再转世做人。这就是视老鼠为神灵般的最初版本。
后来，印度人深信人死后变鼠，鼠死再轮回为人；因此，为了不让亲人们的灵魂在地上东躲西藏四处游荡，就为这些老鼠修建了庙宇。
因为他们相信在寺院内悠游自在上下攀爬四处奔窜的老鼠就是他们死去的亲人，他们也相信自己死后会化身老鼠到这座神庙报到。因此，印度人对这座神庙里的老鼠是毕恭毕敬的。