1907년에 의병 진압을 명목으로 불살라버렸고 이듬해에는 기타 잡다한거까지 폐지시키고는 재산을 몰수했음

그러나 조선사람들은 시대적배경과 맞물려서 끈질기게 재건해서 제사를 지냈었는데 40년부터는 제사를 완전히 막았고 42년에 일제가 사당 또한 완전 해체했고 그 과정에서 비를 정으로 쪼아서 글을 안보이게 만들고는 강에 버리고 해체한 자재를 경찰서 짓는데 이용하는 등 만행을 저질렀음

비석은 80년대 중반 홍수 때 다시 되찾았음