노비제도 때문이 아닐까?
퇴계 이황도 노비가 367명이라고 나오는데

노비는 집안의 재산으로 병역제외 대상이었잖아.