야사에 따르면 하루는 남곤과 조광조가 산책을 나갔는데 조광조는 어떤 젊은 아가씨들이 지나가자 계속 흘끔흘끔 쳐다보게 됐으나 남곤은 눈길 1번 안주고 그대로 앞만 보고 달려갔다. 집에 돌아온 조광조는 부끄러움에 자책하며 한탄하였으나 어머니 여흥 민씨는 이렇게 말했다.
"젊은 사내가 어떻게 여자 보고 눈이 한번도 안 돌아갈 수 있겠느냐? 그러나 남곤이란 친구는 참으로 무서운 사람이다. 그는 목석 같은 사람이라 젊은이의 피가 끓지않는 차가운 사람이다. 겉으로 보면 인격적으로 수양이 된 것처럼 보이겠으나 속으로는 그도 아가씨들에게 마음이 쏠렸을 것이다. 그것을 속으로도 참는 것은 어려운 일이다. 그런데 남곤은 한눈 하나 팔지 않았다면 얼마나 차갑고 모진 사람이냐. 훗날 남곤이 정치를 한다면 인정사정 봐주지 않고 사람의 약한 정, 미운 정을 헤아리지 않는 판단을 내릴 것이다. 인간이 살다보면 실수할 수도 있고 잘못을 저지를 수도 있는데 남의 윗사람이 된 자는 너그러움이 있어야 된다. 죄지은 사람을 다음에 잘 하라고 용서할 수도 있는 것이다. 그러나 남곤은 그런 아량이 적어 많은 사람들이 피를 흘려도 외면할까봐 무섭구나."

이 말을 마친 조광조의 어머니는 짐을 싸서 남곤의 집에서 최대한 멀리 이사했다고 한다. 참고해야 할 것은 이처럼 지나치게 냉정한 인간을 멀리하라는 이야기는 조선시대에 흔히 있는 것이었다는 사실이므로 출처도 불분명하고 사실일 가능성이 희박한 야사다. 이와 비슷한 야사는 다른 인물에게서도 찾을 수 있으며 조광조 모친의 이 일화는 사실이 아닐 가능성이 높기에 그저 야사 정도로 취급하는게 좋을 듯하다.[4] 남곤이 진짜 냉혹한 사람이였다면 조광조를 죽일 때도 찬동하였을 것이다. 너무 차갑고 냉정하다고 박한 대접을 받던 남곤은 정작 뛰어난 글솜씨를 자랑하여 대명 외교를 거의 도맡다시피 했으니 남곤 입장에서는 억울할 따름.

[4] 이와 유사한 이야기는 중국에도 있는데 이 쪽은 평가가 정반대이다. 대표적인 것이 세설신어에 등장하는 용두 화흠과 용미 관녕의 일화. 이 때 인간적인 화흠을 관녕은 선비도 아니라고 갈라서는데 화흠이 악역이다. 조조 쪽에 붙어서 화흠이 대표적으로 디스당한 인물이라고 해도 해석이 정반대라는 것이 이채롭다. 재미있는 것은 학문적으로는 한국이 더 극단적이고 교조적인 경향이 강한데 야사에서는 정반대라는 것이다.