활성화 함수가 바뀐 네트워크는 결국 그냥 mlp로도 근사 가능한거라 드라마틱한 성능 향상은 안 나올 것 같은데

더 적은 뉴런으로 복잡한 함수를 표현할 수 있게 되는건 맞지만 그만큼 학습과 실행 시 필요한 컴퓨팅 파워도 늘어나니까