79f3c028e2f206a26d81f6e442837664


x = np.random.randn(100, 100)

w = np.random.randn(100, 100)

z = np.dot(x, w)

a = logistic_sigmoid(z)


로 해서 a의 분포를 보면 0과 1에 극단적으로 몰려있잖아


왜 이런 분포가 나오는 거임?


x의 원소는 정규분포를 따르는 값이니까 0 근방에 모여있을 것이고, w의 원소도 정규분포를 따르니까 0 근방에 모여있짢아


둘이 곱하면 훨씬 작은 0이 되어야 하고 그렇게 곱한 두 원소를 100개 더한다는 건데


z의 원소는 대충 z1,1 = 100*x1,i*wi,1 꼴로 나올 것인데 100을 곱하는 과정에서 sigmoid에 넣었을 때 0 또는 1로 수렴할 정도로 원소가 커지는 건가?




(혹시 질문에서 이해 안가는 부분 있으면 물어봐도 됨)