이 글의 목적은 전문가가 보고 '어 그럴싸' 하게 만드는 거임
더불어 AGI까지 남은 단계가 없다는 결론이 도출되었으면 함
근거있는 반론, 전문가 지적 환영

[개념적인 생각]
신경망으로 어떤 일을 한다고 가정하자. 어떤 구조가 필요할까?

연속된 값을 입력받아 연속된 값을 출력하는게 아닌 이상 무조건 원 핫코딩이 필수적이라고 생각함.
숫자 인식도 구조가 겹치는게 많아서 그렇지 0-9까지 따로 신경망을 만드는 게 더 합리적이라 생각함. '이 그림은 1인가 신경망' 이렇게.
사람도 '0같기도 하고 6같기도 하네' 하잖아. 두 신경망 모두 참인거지

여기에서 생각을 조금 더 해보면 포레스트가 나옴
작은 기능들의 신경망이 쭉 있는거지.

이제 여기서 2차 기능을 만들어.
신경망의 출력을 입력으로 받는 신경망들임
예를 들어 그림에서 선을 인식하는 AI -> 선에서 숫자를 인식하는 AI 하면 학습도 빠르고 더 정확할 수 있겠지.

어떤 일을 하기 위한 신경망은 이런 기능의 조합으로 이루어진다는 전제하에 글을 이어갈게

[최근 연구 동향 적용]
주목할 점이 큰 ANN을 학습시키다보면 개념 뉴런이 생긴다는거임
예를 들어 숫자를 인식하는 ANN을 대규모로 만들면 그 안에서 선을 인식하는 녀석이 생긴다는게 요즘 연구 결과임

신경망을 희소화시키는 기술이 최신 메타잖아?
이걸 합치면 그냥 패스웨이임
패스웨이는 1차 기능 2차 기능 할 것 없이 한 번에 학습할 수 있다.

하지만, 개념의 구현과 패스웨이에서 두 개의 차이가 있는데
작은 차이는 개념 뉴런의 출력이 직방으로 2차 기능에 들어가지 않는다는거(무의미한 레이어가 생긴다.)
이건 마소가 신경망에 자주 하는 것 처럼 레이어 뛰어넘는 엣지 만들면 어느정도 해소가 되고 그렇지 않다 해도 학습 속도만 느릴 뿐임.(시간문제)

큰 차이는 기능간에 위상정렬이 가능하지 않을거라는거임
A->B->C->D 로 처리할 문제랑
E->C->B->F 로 처리할 문제가 있을 수 있다는거임
BERT(트랜스포머가 들어간 양방향 인코더)가 이런 문제를 어느정도 해소했다 생각하는데

이건 하드웨어가 발전하면서 신경망 통째로 고리모양으로 만들어버리면 간선 최적화도 되겠다 없어질 문제라 생각함.

[마무리]
최근 인공지능 뉴스들 보면서 생각에 확신이 생김.
결론은 현존하는 기술에 약간의 스케일업을 통해 신경망으로 할 수 있는 모든 일을 할 수 있다는 것.

- dc official App