난 일단 머신러닝을 로스함수의 최솟값을 구하기 위한 가중치나 편향값등의 세부 수치값을 조절해 가는 일련의 과정이라고 이해하고 있음.
로스함수 f(x, y)
x = 데이터를 퍼셉트론 입력에 넣어 나온 예측값
y = 데이터 라벨 값 (실제값)
그렇다면 머신러닝을 통해 결정되는건 퍼셉트론의 구조라는건데, 학습을 통해 나온 학습모델의 신경망 내 수 많은 퍼셉트론들이 먼저 결정된 그 퍼셉트론(내부 가중치나 편향값 수치가 전부 동일) 으로 구성되는 거임???
이게 맞을까??
그렇다면 머신러닝을 통해 결정되는건 퍼셉트론의 구조라는건데 -> 왜 그렇다면 이 되는지 근거를 모르겠음
뭐 퍼셉트론이란 말을 요샌 많이 쓰진 않지만 퍼셉트론과 비슷한 구조를 여러개 쌓은 걸 다층신경망이라고 하면, 실제로 우리가 학습을 할때는 다층신경망의 '구조' 는 일반적으로 고정해놓고 함
학습 과정에서는 내가 이해한 너의 이해와 반대로 "가중치"랑 "편향값"의 숫자가 손실을 최고화하는 방향으로 조정되는거임. 물론 가중치가 0이면 그 부분이 끊기는거고, 1이면 bypass 되는거니 behavior 적으로는 구조가 변하는 것과 동일하다고 볼수도 있음
하지만 그렇다고 하더라도 그것은 최적의 구조를 찾는건 아니고, 최적의 구조를 찾는다는 NAS 같은 연구가 4년전에 유행했지만 현재 연구의 추세는 아님. NAS 자체도 일정한 구현가능한 구조의 집합중에 최적의 구조를 찾는거니깐, 그냥 현재 기술수준에서 학습이란 정해진 구조 내에서 최적의 모델을 찾는거라고 생각하면 일관성 있는 설명이 될 듯
아 "가중치"랑 "편향값"의 숫자가 손실을 최고화하는 방향으로 조정되는거임 의 의미로 쓰려던건데 급급히 작성하느라 설명을 잘 못했던 것 같음
아 손실의 최고화? 손실의 최저점을 찾는게 아니였음???? 이건 좀 충격인데
ㄴㄴ 오타임 최소화
손실함수로 손실의 최저점을 찾기 위해 학습을 진행하면서 찾은 최적의 가중치와 편향값이 퍼셉트론에서 사용되는 수치들이니 학습을 통해서는 결국 퍼셉트론의 내부 설정값들이 정의되고 정의된 퍼셉트론으로 신경망이 구성되는구나 라고 이해를 한거였음... 추가로 퍼셉트론말고 요즘은 어떤 용어로 쓰는지 알 수 있을까..?
아아 최소화구나 깜짝놀랐다;;
1. 퍼셉트론의 가중치와 편향이 미리 결정되지 않고 학습 과정에서 결정된다. 2.딥뉴럴네트워크를 구성하고 있는걸 퍼셉트론이라고 부른다면(내가 그 용어를 잘 안써서 모르겠음), 그 때 가중치와 편향은 다 같지 않다. 3. 그걸 같게 써야하는 경우도 있는데 그럴 때면shared parameter이라고 하거나, convolution filter 같이 다른 요소를
어떤 용어를 쓴다기 보다는 뉴런 하나하나의 동작에 대해 분석한다기 보단 collective 한 동작을 분석할 일이 많다 보니 걍 쓸 일 자체가 없는 듯. 다층신경망이니 만큼, 분석의 최소 단위가 나의 경우엔 층일 경구가 많고, 이야기할때도 "어떤 layer에서는 bias"가 이런 식으로 설명하지 그냥..
실제로 우리가 학습을 할때는 다층신경망의 '구조' 는 일반적으로 고정해놓고 함 --> 아 이 골격은 먼저 통상적으로 고정시키는구나
아아 이해했음 나야 지금 공부중이니까 세부 용어를 들이대는데 나아가선 그 정도 단위를 표현할 일이 없구나
2.딥뉴럴네트워크를 구성하고 있는걸 퍼셉트론이라고 부른다면(내가 그 용어를 잘 안써서 모르겠음), 그 때 가중치와 편향은 다 같지 않다 --> 아 그럼 구조를 고정하고 학습을 돌리면서 각 층의 퍼셉트론 내부의 가중치나 편향이 각각 최적화 되는구나
고마워 의문에 대해 확인할 곳이 커뮤니티 말곤 없네;;
영어를 좀 하면 챗gpt써라
ㅇㅋㄷㅋ 챗GPT 데이터 가공용으로는 많이 쓰는데 이런 이론적인거에 대해선 쪼끔 의심이 가더라고 아 골통 터지겠네
근데 내가 보기엔 디씨 익명 아무개만큼은 신뢰해도 됨 ㅋㅋ
ㄹㅇ ㅋㅋㅋㅋ 오늘 지금이 가장 시원한 순간임 진짜
3brown1blue라고 ㅈㄴ 유명한 외국 수학 유튜버 있는데 여기 mlp관해서 조회수 1500만회 나온 영상 잇음 님이 궁금한거 임마가 딱 시원하게 긁어줄 것임
https://youtu.be/aircAruvnKk?si=HWVUoGHAeg9gI2T1
- dc App