그거 구글 과학자들도 정확한 이유몰라서 추측만 하고 있을 껄
딥러닝 모델이 인과가 너무 복잡해서 콕 찝어서 이런 이유로 이런 결과가 나온다고 말하기 힘들고, 인풋 조금씩 바꿔가면서 인풋에 따른 결과 차이에 중점을 두고 분석하고 그래
그래서 '스텝 바이 스텝 문장을 넣으면 결과가 좋아지는 이유'에 대해서 설명할 수는 없지만 인풋에 따른 결과가 달라지는 이유에 대해서 대략적인 설명을 해보자면
너가 눈감고 공을 던져서 표적을 맞춰야되는데 누가 옆에서 조금만 더 왼쪽으로 던져라, 조금 더 멀리 던져라 하고 열심히 가르쳐 주는게 딥러닝 학습이라고 하면
너가 던지는 공이 야구공이냐, 탁구공이냐가 딥러닝 인풋이라 쳤을 때, 너가 야구공을 열심히 옆 사람 말을 들어서 던져서 표적을 눈감고도 잘 맞추게 됐는데 탁구공으로 던지라 하면 무게와 부피가 다르니깐 갑자기 표적을 못맞추게 되겠지? 이런걸 일반화의 문제라 그래
모든 공에 대해 표적을 잘 맞추기를 바랬는데, 야구공에 대해서만 표적을 잘 맞추게 되는 거지. 그래서 탁구공에 대해서 연습을 시켰더니, 이번에는 탁구공에 익숙해져서 탁구공만 잘맞추고 야구공은 못 맞추게 됐어
근데 사람은 던지다보면 야구공은 더 무거우니까 힘을 이렇게 주면서 던져야되고, 탁구공은 훨 가벼우니깐 저렇게 주면서 던져야되겠다는걸 학습할 수도 있는데, 기존 딥러닝 모델은 그게 안됐거든?
근데 어텐션이라는 개념이 등장해서 그걸 가능하게 했어. 이제 기계도 야구공 던질 때는 이렇게, 탁구공 던질 때는 저렇게 던져야한다는 걸 학습하고, 더 나아가 야구공과 탁구공 사이의 무게인 골프공은 이렇게 던져야하는구나에 대해서도 얼추 감을 잡기 시작한거지?
뭐 대충 이런게 인풋에 따른 결과 성능의 차이가 일어나는 이유라 치고, 여기부터는 내 개인적으로 생각하는 '스텝 바이 스텝 문장이 성능 개선에 유의미한 향상을 불러 일으키는 이유'인데
사실 대화가 굉장히 어려운 일이거든? 당장 소위 말하는 찐따가 보통 분위기 못 읽고 상황에 안맞는 말을 하는, 즉, 대화 못하는 사람을 지칭하는 걸 생각해보면 대화는 사람한테도 어려운데
당연히 기계한테는 더 어렵겠지? 특히 기계한테는 상황을 읽을 수 있는 다른 정보들인 표정이나 말투, 목소리의 높낮이 등이 없이 오직 글만 주어지니깐 기계는 상황을 읽는 능력, 즉, 눈치라는 걸 가지기가 힘든거야
그래서 상황을 읽기가 기계한테는 굉장히 어려운 일인데, 이 '스텝 바이 스텝 문장'이 기계한테 '지금은 일반적인 대화 상황이 아니라 논리적인 사고를 요구하는 상황이다'라는 힌트로써 작용하는게 아닐까 싶어
근데 이렇게 설명하면 딥러닝 모델한테 의식이 있다는 소리냐는 식으로 받아들이는 경우가 있던데, 그건 설명 쉽게 하려고 저런식으로 설명해서 그렇지 머신러닝과 수학의 관점에서 설명하면 그냥 계산식에서 특정 변수 하나의 답을 알려줘서 계산을 더 쉽게 하게 해준 거란 소리임
아 그리고 어디까지나 이건 그냥 내 추측인거고
그거 구글 과학자들도 정확한 이유몰라서 추측만 하고 있을 껄
딥러닝 모델이 인과가 너무 복잡해서 콕 찝어서 이런 이유로 이런 결과가 나온다고 말하기 힘들고, 인풋 조금씩 바꿔가면서 인풋에 따른 결과 차이에 중점을 두고 분석하고 그래
그래서 '스텝 바이 스텝 문장을 넣으면 결과가 좋아지는 이유'에 대해서 설명할 수는 없지만 인풋에 따른 결과가 달라지는 이유에 대해서 대략적인 설명을 해보자면
너가 눈감고 공을 던져서 표적을 맞춰야되는데 누가 옆에서 조금만 더 왼쪽으로 던져라, 조금 더 멀리 던져라 하고 열심히 가르쳐 주는게 딥러닝 학습이라고 하면
너가 던지는 공이 야구공이냐, 탁구공이냐가 딥러닝 인풋이라 쳤을 때, 너가 야구공을 열심히 옆 사람 말을 들어서 던져서 표적을 눈감고도 잘 맞추게 됐는데 탁구공으로 던지라 하면 무게와 부피가 다르니깐 갑자기 표적을 못맞추게 되겠지? 이런걸 일반화의 문제라 그래
모든 공에 대해 표적을 잘 맞추기를 바랬는데, 야구공에 대해서만 표적을 잘 맞추게 되는 거지. 그래서 탁구공에 대해서 연습을 시켰더니, 이번에는 탁구공에 익숙해져서 탁구공만 잘맞추고 야구공은 못 맞추게 됐어
근데 사람은 던지다보면 야구공은 더 무거우니까 힘을 이렇게 주면서 던져야되고, 탁구공은 훨 가벼우니깐 저렇게 주면서 던져야되겠다는걸 학습할 수도 있는데, 기존 딥러닝 모델은 그게 안됐거든?
근데 어텐션이라는 개념이 등장해서 그걸 가능하게 했어. 이제 기계도 야구공 던질 때는 이렇게, 탁구공 던질 때는 저렇게 던져야한다는 걸 학습하고, 더 나아가 야구공과 탁구공 사이의 무게인 골프공은 이렇게 던져야하는구나에 대해서도 얼추 감을 잡기 시작한거지?
뭐 대충 이런게 인풋에 따른 결과 성능의 차이가 일어나는 이유라 치고, 여기부터는 내 개인적으로 생각하는 '스텝 바이 스텝 문장이 성능 개선에 유의미한 향상을 불러 일으키는 이유'인데
사실 대화가 굉장히 어려운 일이거든? 당장 소위 말하는 찐따가 보통 분위기 못 읽고 상황에 안맞는 말을 하는, 즉, 대화 못하는 사람을 지칭하는 걸 생각해보면 대화는 사람한테도 어려운데
당연히 기계한테는 더 어렵겠지? 특히 기계한테는 상황을 읽을 수 있는 다른 정보들인 표정이나 말투, 목소리의 높낮이 등이 없이 오직 글만 주어지니깐 기계는 상황을 읽는 능력, 즉, 눈치라는 걸 가지기가 힘든거야
그래서 상황을 읽기가 기계한테는 굉장히 어려운 일인데, 이 '스텝 바이 스텝 문장'이 기계한테 '지금은 일반적인 대화 상황이 아니라 논리적인 사고를 요구하는 상황이다'라는 힌트로써 작용하는게 아닐까 싶어
근데 이렇게 설명하면 딥러닝 모델한테 의식이 있다는 소리냐는 식으로 받아들이는 경우가 있던데, 그건 설명 쉽게 하려고 저런식으로 설명해서 그렇지 머신러닝과 수학의 관점에서 설명하면 그냥 계산식에서 특정 변수 하나의 답을 알려줘서 계산을 더 쉽게 하게 해준 거란 소리임
아 그리고 어디까지나 이건 그냥 내 추측인거고