[💩] 사실 지금 논쟁조차 일어나고 있지 않음

[focalor..(pytorch)]

지금까지 글 쓴 애들 전부 따져봐도 수학과에서 배우는 해석학적 백그라운드를 갖고 접근하는 엄밀한 증명테크닉 등 소위 수학과적 수학이 딥러닝을 하는데 중요하다고 하는 사람은 한명도 없었음. 그나마 "그런 연구를 하는 것도 가능은 한데, 마이너하고 탑컨퍼에서 쓸데없이 점수 짜게 준다" 정도 의견이었지.

그런데 마치 논란이 있는 것처럼 보이는 이유는 딱 하나임. 그냥 백그라운드가 달라서 그럼. 예시하나 들고올게.

https://arxiv.org/pdf/2010.02502

DDIM 페이퍼임. 디퓨전 쪽 빅 페이퍼 중 하나고, 디퓨전 배우면서 얘를 건너뛸 순 없을 정도로 중요한 논문임

그럼 얘가 수학적인 지식을 요구하냐? 라고 했을 때 , 명확하게 두 의견으로 갈릴껄?

i) 잘 보면 웬만한 건 다 학부수학만 제대로 해도 무리 없이 읽히는 페이펀데 먼솔? 니들은 그냥 "계산"도 수학이라 함?

ii) 어려웡...

ii) 에서 열심히 공부해서 저걸 무리 없이 읽을 수 있게 된 친구들은 "딥러닝에서 수학 공부가 중요하다" 라고 말할 가고, 워낙 수학적 백그라운드가 탄탄해서 이 페이퍼가 왜 어려운지 이해조차 안가는 애들은 "학부따리 수학 좀 쓰는거 갖고 수학이 중요하다라고 말하는게 말이 되나" 라고 말할거임. 그럼에도 불구하고 두 그룹 다 동의하는 거는 뭐냐하면, "적어도 이 정도 페이퍼는 무리없이 읽어낼 수 있어야 딥러닝이든 나발이든 할 수 있다" 라는 점일거임.

결국 뉴비 입장에서 건져가야 할 건 간단함. 그 범위가 학부 수학인지 그거보다 조금 더 많이 요구하는지를 떠나서 (애초에 난 학부수학이 어디까지 배우는지를 잘 모름, 내가 학부도 국내에서 나쁜 곳은 아닌데, 우리 cs는 미방도 안했음 ㅋㅋㅋㅋ), 위에서 링크한 페이퍼를 처음부터 끝까지 큰 무리 없이 읽어낼 수 있는 수학적 리터러시를 갖도록 하면 됨. 처음부터 갖고 있으면 더할 나위 없는거고.

그나마도 최근에 구조깔짝 논문들이 포화되면서 이정도라도 수학 컨셉 쓰는 빅 워크들이 나온거지 진짜 옛날에 구조깔짝으로 페이퍼 찍어낼 때는 백프롭이 젤 어려운 수학이었음 ㅋㅋㅋㅋ

[익명(118.235)]

저거 직접 수식전개 해보라고하면 생각보다 하는애들 적을걸 유튜브요약영상보고 아는척하는 애들이 한가득임 눈으로 보고 수식의 어떤부분이 어떤의미인지 플로우만 이해하는거는 수학적으로 이해한게 아님 국어공부를 한거지 직접 필요충분조건 따지면서 수식 전개할줄알아야 수학적으로 진짜 이해한거라고 생각함

[focalors(pytorch)]

사실 어플리케이션 리서치에서 요구하는 수학적 리터러시는 너가 말하는 완벽한 수학적인 이해까지도 안감. 어차피 종이와 팬으로 하는 연구가 아니기 때문에, 딱 너가 말한 "수식의 어떤 부분이 어던 의미인지 플로우만 이해" 하는 굉장히 얕은 수준의 이해로도 충분함. 오히려 저 샬로우한 이해가 됐다면, 그 다음으로 중요한 건 백지에서 전개하는 딥한 수학적 이해보단, 그 수식의 의미를 알고리즘으로 풀어내고, 결과를 깎아내서 테이블을 만들어낼 수 있는 엔지니어링 능력이지.

[focalors(pytorch)]

그리고 뭐 당연한 얘기지만, 컴퓨터 앞에 앉아서 수식을 코드로 이피션트하게 구현하고, 결과를 깎아내는 엔지니어링도 전혀 trivial하지 않음.

[익명(118.235)]

님 말에 반박하려는건 아니었음 저도 댓글 내용에 동의함

[익명(211.214)]

저정도면 양반이지 트랜스포머 서킷 깔짝 봤는 데 걍 때려침

[익명(115.138)]

딥러닝에서 수학이 중요하다는게 학부 수학 기초 정도는 최소한 해야지 라는 의미인데 딥러닝이 뭔 수학이 필요하냐는 애들은 다른 공대에 기준이 맞춰져 있어서 말이 안통함

[익명(117.111)]

여담인데 DDIM 중요하냐? DDPM 보고 걍 yang song이 쓰는 score-based 보면 안됨? - dc App

[focalors(pytorch)]

[익명(203.230)]

결국엔 아무리 수학을 안써도 학부 수학은 당연히 때고와야 한다는 이야기 ㅋㅋㅋ 그리고 얼마나 더 복잡한 개념을 사용하냐 보다는 어떻게 응용하는지가 더 중요하긴 함 개인적으론 가장 흥미로웠던게 2017 닙스 ToT를 받은 푸리에 피쳐 논문인데 아이디어는 정규분포를 코사인으로 근사 가능하다는 거랑 고등학교 때 배우는 코코사사가 전부임 고등학교 때 배우는 수학적 배경 만으로도 ToT 수상하는거 보면 진짜 복잡한건 별 의미 없긴 함

[focalors(pytorch)]

정말 개인적인 의견이고 아카데믹적 가치를 높게 치는 사람들은 반대하겠지만, 난 오히려 (수학적이든, 메소드적이든) 복잡성에 비해서 empirical한 evidence가 충분히 강하지 못하면 점수 짜게 주는 편임. 오히려 같은 성능이면 직관적이고 구현이 쉬운거에 더 리뷰 점수를 잘 주는듯. 하지만 최고로 치는 페이퍼는 직관적인 설명이 존재하고 구현도 쉬우면서, 페이퍼를 좀 깊게 읽으려는 사람한테는 이론적 서포팅까지 존재하는 페이퍼긴 함. 영화로 치면 깊은 의미를 가진 재미없는 예술영화 < 무지성으로 재미있는 오락영화 < 대충 봐도 재밌는데 몇번 더 보면서 분석할 거리도 있는 명작 이런 느낌 ㅋㅋ

[익명(23.119)]

이 글에서 말하는 학부수학이라는게 사실상 공대에서 배우는 공업수학인데 여기서 생기는 국어논쟁인듯 ㅋ

[딥삣삐 1(180.70)]

맞는말이라 생각함. 사람들의 눈높이가 다름. ??: 수학필요없어(학부 선대,확통 다 알고, 논문읽을정도로 해석학도 앎 더 딥한영역도알기에 이정돈 도구정도로 생각) ??: 수학이 필요해 논문 어케읽어(문과출신으로 수학배제하다 한번 데임, 그리고 기초공부다시함) 근데 문제는 거꾸로도 가능함 ??: 수학필요없어(LLM wrapper임) ??: 수학필요해 딥한이해에는 필수임(ML theory하심) 그냥 모두의 말이맞고 모두의 말이틀린상황임

[딥삣삐 2(112.170)]

밑에 리서치 엔지니어~ 이 글쓰니인데 여태 본 글 중에 가장 공감. 이게 정답이지