e3d lstm이랑, gan 이용해서 시계열 이미지를 생성하려고 했어. 물론 초기 에포크긴 하지만, 원래 이런 미래예측 모델은 초기에는 입력 데이터를 그대로 복제하는식으로 학습하는건지 궁금함. 내가 원하는건 실제 미래 이미지의 패턴과 비슷하게 이미지를 생성하는거임. 근데 20에포크정도 돌렸을때, 패턴 학습하라고 넣은 입력데이터를 복제해서 생성하기만 하고있더라고. 이것에 관해서 논문도 찾아봤는데, 다들 이런문제를 언급하지 않는걸 보니깐, 나한테 적용되는 특수케이스인거같기도 하고... 일단 초기에만 그렇고, 이후 에포크를 몇백번 더 돌리면 제대로 실제 미래 이미지의 패턴과 유사하게 이미지를 생성하기는하는데, 그냥 이유가 궁금함. 왜 초반엔 과거 입력데이터를 그대로 복제해서 생성하기만 하는지. 내가 생각하기로는 일단 모델이 과거와, 미래 이미지의 변화가 미미할때 과거 이미지를 복제하듯이 생성해도 손실이 줄어드니깐 안전한 방향으로 수렴하려는거 같다는 생각이 들긴함.
[일반] 미래예측 모델 질문좀
딥삣삐(118.235)
2025-04-04 12:04
추천 1
댓글 13
다른 게시글
-
AI직군 시장이 궁금함
[4][일반] 딥삣삐(116.47) | 25.04.03추천 0 -
내가 리서쳐에서 개발자로 튼 이유
[2][일반] 딥삣삐(104.234) | 25.04.03추천 0 -
님들 요즘 그림 생성은 왜 글자도 잘나옴?
[5][일반] 딥삣삐(121.159) | 25.04.03추천 0 -
GPU 없이 펜과 종이만 있어도 딥러닝 연구 가능한데
[3][💩] 딥삣삐(107.77) | 25.04.02추천 1 -
이 공부 시작해도 되나요?
[20][❓질문] 딥삣삐(221.142) | 25.04.02추천 0 -
api로 학습시키고 서비스 만들 정도로 하려면 수학 잘해야함?
[4][일반] 익명(223.39) | 25.04.01추천 0 -
어릴때 why책에선 분명히
[일반] 딥삣삐(218.232) | 25.04.01추천 0 -
딥러닝이라는 분야가 전공자여도 개인이 논문을 쓰는게 가능하냐?
[24][일반] 딥삣삐(49.165) | 25.04.01추천 0 -
직업 대체 이야기 나올때마다 느끼는거
[1][일반] 익명(211.235) | 25.04.01추천 1 -
페이페이리 ㅈㄴ 멋있다
[1][일반] 딥삣삐(211.234) | 25.04.01추천 0
본인한테만 발생하는게 아니라 이미 잘 알려진 문제임 - dc App
ㄹㅇ? 그래서 굳이 논문에서 언급하지 않는건가?
내가 더 기초적인 오리지널 논문을 봤어야했나... 그냥 물가예측이랑 기상예보 예측, 식물생장예측 관련논문들만 찾아봤었거든... 거기선 딱히 언급이 없었길래
그 논문들에서도 실제론 변화에 대해서 학습한다거나 그런식으로 처리를 할텐데? 머신 러닝으로 얻고싶은건 미지의 노이즈(분산)에서 찾을수 있는 정보가 있느냐 인데 글쓴이 경우 처럼 그냥 평균에 대해서 학습해버리는게 대표적인 오류임 그걸 해결하기 위한 대표적인게 차이 정보만 빼서 따로 학습 - dc App
나도 그렇게 처리하긴했어. 나의 경우에는 스킵커넥션에 게이트를 도입해서 정말 필요한, 즉 변화가 있는 부분만 정보를 디코더에 전달하게끔 짯음. 대부분 이렇게만 해도 잘되기도 했고
Mode collapse
이거랑은 좀 다름. 모드붕괴는 아닌거 확인했어...
실제로 gan 여러번 학습시켜보면서 모드붕괴를 겪은경험이 있다보니, 걍 결과 시각화한거 보자마자 모드붕괴라는건 바로 감이 오긴함 ㅋㅋ. 그리고 모드붕괴는 한번 일어나면, 그 학습은 몇 에포크를 학습시키든 무조건 동일한 이미지만 생성해서 나의 경우처럼 수백 에포크 돌렸을때 정상화된다라는 경우가 없더라
생성모델로 예측을 한다 쓰는 게 혹시 너 주식같은 거 하려는 경영대생임?
ㄴ 식물생장예측하려는 컴공 대학원생임... 식물이 언제 개화하고, 열매가 맺히는지 모델에게 예측시켜서 그 이미지를 생성시켜보려는중. 사실상 논문만 내면 되는상태긴함. 품종 구분, 날짜예측, 식물의 생장패턴 전부 예측 잘 되고있고, 검증 데이터셋 및 학습데이터셋에도 없지만, 학습에 사용했던 품종을 따로 사진을 찍어서 예측시켜봤는데 잘 되는것도 확인한 상태야.
솔직히 나는 이론파는 아니고, 극한의 코딩파라 그저 이러이러한 모델이 있고, 구조가 있고, 그걸 어디에 쓰는지 찾은 다음. 내 목적에 맞게 코딩을 하는편이라 이론은 좀 부족한게 느껴지긴하는데, 그냥 도구를 사용하는 느낌으로 쓰는중이긴함. 당연히 그 도구에 대해서는 이해를 하고있긴하지. 그래야 레이어를 몇겹으로 쌓을지, 베이스 채널은 몇으로 할지, 각 모듈들 e3d lstm이나 ghu,(gradient highway unit), predrnn, LSGAN, 등등을 사용해서 어떻게 조합해야 예측이 잘될지, 등등. 이런걸 직접 코딩으로 경험해보면서 지식을 쌓는중. 대표적으로 l1손실같은 경우 너무 높으면 이미지가 뭉게져서 생성되는 경향이 있다는걸 경험으로 알았지.
자랑스럽게 써놓았지만 한마디로 아는게 별로 없다 이거구만ㅋㅋㅋ - dc App
근데 그래도 만드는데 지장은 없음 ㅋㅋㅋ 실제로 정출연 다니고 있는데, 여기서 랩미팅 할때도 딱히 지식이 부족함으로 인한 문제 및 업무 지장이 느껴지지도 않고, 지도 박사님도 논문걱정은 없을것같다고 하심. 물론 난 항상 내가 부족한게 느껴지긴해. 이쪽분야는 공부하면 할수록 새로운게 나오더라고. 근데 결국 그걸 실제로 코드를 짜서 구현을 할 수 있냐는 별개의 문제더라. 코드로 짜서 구현하는데에 시간을 너무 많이 쏟음