[일반] 현재 트랜스포머가 근본인가여?

[딥삣삐(125.143)]

lgbm 한계 느끼고 트랜스포머로 넘어왔는데.. 뭔가 성능 차이 크게 못느끼는중.. 샘플이 문제인가..

[딥삣삐 1(49.164)]

나는 지금 이미지의 푸리에 스펙트럼 생성하는데 트랜스포머 써봤는데 오히려 U-Net보다 성능이 안나와서 왜그런가 찾아보니 트랜스포머가 inductive bias가 없어서 scalable한 대신 그만큼 데이터&네트워크 사이즈가 커져야 효능이 나온다더라

[딥삣삐 1(49.164)]

LGBM한다는건 테이블데이터를 다루는 거일텐데 그럼 그냥 LGBM에 내재된 inductive bias가 이미 데이터랑 잘맞고 있어서 작은 스케일에선 트랜스포머가 열세일수도

[딥삣삐 3(211.234)]

애초에 tabular 데이터를 gbdt 기반 모델을 이기려면 쉽지 않지 - dc App

[포치포치타타(preheat0897)]

트랜스포머는 데이터셋 더 커야됨. - dc App

[글쓴 딥삣삐(125.143)]

꿈쩍도 안하던 성능이 hidden_dim좀 키우니까 개선됨.. 그리고 벤치 빠르게 할려고 샘플 사이즈 안키우고있었는데 이제 막 때려 넣어야되는 시점인가...

[딥삣삐 2(125.132)]

catboost랑 비교해봤어?

[글쓴 딥삣삐(125.143)]

catboost는 안써봤는데...