1. 코드 공개 안됨
성능이고 자시고 코드 공개 안된 논문은 걍 스캠이랑 다를 바가 없음. 이 개새끼들은 애초에 accept을 하면 안됨
2. 존나 잘 나온 성능만 올림
이런 논문은 진짜 조온나게 많음. 엄밀히 말하면 스캠은 아니긴 한데, 열번 백번 돌려서 그 중 제일 잘 나온거 하나 골라서 올리는 개십새기같은 논문들임. 3d object detection 쪽에서 이런거 개많고, 당장 생각나는 다른 유명한 논문만 해도 mask2former 이런거도 편차 개심한데 그 중에 제일 잘 나온거만 쳐 골라서 성능에 올림. Reproducilbilty는 개나 줘버린 양아치 같은 새끼들임. 대부분의 스캠이 여기에 해당.
3. 코드 공개 됐는데 성능이 안 나옴
코드 공개 됐는데 아무리 돌려도 원래 성능이 안 나오는 경우. 2번 케이스는 그래도 존나 돌리면 일단 근접치는 나오긴 함. 깃허브에 다른 사람들이 관련 issue를 올리면 그냥 어영부영 쳐 넘어가고 그대로 흐지부지되고 끝남. 아무도 책임지지 않음
4. 성능 주작 (이건 내 음모론)
여기서부턴 내가 발견한 경우가 없어서 확신은 못하겠는데, 1년에 탑컨퍼 억셉되는 논문만 해도 1만편이 훌쩍 넘어가는데 (cv의 경우 CVPR, Neurips, ICLR, ICML, AAAI + 격에 한 번 열리는 ICCV, ECCV), 과연 여기서 '안들키는 선에서 적당히 주작치는 논문'이 하나도 없을까라는게 내 생각
그래서 결론은 '스캠에는 스캠으로 똑같이 맞대응 하자' 라는게 내 생각. 다들 2번은 애용하도록. 물론 few-shot이나 zero-shot learning 같이 averaging이랑 std가 기본으로 들어가는 task는 제외
ai는 스캠이다
재료랑 비슷하긴 함
주작걸리면 연구자생명끝인데 너같으면 하겠냐
여기서 말하는 주작은 성능을 아예 통째로 스캠 치는게 아니고 부분부분 친다는거임
1을 100하면 내려가지만 98을 100하면 실험편차가 되는 매직
4는 걍 음모론이고 2가 맞지
ㄹㅇ 코드 공개 안한 논문은 지금이라도 전부 철회시켜야
념글로 - dc App
1은 회사 와보니까 사내 규정과 감사로 인해 코드 못 내는 경우가 꽤 빈번함 - dc App
속이다 시원하네