https://arxiv.org/abs/2108.12284




슈미트후버의 새 논문

트랜스포머의 일반화 성능 크게 향상시켰다 함




본 연구에서는 체계적 일반화를 위해 최근에 제안된 많은 데이터셋에서 Transformer 아키텍처의 성능을 기본 모델과 교육 구성을 다시 검토함으로써 크게 개선할 수 있음을 보여 주었습니다.


상대적 위치 내장이 있는 모델 모델은 절대 위치 내장이 있는 모델보다 성능이 뛰어난 경우가 많습니다. 또한 길이 일반화를 고려할 때 이전에 Newman et al.(2020)이 발견한 중요한 문제인 EOS 의사결정 문제도 완화한다.


신경 네트워크의. 이를 통해 향후 길이 일반화의 남은 문제인 구성 문제에 집중할 수 있습니다.


또한 조기 중지 및 내장 확장을 재고하면 특히 COGS 및 PCFG 데이터셋에서 기본 Transformer를 크게 개선할 수 있음을 입증했습니다.


이러한 결과는 IID 검증 세트의 모델 성능과 테스트 정확도 간의 불일치를 보여줍니다.

체계적으로 다른 일반화 분할 따라서 현재 IID 데이터 집합에서 모델을 검증하는 일반적인 관행에 문제가 있습니다.


우리는 지역사회가 체계적인 일반화를 위한 적절한 모델 개발 방법을 논의해야 한다고 결론짓는다.

특히 우리의 연구가 확고한 기준선을 확립하고 잘못된 진행의식을 피하기 위해 체계적인 일반화를 위한 검증 세트의 필요성을 명확히 입증하였기를 바란다.