[📪정보] 딥마인드 고퍼 결론부분

야구에서 고퍼는 go four라고 해서 4루타를 의미한다고 함
go for the fence 담장을 향해 날아갑니다 홈런이라는 뜻도 있음
https://deepmind.com/research/publications/2021/scaling-language-models-methods-analysis-insights-from-training-gopher
결론
The landscape of language technologies with general capabilities is progressing rapidly. Language models are a key driver of this progress, and we have shown that an emphasis on data quality and scale still yields interesting performance advances over existing work. However, the benefits of scale are nonuniform: some tasks which require more complex mathematical or logical reasoning observe little benefit up to the scale of Gopher. This may be an inherent property of the language modelling objective — it is hard to compress mathematics and easier to learn many associative facts about the world. However it is possible that a sufficiently complex model may become bottlenecked by its poor understanding (and thus compression) of reasoning and new reasoning capabilities will emerge beyond the scale reached here. Alongside the development of more powerful language models, we advocate broad development of analysis and interpretability tools to better understand model behaviour and fairness, both to guide mitigation of harms and to better inform the use of these models as a tool to scalably align artificial intelligence to societal benefit.
일반적인 능력을 갖춘 언어 기술의 지형은 빠르게 발전하고 있다. 언어 모델은 이러한 발전의 핵심 동력이며, 데이터 품질과 규모에 대한 강조가 여전히 기존 작업에 비해 흥미로운 성능 향상을 제공한다는 것을 보여주었다. 그러나 규모의 이점은 균일하지 않다. 보다 복잡한 수학적 또는 논리적 추론이 필요한 일부 작업은 고퍼의 척도까지 거의 이익을 관찰하지 못한다. 이는 언어 모델링 목표의 고유한 특성일 수 있다. 즉, 수학을 압축하기 어렵고 세계에 대한 많은 관련 사실을 배우기가 더 쉽다. 그러나 충분히 복잡한 모델은 추론의 부족한 이해(따라서 압축)로 인해 병목 현상을 일으킬 수 있으며, 여기에 도달한 규모를 넘어 새로운 추론 기능이 나타날 것이다. 더 강력한 언어 모델의 개발과 함께, 우리는 모델의 행동과 공정성을 더 잘 이해하기 위한 광범위한 분석 및 해석 도구 개발을 지지하며, 유해 완화를 안내하고 이러한 모델을 사회적 이익에 맞게 확장적으로 조정하는 도구로 사용하는 것을 더 잘 알 수 있다.

규모를 키우면 수학 추론포함 새로운 능력이 출현할거라 예측 중

기대해 다음은 진짜 홈런이야

[📪정보] 딥마인드 고퍼 결론부분

댓글 8

다른 게시글