[일반] 언어모델은 이미 만들어진 문장을 쓰잖아

[익명(180.134)]

알파고도 프로기사 데이터 쓸때보다 무에서 규칙을 찾고 학습하는게 압도적으로 강했었지

결국 사람의 데이터를 쓰기때문에 어느 이상부턴 완만한 곡선을 그릴거라고 예상한다 얀르쿤이 방법을 달리해야한다고 말한것도 이해가 감

[익명(125.191)]

[익명(125.191)]

https://medium.com/@blaisea/do-large-language-models-understand-us-6f881d6d8e75

[익명(180.134)]

패스웨이 수학능력 gpt-3 대비 3%오른거보면 걍 개좆망한거같은데...

[익명(125.191)]

제대로 확인하고 오셈 GPT3 미세조정 버전을 PaLM이 능가한거임

[익명(125.191)]

GPT3를 파인튜닝해서 해당 문제풀이에 특화시킨 버전을 PaLM 퓨삿러닝이 능가했단거

[익명(1.239)]

텍스트 데이터는 훈련하는데 쓰는거지 생성하는 문장은 인간이 만든게 아니라 AI가 만들어내는거임.

[익명(1.239)]

인간의 데이터에서 배우다가 어느정도 패턴이 축적이 되면 AI 스스로 만들어내게 해서 대조, 평가하면서 개선할 수 있지. 다 거치는 단계가 있다고 봄

[익명(180.134)]

당연히 알파고도 바둑두는건 ai가 하지 근데 학습할때 인간의 기보가 필요했었고 나중엔 필요없게 됐지 그리고 인간을 참고하지 않을때가 압도적으로 강했고

[익명(1.239)]

근데 바둑은 승패라는 결과값이 존재하지만 언어는 꼭 그렇지는 않아서 인간의 기준이 아니면 평가하기가 어려움.