저번에 이 글 쓰고 생각나서
왜 챗지피티는 바보같은 코드만 내주는데 알파코드는 인간 중위권 수준의 실력을 보여줬지? 하고 조금 더 뒤적거려 보는데
https://www.microsoft.com/en-us/research/uploads/prod/2021/11/Programming_puzzles_dataset-23.pdf
https://arxiv.org/pdf/2203.07814.pdf
보니까 생성되는 코드의 99%는 원래 예제도 제대로 못 맞히는 게 맞고
GPT 굴리는 프로그램을 따로 짜서 각잡고 천 번 이상은 돌려야 릿코드, 코드포스 문제를 좀 풀어낸다고 돼있네
애초에 개인 입장에선 테스트가 불가능한 거였음...
해당 댓글은 삭제되었습니다.
어려울듯? 알파코드가 코드포스에서 형식 갖춰진 문제 13328개에 코드 천만 개 정도 가져와서 학습시킨 건데 인간 중위권 수준이었으니까