llama3 8b, 70b는 쓸모없을수 있는데 아직 안나왔지먼 400b는 필요함 phi3가 다른 llm하고 다른건 데이터가 존나 필터링된 고품질 데이터랑 gpt4로 합성된 데이터 믹스 된건데 결국 phi에 중요한점은 그걸 합성할만한 고성능의 모델이 필요한건데 여기서 400b는 그걸 충족할 뿐만 아니라 오픈소스여서 싸게 만들수 있다는 거임
[일반] phi있다가 llama3가 필요없는건 아님
익명(106.101)
2024-04-23 13:36
추천 0
댓글 3
다른 게시글
-
파이3 성능 좀 아리송한게 [3][일반] rtOS(azl27t4zdge5) | 24.04.23추천 1
-
기소본득이 보장 되어야 사람들이 직업을 포기하지 않을까[일반] 익명(223.33) | 24.04.23추천 0
-
좀 트랜스포머 태생적 한계를 뛰어넘을 변화는 없나 [5][일반] 슈퍼130클..(y3xxqs89b55t) | 24.04.23추천 0
-
오늘도 노동해방과 특이점을 향한 기도를 올립니다 [2][일반] 익명(220.127) | 24.04.23추천 0
-
gpt-5에 제일 기대중인게 직업대체임 [2][일반] 익명(118.33) | 24.04.23추천 1
-
phi3 기대되노[일반] 익명(118.235) | 24.04.23추천 0
-
레커: AGI 는 2029년 [4][일반] 익명(210.178) | 24.04.23추천 1
-
phi-3가 라마 딴건 아직 아님 [4][일반] 익명(110.145) | 24.04.23추천 0
-
요즘은 따2잇충 다뒤져서 좋네 [1][일반] 익명(lkza69ml2ymz) | 24.04.23추천 0
-
클로즈 ai가 gpt4오픈소스로 풀었으면 [2][일반] 익명(lkza69ml2ymz) | 24.04.23추천 0
phi는 orca셋 사용함
그건 instruct얘기 아님? 이건 pretrian 말하는건데?
논문 읽어보면 알겠지만 phi의 핵심은 고품질 사전훈련데이터임