RLHF하기 너무 좋은 모듈이긴 해서

아 한국인들은 미니모델 선호도가 좆박았구나 이런거 금방 학습하지 않을까

그럼 같은 돈 내고도 한국인들은 큰 모델로 라우팅되고
영어권 유저들은 작은 모델로 라우팅되는 역전세계 완성