~~해줘하는 프롬프트 입력 디자인 이게 전부임
프롬프트로 사용할 학습 데이터 구축

파인튜닝, 인스트럭트 학습, RLHF 강화학습

메타 프롬프팅(CoT, 스트로베리, 테스트 타임 컴퓨팅)
시스템 프롬프트, 일반 프롬프트에 입력하는 것뿐만 아니라 특정 목적의 프롬프트를 데이터로 만들어내서 모델을 학습시켜서 뛰어난 프롬프트 구조를 출력하게 하는 것이 프롬프트 입력 디자인 따위보다 더 가치있는 일임.
프롬프트 엔지니어링은 CoT(생각의 사슬), AutoGPT(사용자의 요구를 작은 여러개의 태스크로 쪼개서 수행)나 Reflexion(출력할 프롬프트를 LLM 스스로 검토하고 논리적 오류가 있는지 검토하는 기법) 같은 프롬프트 엔지니어링이 뭔지 알고 연구해야하는 석박사급들이 연구 주제로 다루는 데이터 사이언스지.
파인튜닝이 뭔지도 모르는 일반인들이 쉬워보인다고 도전할 주제가 아님..

사전학습 데이터의 10분 1 규모로 프롬프트 구조에 맞는 학습 데이터를 구축해야하는데 그걸 못 하면?