[일반] 페르소나(역할 프롬프팅) 이제는 의미 없다고 결론난거 아닌가

[봄바다(path8294)]

논문에서 예전에는 효과 있었을지 몰라도

이제는 기본적으로 성능이 올라가서 좆도 의미없으니 안쓰는게 낫다라는거 보고 한참전에 버렸는데

[익명(210.217)]

니 개떡같은 프롬프트에서 그나마 분야를 좁혀서 환각을 줄일 수 있는데 왜 안씀?

[봄바다(path8294)]

https://arxiv.org/html/2311.10054v3?utm_source=perplexity
덕분에
내가 찾았다 고맙다

[익명(210.217)]

@봄바다 그래 공부 열심히 하자

[봄바다(path8294)]

@ㅇㅇ(210.217) 확씨 그냥 아무것도 모르는놈이

[익명(210.217)]

@봄바다 정답을 말해줘도 ㅈㄹ이네

[ㅇㅇ 1(220.127)]

GPT한테 프롬프트 만들어 달라고 하면 역할 지정하더라

[봄바다(path8294)]

그것도 그냥 사람들이 그렇게 해왔으니까 그런 자료를 학습해서 그런거임…

[익명(milk7163)]

성능엔 별 의미 없지만 컨텍스트 관점에선 의미가 있지

[봄바다(path8294)]

- 페르소나 추가가 모델 성능을 향상시키지 않음 - 일부 경우 오히려 성능 저하 - 최적 페르소나 선택 전략 부재 (무작위보다 나은 방법 없음) - 도메인 정렬 효과 미미 (변호사 페르소나 → 법무 작업 등) 래

[익명(milk7163)]

너가 가져온 논문에 쓰인 모델 자체가 너무 멍청해서 의미가 없음 지시도 제대로 못따르는 모델 가지고 뭔 실험을 해

[봄바다(path8294)]

@ㅇㅇ 큐웬 72면 충분히 훌륭했던 앤데

[익명(milk7163)]

@봄바다 걔로 실험한걸 지금 프론티어 모델에 적용하는게 말이 된다고 생각하니..

[익명(compact5711)]

https://cookbook.openai.com/examples/gpt-5/gpt-5_prompting_guide#instruction-following
채신 모델 GPT-5 프롬프팅 가이드에도 역할 부여하는 예시가 있음

[봄바다(path8294)]

그러게 여기선 쓰네

[솔담비딸기카나페(rty1x21s8nhq)]

IMO 검증자 프롬프트 확인해봥..

[봄바다(path8294)]

그 프롬프트에서 페르소나 유무가 결과의 차이를 주는지 안주는지 모르잖아

[익명(escape6138)]

@봄바다 그러면 구글개발자들이 그 프롬프트를 왜 썼다고 생각함?

[봄바다(path8294)]

@ㅇㅇ LLM 프롬프트 작성 프롬프트는 인간과 AI의 상호작용을 위한 통합된 자연어 인터페이스 역할을 하며, LLM 시대에 널리 사용되고 있다(Liu et al., 2023). 기존 연구에 따르면 LLM은 프롬프트의 설계에 매우 민감하다(Lu et al., 2021). 예를 들어, “단계별로 생각해봅시다(Let’s think step by step)”라는 문구를 추가하면 다양한 질문에 대한 모델의 응답 성능이 향상될 수 있다(Kojima et al., 2022). 더 나은 성능을 이끌어낼 수 있는 프롬프트를 설계하는 방법은 NLP 연구자뿐만 아니라 교육(Heston and Khun, 2023), 예술(Oppenlaender, 2022), 보건(Meskó, 2023) 분야 종사자들에게도 중요한 과제가 되었다.

[봄바다(path8294)]

@ㅇㅇ 또한, 현재의 AI 시스템은 시스템 생성 응답의 안전성과 유용성을 보장하기 위해 일반적으로 사용자 프롬프트 전에 시스템 프롬프트를 삽입한다(Touvron et al., 2023). 시스템 프롬프트는 보통 시스템의 역할을 정의(예: “당신은 유용한 도우미입니다.”)하고, 사용자와의 상호작용에서 LLM의 행동을 추가로 안내한다. 즉, 시스템 프롬프트는 LLM 제품의 기본 설정으로 작동하며, 모든 사용자 프롬프트보다 우선한다. 따라서 인스트럭션 튜닝이 되지 않은 모델이라도 다양한 형식의 시스템 프롬프트가 모델 성능에 어떤 영향을 미치는지를 조사하는 것은 여전히 중요하다. 그러나 상용 AI 시스템에서 널리 사용되고 있음에도 불구하고, 시스템 프롬프트에 페르소나를 사용하는 효과는 현재 문헌에서 충분히 연구되지 않았다

[익명(escape6138)]

@봄바다 성능향상은 당연히 안됨 프롬프트의 의의는 성능향상보다는 답변을 자신이 원하는 포맷으로 받기 위해서 사용하는거지. 예를들어 일관된 포맷으로 법상담이나 심리상담을 받고싶은데 프롬프트가없으면 그건 불가능함 IMO또한 채점기준에 수식을 맞추기위해서 프롬프트를 쓴거고

[솔담비딸기카나페(rty1x21s8nhq)]

그럼 의미 있는거네?>,<

[익명(126.203)]

돌고돌아 순정

[익명(escape6138)]

공감이어렵네

[봄바다(path8294)]

함 읽어보셈 이해는 됨

[먼데이(await3622)]

글쓴이가 모델성능이랑 프롬프트엔지니어링이랑 출력스타일이랑 페르소나랑 이런거에 대한 개념을 혼동하는거 같은데..

[먼데이(await3622)]

페르소나가 모델의 성능에 영향을 주는게 아니야 페르소나는 response의 style에 영향을 주는거야 모델의 출력 결과물에 성능을 주는건 request 하는 단계에서 prompt가 출력 결과물에 영향을 주는거지

[먼데이(await3622)]

모델의 출력 결과물에 영향을 주는건.. ㅇㅇ.. 자다일어나서 이상하게 썻는데 아무튼

[봄바다(path8294)]

님이 예전 메타를 모르고 제 글이랑 논문을 이해를 잘못한거 같은데 예전부터 프롬프트에 역할 부여 (당신은 xx입니다.) 하는게 출력물의 품질을 상승시킨다는 믿음이 있었음. 논문은 그 믿음이 과연 진짜인지 위약효과인지 실험해본거고

[먼데이(await3622)]

너가 이해하는게 좀 잘못되어 있는거야

[익명(escape6138)]

무지가보이는글이군

[먼데이(await3622)]

좀더 깊게 파고들면서 이야기하면 이 페르소나라는게 그냥 너가 말하는 역할놀이 그런거의 개념이 아니거든 페르소나라는 규칙에서 여러가지를 정의할수있는데 입력하는 단계의 프롬프트를 조작하는 규칙을 넣을수도 있고 이게 instructions이고 너가 말하는 페르소나는 단지 역학놀이 수준인거같은데 그 역할놀이 수준이면 출력물의 품질, 너가 말하는 성능이란게 모델의 성능을 말하는건지 출력물의 품질을 말하는건지는 모르겠는데 역학놀이 수준으로는 후자에 영향을 주기가 힘들다 전자는 당연히 말이 안되는거고

[봄바다(path8294)]

내가 언제 역할놀이 얘기를 했음 링크 다시 읽고오셈

[초존도초(htr3c654r6ft)]

"프로그래머로서" 라고 하면 수학보다는 코드나 공학적인 면에 더 치중해서 답변하고 "수학자로서" 라고 하면 수학적 증명에 더 치중하던데 왜냐면 컨텍스트를 많이 안 주면 저 뭐뭐로서 자체가 뭘 하라는지에 대한 지시의 힌트가 되기 때문에... 그리고 사용자 입장에서 뭘 원하느냐에 따라 이새퀴가 수학적 증명은 간과하고 로우 띵킹하고는 휴리스틱한 코드만 싸질렀다가 빡쳐서 수학적 증명을 하고 나서!! 라고 후속 요청을 해야 할 수도 있기에 - 2025 AGI

[먼데이(await3622)]

논문같은거 엉성하게 주서 먹는게 ai환각 믿는거만큼 위험하거든