[일반] llm이 쓴 글 디텍팅 가능함??

[익명(61.42)]

그림은 오히려 티가 좀 나는데

클로드3이나 gpt4가 쓴 글은 진짜 사람이 쓴 거 같은데 이게 디텍팅 가능함?

대학원 다니는 친구가 자꾸 디텍팅 가능하다그러는데

[익명(211.46)]

옛날엔 됐는데 지금은 방법 없을건데

[익명(175.206)]

2달전에 캐글에서 LLM이 쓴 에세이랑 사람이 쓴 에세이 구별하는 대회 있었음. 나도 조금 하다가 말았는데, 리더보드 들어가봤더니 98%로 맞추네.

[익명(175.206)]

https://www.kaggle.com/competitions/llm-detect-ai-generated-text/leaderboard
캐글
링크임.
사람들이 솔루션 적어놨는데, LLM 잘 몰라서 내가 쉽게 설명은 못 하겠다.
초중반에는 TFIDF 쓰는게 90%는 나왔는데. 이게 사람은 동의어에서 자신만의 선택이 있거나, 오타 등이 있어서 그걸 탐지했던 것 같은데...아무튼 전통적 방법으로도 90%는 나오긴 했었음.

[익명(175.206)]

아 물론, 주최측에서 대회에 쓰인 LLM 모델이 뭔지는 안 밝혔음. 그리고 몇달 전 대회니까, GPT4를 썼을 수도 있고, 팔콘이나 미스트랄을 썼을 수도 있긴 함. 이후에 더 발전되거나 업그레이드된 LLM 모델이라면 찾기 힘들 수 있고 이것도 결국 더 완벽한 LLM 모델이 나오면 찾기 힘들어질거임. 물론, 너무 글이 완벽해서 LLM이라고 찾을 지도 모르지. 바둑처럼. 물론 짧은 글이면 힘들거고.

[익명(61.42)]

와... 되는 거네요 그럼

[익명(ujy1shgz5hpd)]

전혀안다듬은 대답은 솔직히 티가날수있음 자주쓰는어휘나 표현있음 근데 프롬프트로 좀만 다듬어도 구분못하지

[익명(222.111)]

미국 대학 턴잇인 통해서 AI 점수 매기는데 은근 정확한 것 같던데 흠

[lIlIllIlIIlIlIllIlIl(kimfesu)]

초안받아서 인간이 자기 입맛대로 만지작거리면 모름

[익명(113.198)]

있었는데 그거 피하는 llm 나옴