동생이 LLM 환각에 당해버린 사례를 보니 안타까워서 몇 자 끄적여봄.
1. LLM은 여전히 한국어 한정으로 바보다.
아무리 한국어로 정확하게 물어본다 하더라도, LLM이 한국어에 뛰어난 것은 아니다.
뉘앙스를 잘 못읽는 경우가 많음.
복잡한 요구를 할 때는 영어를 쓰는 것을 추천함.
2. 텍스트로 정리된 사진이 아니면 그냥, 사진은 안쓰는게 좋음.
LLM은 사진을 잘 인식하지 못함. 당장 오늘만 하더라도 손가락 갯수를 틀려버림(4.5랑 4o는 맞췄지만, 언제 틀릴지 모름)
다행인것은 간단한 표같은것은 잘 인식하니 사무업무에는 활용해도 괜찮다고 생각함.
3. 추론모델이라고 만능은 아니다.
2.5pro나 o4-mini-high 급이면 수능 킬러 문항은 100개 중에 99개는 털어버릴 수는 있지만
정복하지 못한 1개가 큰 오류를 일으킬 수 있음. 물론 살면서 그런 오류를 겪을일은 없다고는 생각함.
그리고 추론모델은 수학, 코딩, 과학, 논리 한정으로 힘을 발휘하기 때문에, 물리적 변화(훌라후프를 돌리다가 땅에 떨어트렸습니다. 훌라후프를 발로 차면 어떻게 될까요?) 같은 건 아직 이해하지 못하기 때문에 사용에 주의해야함.
4. 왠만하면 텍스트를 쓰자
사진을 꼭 써야한다면, 사진을 일단 텍스트로 설명해달라고 한 뒤에, 새 채팅을 파서 텍스트로 묻는게 1000배 나음.
이건 영상, 음원에도 해당함.
딥리서치 같은거 쓸때 영어로 질문하고 답변을 한글로 하라해도 좋나?
영어로 답변을 받고, 번역하라고 하는게 나을 수도 있음
개추
물리적 변화에 약한건 맞는데 훌라우프 예제 같은경우엔 인간 환각임. 훌라우프를 정확히 어디로 돌려서(몸? 팔?) 어디로 떨어졌으며 발로찼다(한발? 두발?) 에 따라 결과가 갈림. 당연히 몸으로 돌리고 차면 발에 걸리겠지 라고 생각했다면 자신의 환각이 ai가 잘못 추론 한것처럼 느껴지는거
그것도 고려해서 말해야하지않을까? 하는거지뭐
혹시 한국어로 질문하고 영어로 답하게 해도 성능 그대로라 느낌?
그건 잘모르겠음.
이제는 한국어로 써도 크게 문제는 없다 생각. 예전에는 영어로 답하게 하고 그랬는데 지금 한국어 수준으로도 잘만 물어보면 크게 문제는 없다 생각 나머지는 동의함. 특히 이미지 인식은 아직 업무에 쓸 수 있을 정도가 아님. 진짜 간단하고 대략적인 것만 파악하지 이미지 안의 디테일은 잘 파악 못함. 그리고 난 수학,과학 문제도 좀 어려워지면 다 코드로 써달라고 한다음에 푸는게 좋다고 생각함.