[🔍후기] 챗봇들에게 ㅁㅁㅁㅁㅁ를 떠먹여보았다

[ㅇㅅㅇ(121.163)]

근로현장 출타모친 부재시 독수공방 라면조리

라면섭취 의욕상실 산해진미 섭취요구

결국모친 주저주저 은닉자금 인출 전화주문 

흑색면 일인분 극도 행복감 조성 모친 섭취거부

모친고백 "흑색면혐오" 모친고백 "흑색면혐오

아이야 계속생명유지 후회막심 안구액방류

알 사람은 알겠지만, 이 문장은 옛날 노래 "어머님께" 의 한문투 버전이다.

일명 "모친전상서" 로 알려져있다.

말이 좋아서 한문투지 사실 한.국어 어순을 그대로 중국어 스타일로 바꾼 엉터리 문체다 ㅋㅋ

당연히 중국인도 못알아볼거다 

이런 글 형식은 사람에게는 어렵지 않게 이해할 수 있는 유머글이지만, 

AI에게는 자주 접할 수 없는 데이터인지라 해석하기 곤란할 것으로 예상할 수 있다.

이걸 챗봇들에게 떠먹여보고 무슨 반응을 보이는지 알아보고자 한다.

물론 검색기능은 사용하지 않았다.

먼저 딥시크부터 보자.

글을 보자마자 이 글이 한.국어 텍스트라는 것을 바로 알아차렸다!

솔직히 이 부분은 기대 안했었는데 의외였음

형식은 전혀 한.국어처럼 생기지 않았지만 어휘의 표현 등을 보고 한.국어임을 알아낸거임.

현대 한.국어, 즉 데이터로 존재하는 절대다수의 한국어는 한자가 아닌 한글로만 쓰여있는데, 그마저도 이 글은 문법마저 완전히 파괴시켜놨음.

사용된 문자가 한자라는 점, 그리고 어순이 일본어와 닮았다는 점을 보아 일본어라고 착각할 수도 있었을텐데,

그럼에도 이 글이 한.국어라는걸 알아냈다는건 정말 놀라운 성과라고 생각함

게다가 현재 거의 사용되지 않아 수집 가능한 데이터가 극히 제한된 문자체계만으로 이 글의 전반적인 줄거리를 거의 완벽하게 해석해냈음.

심지어 안구액ㅋㅋ같은 얼토당토않은 말마저 "눈물" 이라고 제대로 알아냈음

한자들 중 상당수는 중화권과 일본에서는 사용되지 않고 고대 한문이나 한국어에만 사용되는 글자도 많았을거임.

옛날의 단순 신경망 번역기로는 아예 단순 직역조차 불가능했을텐데, 위의 악조건들에서도 번역과 해석작업을 훌륭히 해냈음.

혹시나 해서 중국어로도 물어봤다.

역시나 한.국어라고 확인사살해준다.

한.국어가 아닐지 모른다고 수차례 함정을 파보았지만 걸려들지도 않았음. 대단해

하지만 아쉽게도 양쪽 모두 야이야~(夜而夜~) 와 같은 단순 추임새와 i love you (我而裸婦柔) 와 같은 영어 음차 부분은 제대로 해석하지 못했음.

사람이라면(특히 한.국인이라면) 어렵지 않게 제대로 해석했을거임

그리고 해석에서 내용상으로 틀린 부분이 있는데, "어머니는 짜장면이 싫다고 하셨어" 이 구절에서,

'어머니 본인은 짜장면이 싫다는 거짓말로 짜장면을 나에게 양보하는' 감동적인 장면을 '짜장면을 좋아하는 나와 짜장면을 싫어하는 어머니의 대립구도'로 착각했음.

하지만 AI에게 던져준 문장이 달랑 "모친고백 흑색면혐오"ㅋㅋㅋ뿐인걸 감안하면 충분히 이해할만한 부분임.

워낙에 앞뒤 맥락이 모호했고, 어휘 선택도 썩 적절했다고 보기는 힘들고, 그러니 사람이라도 원곡을 모른다면 틀렸을 가능성이 있었을거임.

다음은 잼민이를 보자

잼민이도 전반적으로 나쁘지 않지만, 딥시크와 비교하면 내용 이해 측면에서 심각한 오류를 저지르고 있음

원문에선 어머니는 과로로 인해 돌아가셨는데, 잼민이는 정반대로 어머니와 함께 희망을 잃지 않고 살아간다고 해석해버렸음.

문제가 되는 마지막 부분을 살펴보면,

자정도달 귀가조치 / 기절직전 녹다운 모친  (자정이 다되서야 돌아갔어 피곤하셨는지 어머님은)

초고속 숙면상태 돌입 / 과로사 절대 불 기상 (어느새 깊이 잠이들어버리시고는 깨지않으셨어 다시는)

아이러브유 과거형 / 고백경험 전무후무 (난 당신을 사랑했어요 한번도 말을 못했지만)

러브유 절대안정 요망 / 본인 부재 세상 영원무궁 (사랑해요 이젠 편히쉬어요 내가없는 세상에서 영원토록)

원곡을 모른다고 해도 과로사라는 힌트를 보면 아무리 봐도 어머니가 돌아가시는 슬픈 장면으로밖에 해석이 안되는데,

실수할만한 여지라고 한다면 역시 영어 음차부분이 아닐까 싶음

이 글에서는 녹다운을 鹿多運 으로 표기했는데, 직역하면 사슴이 운이 많다는 긍정적인 뜻이고, 이 부분에서 ai가 혼동을 일으킨 것 같음.

딥시크는 앞뒤 맥락을 살펴 녹다운이 정확히 무엇인지는 몰라도 아무튼 부정적인 의미일 것이라고 제대로 판단했지만, 잼민이는 그냥 직역하는바람에 틀려버린거임

아까도 언급했지만 이런 실수는 사람이라면 저지르기 힘들지

그리고 "러브유 절대안정 요망 본인 부재 세상 영원무궁" 을 "조용히 혼자 있고 싶습니다. 이 세상에서 영원히 사라지고 싶습니다" 라는 무시무시한 말로 바꿔버렸음.

물론 문법이 워낙 엉망이라 헷갈릴만한 여지는 있지만, 어떻게 조용히 저세상가고싶다는 넋두리가 어머니와 함께 희망을 그리는 내용이라는 추론이 가능한건지 ㅋㅋ

확실히 모순적임

그래도 딥시크보다 나은 점이 있는데, 딥시크도 이 글이 한.국어인가 아닌가 확신까지는 못하지만 잼민이는 좀더 확실하게 한.국어라고 보는 편임.

특히나 문법이 한.국어와 매우 비슷함을 꿰뚫어본 부분은 딥시크보다 나음. 

반면 딥시크는 글의 문법과 어순이 한.국어와 맞지 않는다고 판단했음.

물론 딥시크의 관점도 완전히 틀린 건 아니지만 전반적으로는 일반적인 한.국어를 그대로 변형한 것이니 나는 잼민이쪽의 관점이 더 낫다고 생각함

그러니 딥시크와 잼민이의 차이를 정리하자면, 딥시크는 질적인 이해 측면에서, 잼민이는 형식적인 분석 측면에서 각각 강하다고 볼 수 있을 것 같음.

다음은 챗지피티

챗지피티의 해석도 전반적으로 괜찮음

(전구를 켜지 않아 다른 아이들과 직접적인 비교는 힘들수도 있겠지만, 전구를 켜니 오히려 성능이 떡락해버려서 그냥 끄고 비교하는게 낫다고 판단함)

챗지피티는 결말 부분의 "본인 부재 세상 영원무궁" 을 "나는 이 세상에 없으며 앞으로도 영원히 존재하지 않는다" 라고 해석한 점에서 원곡과 차이가 있음.

어머니가 돌아가시고, 나도 어머니의 뒤를 따라가기로 하였다는 것임.

(원곡도 좋지만 개인적으로는 이 해석이 좀더 여운이 남아서 마음에 듦)

이는 잼민이도 비슷하지만, 모순적인 잼민이와는 달리 비극적인 분위기가 일관적으로 유지되기 때문에 훨씬 나은 해석임

비록 해석이 정답이 아니라고 해도 제공된 텍스트의 문법이 워낙 엉망이었던지라, 이 역시 사람이였더라도 해석을 틀렸을거임.

딥시크와 비교해보자면 잼민이는 결말을 본인이 사라지는 것으로 단언했다면, 딥시크는 조금 모호하게 얼버무렸음

그러니 딥시크가 비교적 정답에 가까웠던 셈임

하지만 추가로 물어본 결과 딥시크 또한 "본인 부재 세상 영원무궁" 에서 소멸하는 이가 본인이라고 언급했기 때문에 기본적으로는 딥시크도 오답임.

그래도 잼민이와 달리 어느정도 다면적인 해석을 시도했음

그렇다고 해도 제공 텍스트 자체가 엉터리였던 만큼 딥시크의 번역 성능이 더 뛰어나다! 라고 단언할 수는 없는 것 같음

그리고 챗지피티도 다른 아이들과 마찬가지로 야이야, 러브유 녹다운을 제대로 해석하지 못했음

전반적으로 만족스럽지만 아쉬운 부분은 이 텍스트를 한.국어가 아니라 일본어라고 생각한 점

한.국어의 특징이 많이 보인다고 하였지만 그래도 일본어에 더 가깝다고 생각이 기운 것 같음

솔직히 일본어쪽이 정답은 아닐지언정 비교적 상식적인 답변이긴 하지

누가 한자로만 빼곡히 들어찬 글을 한.국어라고 생각하겠어?

일본한자가 아니라는 사소한 문제는 둘째치고

가장 흥미로운 부분은 텍스트의 형태가 조사助詞가 없는, 중국어와 유사한 구조임에도,

세 챗봇 모두 문법과 어휘를 통해 이를 중국어가 아닌 한.국어나 일본어라고 인식한 점임

만약 배경지식이 없는 사람에게 물었다면 (특히 상대적으로 한자 지식이 부족한 한.국인이라면) 거의 대부분 이 텍스트를 중국어라고 답했을거임

그록에게도 물어봤지만 제한이 심해서 많이 물어보지 못했음

답변 내용은 챗지피티와 거의 같음

그래서 제 점수는요..

딥시크 ≥ 챗지피티 > 잼민이

잼민이는 맥락이해 능력이 조금 떨어지는 것 같음

비록 단편적인 결과만으로 성급하게 결론을 내리는 감이 있기는 하지만..

그래도 셋 모두 내 예상보다 훨씬 뛰어난 퀄리티의 해석을 해주었음

텍스트의 형식이 비정상적인데다 불완전하기까지 하다는 점을 고려하면 일단 번역이 가능하다는것 자체가 부터가 놀라운 일이라고 생각함

마무리로 각각의 녹다운의 해석을 보자

딥시크

이상하지만 그나마 나음

정확히 무슨 의미인지는 알아내는데 실패했지만, 문맥을 통해 글의 의도를 잘 파악했음

다음 잼민이

완전히 틀렸음

글의 분위기조차 파악을 못했음

다음은 챗지피티

챗지피티는 원 텍스트를 한.국어가 아닌 일본어라고 여겼기 때문에, 그나마 한.국어의 체계 안에서 해석을 시도하기라도 한 잼민이보다도 내용이 산으로 가버림

그럼에도 정작 전반적인 글의 흐름 파악은 잼민이쪽이 더 못하다는 점은 흥미로운 부분

모로 가도 서울만 가면 된다

다음은 챗지피티 (전구 on)

鹿이랑 寧을 혼동해서 헛소리를 함

초현실적이고 상징적인 표현이 많다는데 사실 그런거 없었지..

그런데 맥락 파악은 전구 끈것보다 더 나음 ㅋㅋ

종합해보면, 전반적으로 딥시크가 가장 나은 성능을 보여줬음

근데 왜 한.국이 금지어임? 글쓰기 너무 불편한데

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=676027

아까 글 보충자료

부족했던 자료를 첨부하였읍니다

[EXERCENS(exercens02)]

그런데 딥시크만 추론모델인 r1으로 돌린 거 같네.

[EXERCENS(exercens02)]

제미나이는 개쓰레기나 다름없는 flash, chatgpt는 4o 모델로 리즌 버튼 활성화도 안 하고 이런 비교를 하는 이유가 뭐지? 딥시크 r1 활성화해둔 거 보면 추론 버튼의 기능을 모르는 거 같진 않은데? 국적이 의심이 되는 리뷰네.

[EXERCENS(exercens02)]

스샷 내 ui가 한국어가 아닌 중국어로 돼 있는 것도 참 희한하구만

[ㅇㅅㅇ(121.163)]

챗지피티는 버튼 누르는게 결과가 더 안좋게 나오길래 끈것만 업로드 했음. 그래도 이 글 맨 마지막 부분은 더 잘 나오길래 별도로 첨부한거 제미니는 딥리서치 누르면 검색으로 풀어버리니까 조사를 하는 의미가 없다고 생각했어. 난 자체 추론으로 번역이 어떻게 나오는지 보고싶었던거. 별개로 제미니 딥리서치 기능도 써봤는데 굉장하다고 생각함. ui가 중국어인 이유는, 중국 사이트 들어가면 가끔 폰트 곱창나길래 중국어 우선순위를 높여서 그래. 이러면 조금 나은 것 같아서. 대신 온갖 서비스가 중국어로만 나옴 ㅋㅋㅋ 아 근데 무료모델끼리도 체급이 다른건지는 몰랐네.. 다음부터는 조사할때 주의해야겠음

[EXERCENS(exercens02)]

너무 공격적으로 말해서 나도 미안; 그래도 열심히 글 썻는데 고생 많앗어...

[EXERCENS(exercens02)]

제미나이는 2.0 flash thinking이라는 애가 추론모델임 참고로

[ㅇㅅㅇ(121.163)]

알려주셔서 감사함니당 제미니 그거 나도 이제봄 ㅋㅋㅋㅋ 어쩐지 버튼 없더라

[점심밥(yield0917)]

[익명(course2187)]

[익명(sail9801)]

모델 비교를 좀 제대로 했으면... 왜곡이 심하면 정성글도 선동이 될 뿐임 - dc App