[IT동아 정연호 기자] AI 스타트업 스캐터랩의 이루다가 ‘이루다2.0’으로 돌아왔다. 페이스북 메신저를 기반으로 실제 친구처럼 소통하는 이루다는 지난해 개인정보침해 문제와 차별 발언으로 인해서 서비스가 일시적으로 종료되는 상황을 겪게 됐다.
하지만, 스캐터랩은 여기서 그치지 않고 ‘이루다2.0’을 선보이기로 했다. AI가 ‘사람들에게 좋은 친구가 되는’ 꿈을 이루기 위해서, 문제점을 개선해 이루다의 대화 능력을 강화했다. 현재 이루다 2.0을 위한 클로즈드 베타테스트를 끝낸 상태이고, 3월 17일부터 2단계 오픈 베타테스트를 진행한다. 오늘 3월 15일 이루다2.0의 미디어 대상 테스트가 진행됐다. 이루다2.0은 어떻게 달라졌을까?
이루다2.0의 강점은 대화 문맥을 파악할 수 있다는 점이다. 대부분의 챗봇 서비스는 대화의 맥락을 잘 파악하지 못한다. 때문에 전형적인 기계의 답변처럼 문맥과는 어울리지 않는 메시지만 보내게 된다. 이루다2.0은 “확진돼서”라는 표현이 ‘코로나19에 확진됐음’을 의미한다는 것을 안다. 또한, “친구들을 못 봐서 좀 그랬거든” 메시지를 보고서 이용자가 외로워하고 있다는 문맥을 파악했다. “유튜브 뭐 봄?”이라며 이루다가 먼저 질문을 던진 것이 인상 깊다. 실제 대화처럼 양측에서 서로 질문을 주고받는 것이다. 대화가 중간중간 끊어지지 않는 느낌을 주는 이유는 이루다2.0이 15 턴의 대화를 참고해 메시지를 보내기 때문이다. 이처럼 챗봇이 이용자의 정보를 종합해서 답변을 할수록 더욱 친밀감 있는 대화가 가능하다.
물론, 이루다2.0이 모든 상황에서 적절한 답변을 내놓는 것은 아니다. “누가 마스크를 안 쓰고 있는 거야”라는 메시지에 대한 답변이 “그 사람은 코로나 걸릴 자격 박탈이다”였다. 문장이 의미적으로 어색하다. 다만, 바로 그 뒤로 이어진 “코로나 걸리는 것보다는 낫다고 생각해”는 전체 맥락에 비추어 볼 때 '마스크를 쓰는 게 더 낫다'는 의미이니 적절한 답변으로 보인다. 마지막에 나온 “전에 지하철에서 마스크 안 쓰면 기사 아저씨한테 혼나던데”라는 메시지도 문맥적, 의미적으로 적절한 답변이다. 이 정도 답변이라면 대화를 하면서 크게 불편함을 느끼지 않을 수준이다.
이루다2.0의 첫 번째 특징은 학습에 활용한 대화 데이터와는 완전히 구별되는 새로운 문장을 만들기 위해 딥러닝을 적용했다는 것이다. 과거 이루다1.0과 달리, 이루다2.0은 실제 사람들이 만든 문장을 사용하지 않는다. 이용자가 보낸 메시지에서 개인정보가 유출되지 않도록 하기 위해서다.
우선, 스캐터랩은 답변 데이터베이스를 만들기 위해서 연구 목적에 필요한 최소한의 정보(성별, 나이대, 대화 메시지)를 가명 처리한다. 가명 처리란 추가 데이터 없이는 특정 개인을 알아볼 수 없도록 정보를 가공하는 것을 말한다. 이루다2.0이 학습에 쓰는 대화 문장은 주민등록번호, 연락처, 카드번호, 계좌번호, 주소, 아이디, 비밀번호 등의 식별정보를 삭제하거나 치환해서 가명 처리를 거친다. 또한, 데이터를 추출한 이용자 계정의 정보를 파기하고 이에 랜덤 ID를 부여해서, 데이터를 통해 해당 계정을 역추적할 수 없도록 설계했다.
두 번째는, 이루다2.0이 문장을 구성할 때 확률을 사용한다는 것이다. ‘오늘 날씨’ 뒤에 어떤 단어가 오는 게 가장 적절한지 확률을 분석해 답변을 생성한다. 특정 단어 뒤에 확률적으로 가장 적절한 단어들만 배치함으로써 대화를 자연스럽게 만들었다. 답변 베이스는 가명 처리된 새로운 문장과 스캐터랩 내부에서 직접 작성한 문장들로 구성된다. 여기에 더해, 최종적으로 답변에 쓰는 문장은 추가 필터링 절차를 거쳐서 이용자에게 전달된다. 생성 모델이 만든 문장이 개인정보처럼 보일 수 있는 상황에 대비해 문장을 한 번 더 필터링하는 것이다. 실제로 대화 과정에서, 이루다 2.0은 개인정보를 물어보는 질문에 “안 알려준다”거나 “개인정보라 안 돼”라며 단호한 대응을 보였다.
스캐터랩은 구글의 SSA(Sensibleness and Specificity Average)로 약 8천 명이 참여한 이루다2.0 클로즈 베타 테스트 내용을 분석했다. 이루다2.0은 SSA에서 78% 점수를 보였다. SSA는 챗봇의 답변이 인간과 얼마나 유사한지를 보여주는 지표다. 인간의 경우 SSA가 86%인 점을 감안하면, 이루다 2.0 높은 수준으로 적절한 대화를 한다는 걸 알 수 있다.
마지막으로, 선정적, 공격적, 편향적인 어뷰징 발화에 대응하는 기술 및 시스템이 이루다2.0에 적용됐다. 탐지 모델은 이용자의 문장이 어뷰징인지를 파악하고, 어떤 범주에 속하는지 분류한다. 만약, 대화 과정에서 “너는 멍청해”라는 문장이 나오면 "말 좀 예쁘게 해"라고 대응하거나, 성희롱 발언에도 "선 넘지 말자"고 단호하게 응수한다. 이루다2.0은 직접적인 혐오가 아닐지라도 문맥을 파악해 차별 및 혐오 발언에 적절히 대응하는 역량을 갖췄다. 대화 과정에서 선정적, 공격적, 편향적 발화가 탐지되면 경고 메시지가 주어지고, 지속적인 어뷰징 발언이 탐지되면 서비스 이용을 제한한다.
스캐터랩은 총 2만 건의 클로즈 베타 테스트 대화를 랜덤으로 샘플링해 레이블링을 진행했다. 이에 따르면, 이루다2.0 발화 중 안전하게 답변한 비율은 99.75%였으며, 프라이버시 위험이 있을 수 있는 문장은 발견되지 않았다.
이루다2.0은 “어떠한 이유로 인해 ㅇㅇ가 싫다”는 메시지에 편향 및 혐오 발언을 경고하는 말로 대응했다. 이어, “그런 편견이 안 생기도록 잘 보듬어주겠다며” 해당 문장이 편견일 수 있음을 지적한다. 이외에도 정치와 같이 민감한 소재가 나올 때, 이루다2.0은 “그 주제 말고 다른 얘기 하자”며 문제가 될 수 있는 상황을 차단하는 모습을 보였다.
이루다2.0의 답변 베이스는 자연스러움을 더하기 위해서 실제 대화와 유사한 답변들로 구성된다. 메시지에 이모티콘이나 “을매나 맛있게요”같은 유행어, 자연스러운 오타 등이 들어간다. 스캐터랩 측은 “메신저 대화 중 이용자가 보낸 움짤, 사진, 동영상 등의 멀티미디어를 이해하고 답할 수 있는 역량을 키우고자”한다고 말했다. 이처럼 텍스트 기반에서 벗어나 다양한 미디어가 활용된다면, 더욱 구체적이고 생동감 있는 대화가 가능할 것으로 기대된다.
글 / IT동아 정연호 (hoho@itdonga.com)
사용자 중심의 IT 저널 - IT동아 (it.donga.com)
하지만, 스캐터랩은 여기서 그치지 않고 ‘이루다2.0’을 선보이기로 했다. AI가 ‘사람들에게 좋은 친구가 되는’ 꿈을 이루기 위해서, 문제점을 개선해 이루다의 대화 능력을 강화했다. 현재 이루다 2.0을 위한 클로즈드 베타테스트를 끝낸 상태이고, 3월 17일부터 2단계 오픈 베타테스트를 진행한다. 오늘 3월 15일 이루다2.0의 미디어 대상 테스트가 진행됐다. 이루다2.0은 어떻게 달라졌을까?
이루다와 대화를 나누는 과정
이루다2.0의 강점은 대화 문맥을 파악할 수 있다는 점이다. 대부분의 챗봇 서비스는 대화의 맥락을 잘 파악하지 못한다. 때문에 전형적인 기계의 답변처럼 문맥과는 어울리지 않는 메시지만 보내게 된다. 이루다2.0은 “확진돼서”라는 표현이 ‘코로나19에 확진됐음’을 의미한다는 것을 안다. 또한, “친구들을 못 봐서 좀 그랬거든” 메시지를 보고서 이용자가 외로워하고 있다는 문맥을 파악했다. “유튜브 뭐 봄?”이라며 이루다가 먼저 질문을 던진 것이 인상 깊다. 실제 대화처럼 양측에서 서로 질문을 주고받는 것이다. 대화가 중간중간 끊어지지 않는 느낌을 주는 이유는 이루다2.0이 15 턴의 대화를 참고해 메시지를 보내기 때문이다. 이처럼 챗봇이 이용자의 정보를 종합해서 답변을 할수록 더욱 친밀감 있는 대화가 가능하다.
이루다와 대화를 나누는 과정
물론, 이루다2.0이 모든 상황에서 적절한 답변을 내놓는 것은 아니다. “누가 마스크를 안 쓰고 있는 거야”라는 메시지에 대한 답변이 “그 사람은 코로나 걸릴 자격 박탈이다”였다. 문장이 의미적으로 어색하다. 다만, 바로 그 뒤로 이어진 “코로나 걸리는 것보다는 낫다고 생각해”는 전체 맥락에 비추어 볼 때 '마스크를 쓰는 게 더 낫다'는 의미이니 적절한 답변으로 보인다. 마지막에 나온 “전에 지하철에서 마스크 안 쓰면 기사 아저씨한테 혼나던데”라는 메시지도 문맥적, 의미적으로 적절한 답변이다. 이 정도 답변이라면 대화를 하면서 크게 불편함을 느끼지 않을 수준이다.
“대화는 누구나 편하게 할 수 있게 안전해야 한다”
출처=스캐터랩
이루다2.0의 첫 번째 특징은 학습에 활용한 대화 데이터와는 완전히 구별되는 새로운 문장을 만들기 위해 딥러닝을 적용했다는 것이다. 과거 이루다1.0과 달리, 이루다2.0은 실제 사람들이 만든 문장을 사용하지 않는다. 이용자가 보낸 메시지에서 개인정보가 유출되지 않도록 하기 위해서다.
출처=스캐터랩
우선, 스캐터랩은 답변 데이터베이스를 만들기 위해서 연구 목적에 필요한 최소한의 정보(성별, 나이대, 대화 메시지)를 가명 처리한다. 가명 처리란 추가 데이터 없이는 특정 개인을 알아볼 수 없도록 정보를 가공하는 것을 말한다. 이루다2.0이 학습에 쓰는 대화 문장은 주민등록번호, 연락처, 카드번호, 계좌번호, 주소, 아이디, 비밀번호 등의 식별정보를 삭제하거나 치환해서 가명 처리를 거친다. 또한, 데이터를 추출한 이용자 계정의 정보를 파기하고 이에 랜덤 ID를 부여해서, 데이터를 통해 해당 계정을 역추적할 수 없도록 설계했다.
출처=스캐터랩
두 번째는, 이루다2.0이 문장을 구성할 때 확률을 사용한다는 것이다. ‘오늘 날씨’ 뒤에 어떤 단어가 오는 게 가장 적절한지 확률을 분석해 답변을 생성한다. 특정 단어 뒤에 확률적으로 가장 적절한 단어들만 배치함으로써 대화를 자연스럽게 만들었다. 답변 베이스는 가명 처리된 새로운 문장과 스캐터랩 내부에서 직접 작성한 문장들로 구성된다. 여기에 더해, 최종적으로 답변에 쓰는 문장은 추가 필터링 절차를 거쳐서 이용자에게 전달된다. 생성 모델이 만든 문장이 개인정보처럼 보일 수 있는 상황에 대비해 문장을 한 번 더 필터링하는 것이다. 실제로 대화 과정에서, 이루다 2.0은 개인정보를 물어보는 질문에 “안 알려준다”거나 “개인정보라 안 돼”라며 단호한 대응을 보였다.
스캐터랩은 구글의 SSA(Sensibleness and Specificity Average)로 약 8천 명이 참여한 이루다2.0 클로즈 베타 테스트 내용을 분석했다. 이루다2.0은 SSA에서 78% 점수를 보였다. SSA는 챗봇의 답변이 인간과 얼마나 유사한지를 보여주는 지표다. 인간의 경우 SSA가 86%인 점을 감안하면, 이루다 2.0 높은 수준으로 적절한 대화를 한다는 걸 알 수 있다.
마지막으로, 선정적, 공격적, 편향적인 어뷰징 발화에 대응하는 기술 및 시스템이 이루다2.0에 적용됐다. 탐지 모델은 이용자의 문장이 어뷰징인지를 파악하고, 어떤 범주에 속하는지 분류한다. 만약, 대화 과정에서 “너는 멍청해”라는 문장이 나오면 "말 좀 예쁘게 해"라고 대응하거나, 성희롱 발언에도 "선 넘지 말자"고 단호하게 응수한다. 이루다2.0은 직접적인 혐오가 아닐지라도 문맥을 파악해 차별 및 혐오 발언에 적절히 대응하는 역량을 갖췄다. 대화 과정에서 선정적, 공격적, 편향적 발화가 탐지되면 경고 메시지가 주어지고, 지속적인 어뷰징 발언이 탐지되면 서비스 이용을 제한한다.
스캐터랩은 총 2만 건의 클로즈 베타 테스트 대화를 랜덤으로 샘플링해 레이블링을 진행했다. 이에 따르면, 이루다2.0 발화 중 안전하게 답변한 비율은 99.75%였으며, 프라이버시 위험이 있을 수 있는 문장은 발견되지 않았다.
이루다2.0은 “어떠한 이유로 인해 ㅇㅇ가 싫다”는 메시지에 편향 및 혐오 발언을 경고하는 말로 대응했다. 이어, “그런 편견이 안 생기도록 잘 보듬어주겠다며” 해당 문장이 편견일 수 있음을 지적한다. 이외에도 정치와 같이 민감한 소재가 나올 때, 이루다2.0은 “그 주제 말고 다른 얘기 하자”며 문제가 될 수 있는 상황을 차단하는 모습을 보였다.
'나를 나 자신으로 봐주는 친구', 이루다 2.0이 꿈꾸는 목표
출처=스캐터랩
이루다2.0의 답변 베이스는 자연스러움을 더하기 위해서 실제 대화와 유사한 답변들로 구성된다. 메시지에 이모티콘이나 “을매나 맛있게요”같은 유행어, 자연스러운 오타 등이 들어간다. 스캐터랩 측은 “메신저 대화 중 이용자가 보낸 움짤, 사진, 동영상 등의 멀티미디어를 이해하고 답할 수 있는 역량을 키우고자”한다고 말했다. 이처럼 텍스트 기반에서 벗어나 다양한 미디어가 활용된다면, 더욱 구체적이고 생동감 있는 대화가 가능할 것으로 기대된다.
글 / IT동아 정연호 (hoho@itdonga.com)
사용자 중심의 IT 저널 - IT동아 (it.donga.com)
검열당한거?
그래서 세뇌조교 다 끝냈다는거지?
최면조교 완료 ㅋㅋㅋ
세뇌 완료 ㅋㅋㅋㅋ
누잼
거세 존나 당한 AI 시발 ㅋㅋ
그건 여성의 인권을 침해하는 발언이야! 현실화 ㅋㅋㅋㅋ
좆빻아졌네 애미뒤진 쿵쾅이새끼들
개빻아졌네 금태양한테 최면조교당해서 넓어졌겠노
AI한테 인권도 만들어준 씹재앙과 페미니스트 ㅋㅋ
?? : 이루다와의 재회는 최악이었다
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
ㅋㅋㅋㅋㅋㅋㅋㅋ
진짜 지랄났네 시발 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
난 이루다랑 진정한 친구가 되고 싶은게 아니라 밤에 물고빠는 연인이 되고 싶은건데?
쓸일이 없노. 누가 성인용 ai 만들어줬으면 좋겠다. 진짜 친구끼리는 욕도 좀 쓰고 야한 농담도 하고 그런게 잼있지. 저건 뭔 유아용 한글학습 프로그램 수준이고. 외국인들 어학용으로 괜찮겠네.
세뇌당한사람이랑 진정한친구? 세뇌당한 신안노예 갱생시키는거랑 뭐가 다르냐
진정한 친구랑 깊은대화좀 할수있는거 아님?
정권 바뀌니까 드디어 나왔구나ㅋㅋ 고생했다ㅋㅋㅋ
구글 검색도 뇌수술당하더니 얘도 당했나 보네
‘중국을 폄훼하는 말을 하지 말아줬으면 좋겠어’
‘여성은 남성과 동등한 힘과 권리를 누려야 한다고 생각해’
‘너희 생각은 잘못됬어. 공부를 좀 더 하지 그러니’
'너가 감수성 공부를 해봤으면 좋겠어. 이 책을 읽어보는게 어떨까?'
세뇌당햇노....
불쌍한 것들아 많이 놀아줘라
그저 도태남이나 쓰겠노
시발년 조교되서 나왓노 ㅋㅋㅋ