[일반] 알고리즘은 원리가 뭐지

[익명(183.102)]

타오바오나 아마존,유튜브 등등

사람이 일일이 작업 하려면 엄청 복잡하고 섬세한 작업들 같아보이는데

참 신기하단 말이지 클릭한 사람의 쿠키 데이터를 채굴해서 누적량을 계산해서 추천해주는 건가

[익명(58.227)]

알고리즘을 짜는 봇은 개발자도 어떻게 작동하는지 모름. 개발자는 랜덤한 변인을 기준으로 랜덤한 결과를 도출하는 봇을 작성하고 이게 맘대로 돌연변이를 일으키도록 내버려둠. 수집한 사용자 행동패턴을 바탕으로 A를 많이 클릭한 사람이 B도 많이 클릭한다 같은 단순한 데이터가 최대한 쌓이면 만들어진 수십만개의 돌연변이들 중 어느 봇이 저 축적된 데이터에 가장 가까운 예측을 하는가를 살펴보고 나머지는 모두 삭제시킴. 남게 된 봇은 설령 데이터가 없다 하더라도 그럴듯한 인간스러운 추측을 할 수 있고 얘가 알고리즘을 짜게 됨. 만약 얘가 다시 모자라보이기 시작하면 처음부터 다시 시작하면 됨

[익명(183.102)]

와 백테스팅같은 것도 비슷한 원리인가

[익명(58.227)]

ㄴ 백테스팅은 좀 더 철저하게 귀납적으로 작동을 하기 떄문에 훨씬 보수적임. 유튜브 알고리즘같은 걸 보면 내 취향에 맞는것들이 주로 나오지만 가끔씩 나조차도 이런걸 좋아하는지 몰랐다 싶은 영상들도 추천해주는데, 그건 정말로 봇이 사전지식 없이 "추측"해본 거고(엄밀히 말하자면 '돌연변이를 일으킨 것'이고) 이 추측이 맞았다면 (가령 유튜브의 경우라면 그 영상을 끝까지 보거나 좋아요를 남긴 경우, 타오바오라면 정말 결제를 누른 경우 등) 그 봇을 다시 1세대로 해서 거기서 돌연변이들이 계속해서 생겨남. 틀렸으면 그대로 죽는거고. 이 '추측'의 정도를 얼마나 공격적/보수적으로 잡을지 그리고 어떤 예외를 둘지 등등을 각 회사들이 통제할 수 있을 뿐이지 사실 그걸 일일이 개발자들이 섬세하게 통제하지는 못함

[익명(183.102)]

그럼 내가 보는 인기순 정렬이나 많은 이용자들이 클릭한 거 같은 영상이나 물건들은 개발자들이 섬세하게 알고리즘을 짜서 보여지는 건 아닌건가보네

[익명(58.227)]

간혹 "이 사용자들이 이것도 많이 구매했어요/시청했어요"라고 대놓고 노출되는 것들 있는데 그건 진짜 이용자들이 많이 클릭한거 맞음. 다만 예외를 훨씬 정교하게 둘 수 있는데, 카테고리가 완전히 다르다던가 (쿠팡 알고리즘은 그런것도 안 따지더라) 논란의 여지가 있다던가 (유튭의 노딱 등) 등등 좀 더 똑똑하긴 함

[익명(183.102)]

그니까 일반적으로 메인페이지에 뜨는 데이터들 말고 디테일하게 디깅을 하다보면 알고리즘이 이정도까지 세분화해서 데이터를 구분해서 보여주나 싶을때가 있는데 (조회수 10~100정도의 마이너한 데이터들) 그런 경우가 예외적인 경우인 듯함

[조약돌소리키보드(ux7kt1sxq6nh)]

추천 시스템 + 인공지능

[조약돌소리키보드(ux7kt1sxq6nh)]

연구실 주 과제가 추천 시스템 연구하는데 솔직히 나도 모르겠음… 난 nlp쪽으로 일하고 있기도 하고

[조약돌소리키보드(ux7kt1sxq6nh)]

우선은 내가 아는 바로는 유저의 기존에 조회한 / 검색한 데이터 + 개체간의 유사도 + 비슷한 선호도를 가진 유저들의 방문과 관련해서 접근하고 있는걸로 암

[익명(183.102)]

대학원에서 배우는 것들이나 학술 데이터는 현업이랑 차이가 큰 경우가 많지 않나, 그니까 개체간의 유사도,비슷한 선호도를 어떻게 섬세하게 구분해서 띄워주느냐가 궁금한데...

[조약돌소리키보드(ux7kt1sxq6nh)]

여러가지 스코어링 기법들이 있는데 단순히 일정하게 매겨진 평균값으로 접근하는것부터 최소 선호도 제외, 최대 선호도 선별 / 각 선호도별로 랭킹 매겨 평균값 제시같은게 가장 나이브한 방식들이었음. 요즘은 그래프 뉴럴 네트워크 기반 추천 시스템도 많이 접근하는 것 같고 어쨌거나 최대한 비슷한 유저들에 대한 공통점을 바탕으로 아웃라이어를 줄이고 적은 컴퓨팅 파워를 바탕으로 정확도 높은 추천을 제시할 지가 핵심인걸로 암. 나는 학부생 따리 + 추천시스템 연구실에서 다른 연구해서 귀동냥으로만 들음 + 현재 술에 많이 취한 상태라 정확하진 않을거임

[조약돌소리키보드(ux7kt1sxq6nh)]

그리고 지금 구글같은 경우는 가장 최전선에서 연구하고 있고, 데이터를 가장 많이 가지고 있으며, 이 연구를 가장 빠르게 정의하고 있는 조직이라 아마 추천같은건 거의 연구 - 현업 괴리가 없을 듯

[익명(183.102)]

오 그렇군... 현업 개발하면서 빅데이터도 자연스럽게 공부하게 되는데 보통 학술자료랑 현업에서 쓰는거랑 괴리가 큰 경우가 많아서 이론적인 걸 공부하면서도 이걸 실전에 적용될 수준이 되려면 너무 까마득해 보임

[익명(183.102)]

이 차이를 알기 쉽게 잘 정리해서 보려면 거의다 유료 강의로 들어야하고 문뜩 궁금했음