코딩 진자 모르는데 요즘 내가 하는 일 자동화 해보고 싶어서..
2만개쯤 아이템 있는데 수작업 분류임
왜냐면 관리 업장마다 다 제품명 조금씩 다르게 적어두거나 등록해서 오염된 데이터라고 해야하나
개노가다로
if
세탁기, 세탁기기, 세탁_기기, 세 탁 기
식으로 분류해서
위생제품 카테고리 넣는
조건문 대행진 하는 식은 좀 이상할듯?
이럴때 혹시 챗지피티 API 그런거 쓰면 혹시 쉽게 좀 비규격 잔뜩인 데이터들도 자동 정렬 해주거나 가능한가?
참고로 오류 섞여 있음 좆됌 ㅠㅠ
그래서 수작업 분류 해왔떤것
라고 한번 지피티한테 물어보는건 어때
어제 물어봄 o1의 경우도 개소리함. 노코드 도구 사용 하고 데이터 정제를 하라고 하더라. 보면 무조건 수작업 보다 느릴각임 게다가 데이터 정제 방법으로 제안하는게 결국 오타수정,표준화, 중복제거라는데 이걸 수작업으로 수정 하라고 하면 그냥 수작업으로 분류 해버리고 말음
ㅠㅠㅠo1아직멀었노
오타수정 표준화 중복제거.. 엑셀로 몰아서 하는법 내놓으라고 지피티한테 또 물어봐 ㄱㄱ - dc App
퍼지매칭하거나 파이썬으로 시도해봐 파이썬에도 머신 러닝 모델 만들어서 너가 시간 좀만 투자하면 자동 분류 가능할거야
오 퍼지매칭 - dc App
오류 섞여 있음 좆됨 <--- 이거때문에 좀 빡세다
상당히 높은 정확도로 1차 매칭하고 사람이 다시 한번 확인하는 느낌으로 하면 잘되긴할듯 완전 자동화는 아니지만
GPT API로도 충분히 된다
요즘 GPT API 주된 활용도 중 하나가 비정형 텍스트 데이터에서 정형 데이터를 추출하는 용도로도 많이 쓰임. 최근에 의뢰받아서 여러개 작업도 했고
ㅆㄱㄴ
gpt api 쓰면 빠르지 오류율도 사람이랑 비슷할 것 같고
나도 모든 작업에 자동화 갖다박는 효율충인데 니말대로 데이터 기준이 안잡혀있으면 불가능함 무조건 오류생김 데이터 기준을 만드는게 우선인데 불가능하다면 뭐 이름 말고 특정할 수 있는 데이터가 있는지 체크해보고 있다면 몇 번에 나눠 분류하고 이상한 애들만 잡아서 직접 검수해야지
엄청난 정확도를 바라면 AI를 쓰면 안됨.
나이브한 작업에는 굉장한 효율을 보여주는데 오류 1~2개만 나도 ㅈ되는 작업은 그냥 수작업하는게 맞음
걍 본인 데이터 싹 모아다가 성공할때까지 시뮬레이팅 해보는수밖에 없음.
질문을 정확하게 하고, 요구사항을 빠짐없이 하고, 직접 방법을 찾고 코드를 작성하라고 하면 됨
그런데 저건 걍 언어모델 쓰면 쉬울 거 같은데
ㅇㅇ 언어모델 API로 오타수정을 맡겨버리고, 검증해보면 될 것 같은데 오타수정, 즉 전처리도 언어모델이 하면 되는데 그걸 o1도 말해준 것 같은데 질문자가 잘 모르니까 디테일하게 추가질문 못 들어가서 진행 못 한 느낌
보니까 IT라던가 이런거에 대해 좀 문외한인거 같은데. 어떤 툴을 응용하면 좋을지 이거 부터 정립하고 가야될거같음
먼저 제품별 카테고리 설정해서 divide 를 하셔야될거 같은데요. 한번에 일처리 하는게 아니라.