살다보면 시간을 들여서 데이터를 정리해야하는 순간이 온다.
자동화를 하자니 그게 더 시간이 걸리고, 자동화를 포기하자니 답답하기만 하다.
교촌치킨 서울시청점의 메뉴를 엑셀로 정리해야한다고 가정하자.
보통일이 아니다.
일단 복사해서 notepad에 붙여넣어보았다.
위 그림을 보면 줄바꿈을 기준으로 데이터가 잘 정리된 것을 볼 수 있다.
섬네일-메뉴이름-설명-가격 순으로 데이터가 나열되어있다.
하지만 자세히보면 1번째, 50번째 줄같이 메뉴이름의 상위항목까지 같이 적혀있는것을 알 수 있다.
상위항목을 지워준다.
이제 gpt에게 명령을 해야하는데, 이렇게 말하면 알아듣는다.
프롬프트 : {
데이터를 정리합니다. '섬네일'이 데이터의 시작입니다. 다음 '섬네일'이 나올때까지가 한 데이터입니다.
각 줄의 데이터를 확인하고 정리해서 엑셀로 저정합니다.
}
그러면 이렇게 된다.
엑셀파일은 이렇게 생겼다.
귀찮은건 GPT에게 맡기자.
스크래핑까지 맡길 수 있으면 완벽한데
뭐 이런것도 원래 beautifulsoup이런걸로 깔끔하게 긁어올 수 있는데 그런거 몰라도 어느 정도의 작업물을 보장해준다는게 매력적인듯. 저러다가 한계 느끼면 GPT보고 크롤링해주는 코드 짜달라고 하면 되고
아예 파이썬 코드로 사이트 크롤링해서 지금 알고리즘대로 절차 밟아도됨