인터넷 신문기사 여러개 긁어다가 기사에서 특정 정보를 뽑아야됨. 예를 들면 날짜, 위치 정보 같은거 자동으로 뽑아내서 csv에 저장하도록 ㅇㅇ
PM은 걍 크롤링 하면 안되냐 그러는데 사이트가 여러개고 구조가 불규칙해서 크롤링으론 해결 안되고 NLP나 LLM 써야할거 같음
백엔드라 인공지능 관련한 거 거의 모르는데 제일 구현하기 쉬운게 뭐같아 보임? NLP는 오픈소스 모델 갖다 써도 따로 학습을 시켜야 되는거 같던데 OpenAI API 가져다가 랭체인?으로 연동시키는게 제일 현실적인 방법임?
안된다하셈
langchain 쓰면 됨. 1. Document Reader 중 from_web 쓰고 2. load_summarize_chain 넣은 다음에 3. 이러이러한 정보 뽑아서 csv 형태로 저장해달라는 프롬프트 작성해서 4. csv_output_parser 붙이면 됩니다
오 알아보겠음 ㄱㅅㄱㅅ
자세한 랭체인 구조 빠르게 이해하려면 유데미 eden marco 꺼 강의 ㄱㄱ하세용
많이 배워갑니다 ㄱㅅㄱㅅ
GPT 있는데 그걸 왜 직접 구현하려고 함
나같으면 저작권 어쩌구 핑계대면서 그냥 안하고 버틸듯