1.네이버 검색 api를 이용해서 뉴스기사를 크롤링 하고자 함
2.네이버 api를 통해 결과값을 받음, 결과값은 기사 제목, 네이버 검색 링크, 기사 오리지널 링크, 등등 자료가 JSON 형태로 리턴됨을 확인
3. 파이선에서 json 인풋을 객체화 해서 url만 다 따는데 성공
4. 모든 url을 리스트에 저장후 url하나하나 열어서 기사 제목과 내용만 뽑아내서 pandas로 저장하려는데 여기서 문제가 발생함

Url 리퀘스트 시 네이버 뉴스로 들어가지는 기사와 원본 사이트로 들어가지는 기사로 나누어 지는데 원본 사이트의 가짓수가 수십개는 됨.
그래서 모든 div class 이름이나 태그 및 형식이 다 다른경우가 발생함

해결책으로 생각한 게
1. 네이버 뉴스만 검색하기
2. 모든 사이트의 가짓수를 다 따져보기
두 가지인데 2는 현실적으로 힘들다 생각이 됨

1번으로 타협해야 될거같은데 다른 방법이 있을까?
그냥 자연어 분석을 위해 소스를 모으고 싶었음


그리고 이거 하면서 방법 구상 -해보기-막힘-수정..
이런 식으로 반복이 되는데 이 시간이 생각보다 좀 걸리더라구

회사에서 실제 업무할땐 이렇게 막히는 일 생기면 최대한 빨리 구글링 하고 해결하면 되는거야?
한 프로그램에 몇만 몇십만줄 코드가 필요하다던데 몇백줄 밖에
못짜니 좀 조급해진다..