본문 바로가기
숨터 가볍게 읽는 공간
전체 베스트 최근
← programming 게시판

동적웹사이트 크롤링 질문 한번만 더 봐주셈

익명(118.221) 2020-07-30 20:13 추천 1


동적 웹사이트 긁으려고하는데 xpath로 해보래서 아래 사이트 일단 참고함


https://liveyourit.tistory.com/17



크롤링하는 사이트는 

https://www.premierleague.com/match/46975


이거임



viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73ded8ffa11d028313550f9fb3f9dac8b24082c81c85a5a466ef13ff41583b9d0e7e67e4da0f5740c2a3bd1dcf5473f6ebfee77393bb056aaa082da1a8e764a

스탯 부분에 저 숫자들 크롤링하고싶은데 안불러와짐





viewimage.php?id=3dafdf21f7d335ab67b1d1&no=24b0d769e1d32ca73ded8ffa11d028313550f9fb3f9dac8b24082c81c85a5a466ef13ff41583b9d0e7e67e4da0f51962bd699202d98116ffb265e4ad618a3e03a1d805d0311e


후... 어떻게 긁어야할까




댓글 6

  • ajax로 동작하는지 확인햐봐 ajax면 해당 url로 직접 리퀘스트 쏘면 됨 - dc App

    인크(223.62) 2020-07-30 20:20
  • 답글

    오 찾은거같음 ㅅㅅㅅㅅ 일단 한번 뽑아봄

    익명(118.221) 2020-07-30 20:32
  • 답글

    ㅅㅅ - dc App

    인크(223.62) 2020-07-30 20:33
  • 답글

    ㅋㅋㅋㅋ 긁어지긴하는데 그냥 url 긁어지는거랑 똑같네 하.... ㄳ...

    익명(118.221) 2020-07-30 20:58
  • 어떤 사이트들은 크롤링, 검색엔진 데이터수집 막을 목적으로 암호화, 난독화를 해서 어렵게해둔 경우들도 있는데 그럴 땐 셀레니움을 쓰면 쉽게 크롤링됨. 단점은 셀레니움은 리소스 엄청 먹음.

    익명(14.63) 2020-07-30 20:28
  • 답글

    후... 일단 하던거 마저 해보고 안되면 시도해봄 ㄳㄳ

    익명(118.221) 2020-07-30 20:32

다른 게시글

  • css는 요즘뜨는 프레임워크뭐잇음? [7]
    익명(101.235) | 20.07.30
    추천 0
  • 이번 주 로또 1등 되면
    익명(175.223) | 20.07.30
    추천 0
  • 아까 책 물어본 사람임
    익명(1.234) | 20.07.30
    추천 0
  • vs code에서 아이콘 깨지는 현상 [2]
    익명(121.162) | 20.07.30
    추천 0
  • 요샌 앵귤러 잘 안쓰나? [2]
    익명(61.76) | 20.07.30
    추천 0
  • 포트폴리오로 유튜브로 클론코딩 방송하기 어떠냐 [1]
    어나쥬어(118.235) | 20.07.30
    추천 0
  • 돈이 안모이는데 정상임? [1]
    익명(39.7) | 20.07.30
    추천 0
  • 구글 코드잼 1위부터 20위까지 왜 유튜브로만 코딩하는거 방송해주는거냐?
    익명(211.104) | 20.07.30
    추천 0
  • 프갤 별로 도움안됨
    익명(223.62) | 20.07.30
    추천 0
  • 철인 프로젝트가 성공적으로 되면
    익명(61.77) | 20.07.30
    추천 0
목록으로
읽기 전용 미러