from bs4 import BeautifulSoup
import requests
r = requests.get("https://www.indeed.com/jobs?q=python&limit=50")
soup = BeautifulSoup(r.content,"html.parser")
table = soup.find_all("a")
이렇게 하고 포문 돌리면 저 사이트에 있는 대부분 정보는
이쁘게 잘 나오던데
학과 공지사항 게시판 같은걸로 하려니까 왜 아무것도 안뜨죠? ㅠ
저 사이트는 <a> </a> 에 들어있어서 a 로 찾으니까 잘 나오던데
학교 사이트 공지사항 게시판도 마찬가지로 a 태그 안에 있는데 안나오네요..
이런거는 왜 안되는거죠?
동적웹이거나 유저에이전트가 봇이면 막는사이트있어
아.. 그렇군요.. 그러면 어떻게 해야 하죠? 방법이 없는건가요 ?
header에 user agent 바꿔봐 - dc App