위 사진은 이미지 태그까지의 속성 입니다 (우측)






위 사진은 스크롤을 내릴때마다 div가 변하는 것이 나타나있습니다 (스크롤을 내리다보면 div가 저렇게 바뀜)





보통 웹사이트의 경우는 스크롤을 내릴때마다 이미지 태그가 쌓이는 형식으로 구성되어 있는데


인스타그램의 경우는 스크롤을 내릴때마다 쌓이는 형식이 아니라서 


많은 이미지 긁어오는데 문제를 겪고 있습니다 ㅠㅠ


스크롤을 내릴때마다 이미지 태그 부분이 바뀌는??


그래서 지금까지 웹사이트 이미지 따올때는 스크롤 한번에 쫙 내리고 긁으면 몇백개고 됐었는데


인스타는 이게 안돼서 append 활용해서 넣어주고 있는데요


인스타 URL 연결이랑 로그인부 생략하고 핵심 코드만 올려드리자면



instaselect = [] # 이미지태그 쌓기용 빈리스트


for index in range(0, 5): #단순 반복용 for문 (테스트용)

    soup = BeautifulSoup(html, 'lxml')

    insta = soup.select('.v1Nh3.kIKUG._bz0w') #이미지 클래스 이름 select


    for loop in insta:

        instaselect.append(loop.select_one('.KL4Bh').img['src']) # 태그 쌓기


    driver.find_element_by_xpath("//body").send_keys(Keys.END) # 스크롤 내리기

    time.sleep(0.5)

    driver.find_element_by_xpath("//body").send_keys(Keys.END) # 스크롤 내리기


print("전", instaselect) # set() 함수로 중복 제거 이전

instaselect = list(set(instaselect))

print("후", instaselect) # set() 함수로 중복 제거 이후




대략 코드 구성은 이렇게 해놨는데요


중복 제거 이전 이미지태그는 반복을 많이 시키면 시킬수록 쌓이는데


문제는 중복 제거 이후는 고정입니다. (테스트를 위해서 IDLE에 구현하고 테스트중인데 Squeeze text가 107Line 고정..) 


이 얘기는 스크롤을 내려서 새로운 이미지를 띄우고 몇백개 몇천개 이미지태그를 긁어와도 계속 같은것만 긁어오고 있다는건데,


어떤 방법을 취해주면 새로운 이미지를 받아오게 할 수 있을까요?

도와주세요 ㅠ,ㅠ