[일반] 트위터 게시글 좀 크롤링하라니까 시도조차 하지를 못함

[익명(125.180)]

트위터 게시글 특정날짜만 좀 크롤링하라니까 시도조차 하지를 못함 

계속 오류나고 이상한거 크롤링하고

마음에 드는게 하나도 없고

하루종일 씨름해도 안됨. 

뭐 이런데 실무자들은 AI로 코딩을 어떻게하는거냐? 

[익명(pony9810)]

트위터는 다른 봇들은 못긁게 막아두고 그록한테만 화이트리스트로 열어둔거 아니냐

[ㅇㅇ 3(1.231)]

다른 llm 잘만긁어오던데 뭔소리하노

[ㅇㅇ 1(218.50)]

코드만들라고 시키고 에러로그보면서 고치는거지

[ㅇㅇ 2(59.29)]

대부분의 사이트들이 접속자 광고로 먹고 살아야 하는데, AI가 슥 긁어가기만 해서 크롤링 막아두는 사이트가 확 늘었다고 알고 있음. 그리고, 트위터 크롤링 막아두지 않았나? 트위터 데이터가 LLM에선 나름 양질의 데이터라서, 머스크가 트위터 인수한 이유 중에 하나가 경쟁자 데이터 차단하려고...라는 썰도 있었음.

[ㅇㅇ 2(59.29)]

혹시 잘 모르는 특붕이들은, 트위터리안의 사상에 물드는 거 아니냐. 거기 데이터가 왜 양질이냐고 할 수 있는데 영어권 지식인들이 트위터를 자주 써서, 그런 사람들 계정 데이터만 긁어도 꽤 양질이라 썼다고 들음. 물론 요즘은 모르것고.

[익명(1.231)]

잘 되던데?