https://drive.google.com/drive/folders/1xJ0pHkdVFuRVS334CPKZub_w7cqoeCAm?usp=sharing


프갤 공익을 위해 내가 수집한 데이타셋 올릴게



1. programming.documents는 프갤 모든 글을 크롤링 해서 제목이랑 글내용 합쳐서 나열해놓은거야

줄바꿈은 다 띄어쓰기로 대체했어 한줄에 한 게시글씩이야


예)

밑에 AI 질문한 친구야 이거 봐 프갤 공익을 위해 내가 ...

나 미친놈 마자 미친놈이기에 이렇게 내가 성공할 수 있었던거야 앞서서 ...

...

...






2. programming.doc2con은 디시콘이 달린 게시글만 모아놓은거야

게시글 한줄, 그 밑에 디시콘 인덱스 한줄 이렇게 번갈아가면서 나열되있어


예)

존나 일도 없는데 왜 다들 집에 ...

0

뻘글에 이모티콘 쓰는거 재밌네 왜 하는지 알 것 같음

10

뻘글에 이모티콘 쓰는거 재밌네 왜 하는지 알 것 같음

11

...







3. programming.condict는 디시콘 인덱스별 디시콘 이미지 주소야

0번째 줄에 0번째 인덱스 디시콘, 1번째 줄에 1번째 디시콘, 이렇게 나열되있어

문제는 디시콘 이미지 주소를 반드시 디시에 적어야만 볼 수 있다는 점이야(리퀘스트 보낼때 도메인 검사 하나봐)


예)

https://dcimg1.dcinside.com/dccon.php?no=62b5df2be...

https://dcimg1.dcinside.com/dccon.php?no=62b5df2be...

https://dcimg1.dcinside.com/dccon.php?no=62b5df2be...

...