[📜일지] 개발일지) 나만의 디씨알리미 ~누구보다 빠르게 질문에 답하는 방법~ 完

[정공개발자(firetruck4545)]

 

#서론

반갑다. 곧 게임 개발 6년차가 되가지만 출시한 게임은 하나도 없는 좆병신 개발자다.

(짤은 대충 현재 내가 팀장으로 있는 인디게임팀의 일러스트를 그림쟁이 허락없이 그냥 가져왔다.)

최근 인갤에 많은 질문 글들이 쏟아져 있는데 유튜브 보느라 바로바로 답변을 못해줄때가 있다.

최근 대부분은 아니지만 몇몇 질문글들을 보면은 프로그래밍을 배운지 얼마 안된 뉴비들이 작성하는데, 나같이 짬밥좀 먹은 놈들이면 그냥 대충 구글링하면 아는걸 이새끼들은 꼭 디시에 질문하러 온다.

아마 방학시즌이라 그런가 보다.

하지만 이 핑프들이 무슨 잘못이 있겠는가. 자기딴에는 최후의 수단으로 여기에 질문한거겠지.

그런 뉴비들이 빠른 답변을 받지 못한다면 그대로 개발에 대한 관심이 매말라 버리지 않을까.

그래서 그런 질문들은 빠르게 관련 키워드를 검색한 구글링크를 보내는거라도 하고있다.

근데 생각해보니깐 이 시발련들은 왜 질문 말머리가 있는데도 적용하지 않는걸까

참고로 술마시고 작성하고있어서 내용이 두루뭉실할수 있다.

여하튼 오늘은 어리석게도 인갤에 지식을 구하고자 하는 길잃은 어린 양들에게 최대한 빠른 속도로 답변을 해주기 위한 나만의 디씨 알리미를 만들고자 한다.

로직은 이렇다.

1. 인디게임개발갤러리의 맨앞 페이지를 크롤링한다.

2. 데이터를 분석하여 새로 작성된 글의 제목에 '?', '질문', '뉴비', '도움' 이 포함되어 있거나 말머리가 질문인 글이 있는지 확인한다.

3. 만약 그런 글이 있다면 디코로 나한테 글제목과 하이퍼링크를 보낸다

요약하자면 그냥 크롤링 + 디코 봇을 만들면 된다, 참 쉽죠?

준비물 : NAS

#본론

언어는 파이썬으로 골랐다. 사실 3년전 대학교에서 깔짝하고 배운게 다지만 파이썬이라는 언어 자체가 어려운 편은 아니다.

사실 스크립트 언어가 거기서 거기지 뭐

사용할 패키지? 라이브러리? 모듈?은 BeautifulSoup랑 requests, 디스cord를 사용할것이다.

디코봇은 예전에 c#으로만 만들어 봤었는데 살짝 맛만 보니까 파이썬이 훨신 더 쉽다.

import dis/cord

import requests

from bs4 import BeautifulSoup

from dis/cord.ext import commands

bot = commands.Bot(command_prefix="!")

checked_num = 0

notify_keywords = ["질문", "뉴비", "?"]

header = {'User-Agent' : ''}

minor_base_url = 'https://gall.dcinside.com/mgallery/board/lists?id='

minor_ids = {'id':'game_dev'}

@bot.event

async def on_ready():

    print(f"Logged in as {bot.user}")

@bot.command()

async def hello(ctx):

    resp = requests.get(minor_base_url,params=minor_ids, headers=header)

    await ctx.send(resp)

bot.run(Token)

대충 봇을 만들고 베이스를 짜봤다.

디스코드 영어단어가 금지어로 되어있어서 슬래시 섞었다.

header와 디코봇 토큰의 내용은 유출되면 안되는 개인정보라고 할수 있기 때문에 지웠다.

대충 성공을 나타내는 200이라고 뜬거 보니 잘 된것 같다.

(이제보니깐 url 잘못 썼는데 이게 왜 되냐? requests 이새끼 존나 융통성있네)

이제 데이터를 분석해보자.

F12를 눌러 개발자 모드로 들어가 소스가 어떻게 구성되어있는지 파악한다.

datastr = ""

def ExtractNewArticle(resp):

    soup = BeautifulSoup(resp.content, 'html.parser')

    contents = soup.find('tbody').find_all('tr')

    global datastr

    for content in contents:

        datastr += content.find('a').text

        datastr += '\n'

    return False

대충 코딩과 테스트를 반복 해본다.

5번쯤 시행착오를 해보니 잘 긁어왔다.

이제 

글 제목에 특정 문자가 포함되어 있거나 글머리가 질문인지 조건문을 만들고,

탐색하고 있는 글이 과거에 이미 탐색한 글인지 확인하고,

탐색결과에 부합되는게 있다면 링크를 보내면 된다.

그리고 몇초마다 한번씩 함수를 돌리면 된다. 참쉽죠?

def ExtractNewArticle(resp):

    soup = BeautifulSoup(resp.content, 'html.parser')

    contents = soup.find('tbody').find_all('tr')

    global datastr

    global checked_num

    for content in contents:

        gall_num = int(content.find('td', class_= 'gall_num').text)

        if(gall_num <= checked_num):

            break

        is_ask_article = False

        article_title = content.find('a').text

        if(content.find('td',class_='gall_subject').text == '+질문'):

            is_ask_article = True

        else:

            for notiword in notify_keywords:

                if(article_title.find(notiword) != -1):

                    is_ask_article = True

                    break

       

        if(is_ask_article):

            datastr += article_title + ' : '

            datastr += minor_base_url + '&no='

            datastr += str(gall_num)

            datastr += '\n'

문제없이 잘 나오는것 같....

하! 시발, 공지형! 예외처리하기 귀찮게 하지 말라고.

그래도 거의 다왔다.

        checked_num = gall_num

        gall_subject = content.find('td',class_='gall_subject').text

        if(gall_subject == '공지' or gall_subject == '설문'):

            continue

대충 예외처리와 이미 그 아래로 탐색했으면 스킵하게 했다.

이제 이 함수를 몇초마다 한번씩 돌리면 완성이다.

async def my_background_task():

    await client.wait_until_ready()

    channel = client.get_channel(채널번호)  # channel ID goes here

    print("Start Task")

    while not client.is_closed():

        global datastr

        datastr = ''

        resp = requests.get(minor_base_url,params=minor_ids, headers=header)

        ExtractNewArticle(resp)

        print("data : "+datastr)

        if(datastr != ''):

            await channel.send(datastr)

        await asyncio.sleep(10)  # task runs every 60 seconds

처음 돌린거 말고 나중에 새로 쓴 질문글도 탐색되는지 실험해봤는데 잘된다.

이제 이걸 내 시놀로지 NAS 에 구동시키면 진짜 끝이다....

....Docker로 컨테이너 사용하면서 구동하려고 했는데 거의 1시간 반동안 찾아봤지만 

이 좆병신새끼는 도커를 어떻게 쓰는지 몰라서 그냥 쌩으로 putty로 ssh 연결한후 nohup으로 봇을 돌렸다.

#결론

최종적으로 잘되는거 확인했다.

이제 질문이 올때마다 내 폐관수련장 디코서버(총 멤버 : 나, 디코봇)에 알림이 올것이다.

근데 지금은 한캔만 더 마시고 잘꺼니까 알림 꺼놔야 겠다.

내일부터는 누군가 질문글을 쓰면 누구보다 빠르게 답변 '할 수 있을것'이다.

할 수 있다는말은 하겠다는 말이 아니다.

할 수 있다는말은 하겠다는 말이 아니다.

할 수 있다는말은 하겠다는 말이 아니다.

깃헙 : broken-fire-egg/DCNotifier: 나만의 디씨알리미 ~누구보다 빠르게 질문에 답하는 방법~ (github.com)

마치면서 다음 글은 빠른 시일내에 '게임'개발일지로 찾아볼수 있길 빈다

근데 만드는데 1시부터 시작해서 6시까지 총 5시간 걸렸는데 술을 안마시거나 이 개발일지 안쓰거나 Docker 쓰는법을 알았으면 더 빨리 만들지 않았을까?

[dawnDev(onlygame)]

교토 담배가게 생각나네

[김메가(scw973108)]

"질문 500배"

[AnonymousD(kenshin122)]

맥주마실거면 맥주나마시지 유익한거 만들고있누

[익명(220.78)]

반대로 질문에 대한 답변도 언제 오는지 알 수 있겟내

[쭈구리야(zzu9riya)]

[정공개발자(firetruck4545)]

뭐야 이제보니까 하이퍼링크 url id 파라미터 안되어있었네