[📃칼럼] 개발자가 할 수 있는 일 A to Z

[붕옥아이젠(godgodgod96)]

서문

https://gall.dcinside.com/mgallery/board/view/?id=physics2&no=579855&search_head=30&page=1

이 분야로 어떻게 취업하냐? 그런건 모르겠고 ~ 제가 찍먹 해본 다양한 분야를 대략 소개해드리는 느낌의 글이니깐 그냥 쭉 이런게 있구나 하시면서 재밌게 읽으시면 되겠습니다.

글은 기술 소개, 활용, 간단한 공부 방법 이러한 구조를 가지고 있습니다.

들어가기 전에

코딩을 공부하다보면 모든 새로운 개념은 기존의 불편함을 해결하기 위해서 등장했음을 알 수 있습니다.

hello World 라는 글자를 출력을 100번 하고 싶을 때 해당 문자열을 출력하는 코드를 100줄 짜기는 귀찮기 때문에 반복문이라는 문법이 생겼습니다. 이번에는 hello World 말고 다른 문자를 100번 출력하는 일이 빈번해져서 매번 반복문을 쓰기 귀찮아져서 함수(function)라는 문법이 생겼습니다.이번에는 자주쓰는 여러개의 함수를 하나로 묶어서 쓰기 위해서 객체(object)라는 개념이 생겼습니다. 최종적으로 자주 등장하는 객체들을 모아놓아 필요한 사람이 가져다 쓸 수 있게 만들었습니다. 즉. it 생태계는 하나의 거대한 도서관과 같습니다.

여러분들이 도서관에서 철학책을 빌리고 싶으면 철학책 코너로 가서 그쪽을 살펴보듯이 가령 인공지능에 대한 책을 빌리고 싶으면 인공지능에 대한 책을 가져와야 합니다. 이떄 이 '책' 이라는 용어는 비유이고 실제로는 라이브러리 or 프레임워크 등으로 불립니다.

왜 라이브러리라는 이름이 붙었는지 이제는 대충 이해가 가실 것이라고 생각합니다. 앞으로 소개시키드리는 모든 분야들을 구현하는데 어떤 라이브러리를 사용했는지 알려드릴 것인데 그때 그게 무슨 말인지 이해를 하셔야돼서 설명을 드렸습니다.

그럼 시작하겠습니다... !

데이터 시각화

최근 들어 데이터를 다루는 직군들이 인기가 많아지고 있습니다.

데이터 시각화는 데이터를 시각적으로 표현하여 패턴, 추세, 관계 등을 가시화하는 작업을 말합니다.

Ex) 주식 시세 시각화

Ex_2) 몬테 카를로 시각화

Ex_3) 정규 분포 난수(5000)개 시각화

사용한 라이브러리: Matplotlib

참고 사이트: https://wikidocs.net/92071

데이터를 다루며 시각화하고 이상치(너무 크거나 작아서 방해되는 값)을 제거하는 일을 하는 직무를 데이터 분석가라고 합니다.

Cleaning이 끝난 데이터를 모델에 돌려서 인사이트를 추출하는 직무를 데이터 사이언티스트라고 합니다.

이떄 데이터를 다룬다의 의미는 단순 시각화를 의미하는 것이 아니라 EDA 분석을 진행함을 의미합니다만 자세한 설명은 생략하겠습니다. 

대화형 인공지능 - 음성 인식,합성

사용자의 음성을 인식할 수 있습니다.

사용자가 특정 음성을 말하게 할 수 있습니다.

근데 하무열님처럼 특정 보이스를 학습시키는건 어떻게 하는 지 모르고. 이미 누가 합성을 완료한 라이브러리를 가져와서(import , 첫 줄 코드 참고) 그 보이스로 목소리가 나옵니다.

사용된 라이브러리: speech_recognition, from navertts import NaverTTS, from io import BytesIO, import gtts

컴퓨터 비전

인간에게 시각(vision)은 매우 중요한 감각입니다. 컴퓨터 비전은 컴퓨터도 마치 인간처럼 시각 정보를 이해할 수 있는 만들어주는 기술들을 연구하는 분야입니다.

- 디지털 이미지 기초

이미지에서 특정 부분을 지우기, 해상도 낮추기, 해상도 올리기, 이미지에 글자 넣기 등등을 할 수 있습니다.

-가우시안 블러

가우시안 블러란 가우시안 함수를 기반으로 흐림 효과를 구현하는 것을 말합니다.

- 배경교체,

- 손인식, 얼굴 이식

사용된 라이브러리:

opencv: 전반적인 컴퓨터 비전(ex 가우시안 블러),

numpy(행렬 처리)

random: 임의의 난수 생성

PIL: 디지털 이미지 기초 예제를 해당 라이브러리로 만듬

mediapipe: 이미지 합성등을 미리한 딥러닝 모델을 제공해주는 라이브러리.

GUI 프로그래밍

Graphical User Interface 즉 그래픽을 통해 사용자와 사용하는 인터페이스를 말한다.

많은 사람들에게 좋은 평가를 받는 소프트웨어를 만들기 위해서는 gui를 만들 수 있어야한다. 심지어 연구직이라고 하더라도 본인의 성과를 보여주기 위해 간단한 gui를 만드는 경우도 많다.

사용된 라이브러리:

Tkinter: 가장 대표적인 gui를 만드는 라이브러리이다.

pyqt: 해당 코드를 구현하는데 사용하지는 않았지마 실무에서 pyqt를 더 많이 사용한다. 이유는 물어보면 알려줌 ㅇㅇ

게임 프로그래밍

게임을 만들수도 있다.

사용된 라이브러리: pygame

이미지를 직접 만드는(렌더링) 방법대신 png파일을 가져오는 방식을 차용했기에 python언어로 구현 가능했다

고효율 컴퓨팅 프로그래밍(HPC)

hpc를 사용하지 않은 모든 프로그램은 직렬로 실행된다. 즉 1000초가 걸리는 일을 1000초 동안 수행한다는 것이다.

그러나 1000초가 걸리는 일(task)를 10명이 나눠서 동시에 작업한다면 100초가 걸릴 것이다. 이러한 작업을 HPC, 고효율 컴퓨팅이라고 한다.

HPC는 동시성으로 구현될 수도 병렬성으로 구현될 수 있다. 동시성은 요리사가 이것도 만들면서 동시에 저것도 만드는 상황을 의미하고 병렬성은 하나의 일을 여러 코어가 나눠서 집중적으로 진행하는 상황을 의미한다.

이 기법은 정말 많은 분야에서 쓰인다.

아래 링크는 광추적이라는 연산량이 상당한 작업을 멀티프로세싱 기법을 활용하여 빠르게 계산하는 방법에 대한 설명이 담긴 링크이다. 근데 이해가 될지는 몰?루 ㅋㅋ

https://omaraflak.medium.com/ray-tracing-from-scratch-in-python-41670e6a96f9

Ray Tracing From Scratch in Python

Create a computer-generated image using the Ray Tracing algorithm coded from scratch in Python.

omaraflak.medium.com

인터넷 프로그래밍

실리콘벨리 같은 IT 대기업이 승승장구할 수 있는 이유는 인터넷을 매개로한 확장성입니다. 즉 본인이 만든 무언가를 인터넷을 통해 수많은 사람들에게 노출시키는 방법을 배운다.

-웹스크래핑

인터넷에 특정한 정보들을 수집해오는 프로그램을 만들 수 있다. 가령 어떤 상품에 대한 데이터를 대량으로 긁어온 다음에 가격 정보만 수정하고 본인의 쇼핑몰에 올리는 행동을 할 수 있다.

라이브러리:

asyncio: 비동기화식 처리 도와주는 라이브러리

flask: 웹서버 라이브러리

selenium: 웹스크래핑 라이브러리

request: 웹스크래핑 라이브러라

socket: 소켓 통신을 위한 라이브러리

딥러닝

-경사 하강법

함수의 값을 최소화하는 방향으로 경사를 따라가는 경사 하강법이라고 한다.

-지도학습

입력하는 값에 대한 출력이 정확한 데이터셋을 가지고 있다면 지도학습 기법을 사용할 수 있다.

크게 두 가지 문제 상황에 사용되는데 하나는 회귀(Regression)이고 다른 하나는 분류(classification)이다.

- 회귀

가령 학생 n명과 각각이 공부한 x시간 데이터와 점수 데이터가 있다면 이 계수들의 상관관계를 분석할 수 있다.

-분류

개와 고양이 비교하기 ㅇㅇ

-확률적 경사하강법

데이터의 일부만 넣어서 작은 Batch 단위로 최적화 실행.

-손글씨 인식기

-차원 축소

가령 전에 손글씨에서 그림 하나는 28x28 = 784 픽셀로 이루워져있고 색은 0~1.0사이 였기에 784 개의 자유도를 가지고 있다고 볼 수 있다. 그래서 784개의 차원을 가지고 있다라고도 한다.

autoencoder란 784찬원을 2차원같은 낮은 차원으로 축소하는 기술을 말한다.

-강화 학습

잘했을 떄 칭찬 못했을 때 처벌하는 방식으로 인공지능을 훈련시킬 수 있다.

지도/비지도 학습은 이제 인간이 데이터셋을 만들어서 줬어야 했는데 이거는 환경만 만들어주면 인공지능이 실제로 학습한다.

가령) 벽돌꺠기 존나 잘하는 로봇 만들기 쌉가능

- Zero/Few shot learning 등등 더 나아간 기법들이 있지만 생략...

마치며

코딩으로 할 수 있는 거의 모든 분야를 찍먹수준으로 소개해봤습니다.

cf) 소개안한 기술들: RPA(업무 자동화), 웹 디자인(html/css), 데이터 서버에 저장하기(sql. mongoDB)

[big방(leetj0705)]

이건 비추 안누를게. - dc App

[붕옥아이젠(godgodgod96)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[붕옥아이젠(godgodgod96)]

므흣

[오차율(secondruns)]

일단 개추부터 누름

[붕옥아이젠(godgodgod96)]

개추 ㅋㅋ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[붕옥아이젠(godgodgod96)]

열심히 하시잖아~

[익명(223.62)]

A to Z? 시대인재 엣지? 게임오바. 카르텔 압수수색해.

[붕옥아이젠(godgodgod96)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[붕옥아이젠(godgodgod96)]

고능아 ㄷㄷ

[힘드러(moreandtheless)]

[※무리가아니었다?!(yibailingwu)]

2d엔진만들어본사람

[붕옥아이젠(godgodgod96)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[붕옥아이젠(godgodgod96)]

[강한적을벨땐한걸음앞으로(hsclb9h1542l)]

[붕옥아이젠(godgodgod96)]

[따뜻한날씨(beggar4005)]

님 요즘 뭐 함

[붕옥아이젠(godgodgod96)]

너생각

[따뜻한날씨(beggar4005)]

(?)