학교 멘토링 프로그램으로 카카오 판교 아지트를 방문하고 자극을 받은 뒤, 2학기가 시작하기 직전인 8월 중순 무렵부터 새로운 프로젝트를 시작했다.
\n주제로 삼은 건 경북대 학생들을 위한 프로젝트/스터디 구인구직 사이트.
\n이미 우리 과에서는 7월 쯤부터 노션을 통해 학부생들을 위해 서비스를 제공하고 있었지만, 노션으로 사용하기에는 불편함을 느껴 웹으로 만들어보고 싶다는 욕심이 생겼다.
\n그렇게 새로운 프로젝트를 시작했고, 지금까지 진행한 프로젝트 진행 상황과 앞으로 있을 프로젝트 진행 상황에 대해서 포스팅 해볼 예정이다.
우선 사용자 요구사항 정의서를 작성하면서 프로젝트에 필요한 기능들을 생각했다.
\nhttps://github.com/Go-Jaecheol/Carbon-Tracker
\nCarbon-Tracker는 대구 주택 단지별 탄소 배출량 및 탄소 포인트 예측/시각화라는 주제의 프로젝트로, 종합설계프로젝트2 과목을 수강하면서 진행한 산학 협력 프로젝트다.
22.03 ~ 22.06 기간 동안 4명의 팀원이 크게 React를 사용한 프론트엔드 2명 / Spring Boot를 사용한 백엔드 2명으로 나뉘어 진행했고, 그 중 백엔드 파트를 담당했다.
\n프로젝트는 국토 교통부에서 제공하는 공공데이터 API를 활용해 데이터를 수집하고, Elastic Stack을 사용해 데이터 처리/시각화하는 과정으로 진행했다. 또한 기상청에서 제공하는 공공데이터도 활용하여 하루 탄소 배출량 예측 모델을 만들고, 이를 FastAPI를 통해 서비스를 제공해주는 과정도 진행했다.
\n이번 프로젝트를 통해 가장 큰 경험을 한 부분이라고 할 수 있다.
\nElastic Stack과 Kafka라는 기술들에 대해 하나도 모르는 상태에서 직접 찾아보고 시행착오를 겪으면서 사용해보았다는 점에서 좋은 경험이 되었다고 생각한다.
처음에는 공공데이터 API에서 받은 정보들을 csv 파일로 저장해서 Beats로 읽고 Logstash를 통해 데이터 처리 후 Elasticsearch에 보내서 데이터를 저장하도록 해야겠다고 생각하고 구현했다. 이 과정에서도 클라우드 환경이 아닌 Mac OS에 Elastic Stack을 설치하는 과정부터 제대로 정리된 글들이 많지 않아서 시간이 걸렸고, 특히 xml 형식으로 제공하는 공공데이터 API의 특성상 어떻게 데이터를 처리해야 하는지 알기 어려워 고생했어서 이 과정들을 추후 확인하고 다른 사람들에게도 공유하기 위해 블로그에 정리해뒀다.
\n[Elastic] Elastic Stack(ELK Stack) - Mac OS 설치 방법
\n[Elastic] Elastic Stack + 공공데이터 api 활용
종합설계프로젝트 과목의 특성상 다른 중소기업과 같이 연계하여 프로젝트를 진행하기 때문에 해당 기업의 요청사항에 맞게 구현해야 했는데, Elastic Stack과 Kafka의 사용 이유도 이 때문이다. Kafka를 사용해달라는 요청을 받고 어떻게 해야할지 고민하다가 문득 xml형식을 csv 파일로 변환하고, 이를 Beats가 읽어서 Logstash에서 다시 데이터 처리를 한다는 점이 불필요하다는 생각이 들었다. csv 파일 변환이 과연 필요할까..??
\n그래서 공공데이터 API에서 반환한 xml 데이터를 json 형태로 Kafka에 보내고, Logstash가 topic별로 데이터를 처리해서 Elasticsearch에 저장하는 방식으로 변경했다.
input {\n kafka {\n bootstrap_servers => \"localhost:9092\"\n group_id => \"carbon\"\n topics => [\"energy\", \"apt\"]\n consumer_threads => 2\n decorate_events => true\n }\n}\n\nfilter {\n json {\n source => \"message\"\n }\n mutate {\n add_field => {\"[@metadata][index]\" => \"%{[@metadata][kafka][topic]}\"}\n remove_field => [\"ecs\", \"host\", \"@version\", \"agent\", \"log\", \"tags\", \"input\", \"message\"]\n }\n\n mutate {\n convert => {\n \"helect\" => \"integer\"\n \"hgas\" => \"integer\"\n \"hwaterCool\" => \"integer\"\n }\n remove_field => [ \"@timestamp\" ]\n }\n}\n\noutput {\n if [@metadata][kafka][topic] == \"energy\" {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"energy\"\n document_id => \"%{kaptCode}%{date}\"\n }\n }\n else if [@metadata][kafka][topic] == \"apt\" {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"apt\"\n document_id => \"%{kaptCode}\"\n }\n }\n else {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"kafka-%{[@metadata][index]}\"\n }\n }\n}input 부분을 beats에서 kafka로 바꾸고, 해당 kafka 서버를 설정하고 원하는 group, topic들을 설정했다.
\nfilter 설정에서 json으로 받은 message에서 원하는 필드를 추가/삭제하고, 데이터 형도 알맞게 설정했다.
\n처리한 데이터는 Elasticsearch로 보내야 하기 때문에 각각 topic에 맞는 index에 위치하도록 output을 설정했다.
프로젝트 설계 초기부터 가능하면 기상청 공공데이터 API를 통해 기상 정보를 제공 받아서 에너지 사용량을 예측해보자! 라는 의견이 나왔었고, 꼭 기한 내에 이 부분까지 완성하고 싶었다. 머신 러닝은 잘 모르지만 학교 수업 때 들은 내용들과 예전 대회에서 상 받을 때 썼던 모델들을 가지고 예측 모델을 만들어봤다.
\n우선 에너지 사용량을 예측하기 위해 과거 날짜별 전기, 가스, 수도 사용량 데이터를 얻으려고 했는데, 여기서부터 문제가 생겼다.
\n수도 사용량은 과거 데이터를 제공해주지 않았고, 전기/가스 사용량도 월별 데이터만 제공해줘서 학습용 데이터가 많이 부족했다.
\n그래도 우선 이 데이터들과 기상청에서 제공해주는 과거 기상 정보들로 필요한 데이터들을 전처리해주고, 해당 데이터들간의 상관 관계를 비교하여 학습 데이터로 사용했다.
상관 관계를 비교하여 선정한 feature들로 train 데이터들을 만들고 train 데이터와 test 데이터를 나누었다.
\n그리고 학습에 필요한 데이터가 부족하다고 생각해서 K-Fold 교차 검증을 진행해야겠다는 생각이 들었다.
\n학습에는 그나마 대회에서 썼을 때 좋은 결과를 냈던 XGBoost 알고리즘으로 학습해봤고, RandomizedSearchCV로 학습에 적합한 하이퍼 파라미터를 찾아서 학습을 진행했다.
결과는 만족스럽지 못했다,, 85퍼센트 정도의 정확도로 학습 데이터가 부족하기 때문에 어느정도 예상했던 결과였지만, 이상치를 더 확실하게 제거하는 등 전처리를 더 잘하거나 더 적합한 하이퍼 파라미터를 찾았다면 어땠을까 아쉬움이 남았다..
\n예측 모델을 서빙하기 위한 프레임워크로는 FastAPI를 선택했다.
\n우선 기한 내에 빠르게 구현하기 위해 그래도 익숙한 웹 프레임워크 중에서 고민을 했고, 파이썬 웹 프레임워크들 중에서도 FastAPI가 Django, Flask보다 더 경량화 되고 빠르다고 최근 주목받고 있어서 선택했다.
FastAPI를 사용해보고 나서 왜 이름에 Fast가 붙었는지 알 것 같았다. 구현이 빠르다. 디렉토리 구조도 간단하다. 심플하다.
\n파이썬 프레임워크를 처음 사용해서 패키지 버전 관리에서 살짝 버벅였지만 이는 requirements.txt를 이용하여 빠르게 해결했고, 코테에서 써서 익숙한 파이썬이기도 하고 전체적으로도 예측 결과만 제공해주면 됐기 때문에 큰 이슈없이 구현할 수 있었다.
이전에 진행했던 프로젝트에서는 특별한 convention 없이 commit하고 push하고 프로젝트를 진행했다. 하지만 협업을 하면서 이런 규칙 없는 정리되지 않은 방식은 불편함을 느낄 수 있었고, 그래서 프로젝트 시작 전부터 미리 규칙을 정한 후 진행했다.
\n우선 미션에서 주어진 기능 요구 사항을 읽고 전체 흐름을 먼저 정리했다.
\n그 다음, 정리한 전체 흐름을 바탕으로 필요한 기능 목록을 뽑아내고, 하나씩 순서대로 기능을 구현하고 테스트 코드를 작성하는 방식으로 진행했다.
기능을 미리 정해두고 맞춰서 구현해서 커밋하는 방식으로 하긴 했지만, 위에서도 보이는 것처럼 아직 기능이 가장 작은 단위로 분리되지는 않았고 유효성 검사에 대한 기능도 적은 상태다.
\n가령 위의 경우에서 입력받은 숫자와 컴퓨터 숫자 비교해서 볼, 스트라이크 반환하는 기능 같은 경우에는 숫자를 비교하는 기능과 볼, 스트라이크 반환하는 기능으로 나눌 수 있을 것이다.
이런 면에서 2주차 미션에서는 필요한 기능을 분리하려고 시도는 했으나,, 아직 완전히 만족스러운 형태로 작게 분리하지는 못해서 아쉬움이 남았었다,,
\n1주차 미션 공통 피드백 중 하나로 이름을 통해 의도를 드러낸다와 축약하지 않는다가 있었다.
기존 1주차 미션이나 평소 코딩 스타일에서도 메서드 명이나 변수 명으로 그 메서드와 변수의 역할을 드러내려고 했었는데, 이 피드백에서 집중했던 점은 축약하지 않는다였다.
평소에는 예를 들어, 사용자 상세 정보를 저장하는 변수면 userInfo로 변수 명을 정했었다. 당연히 이렇게 변수의 역할은 드러내면서 최대한 간결하게 이름을 작성하는게 좋다고 생각했기 때문에 이번 피드백은 많이 와닿았다.
\n피드백에서 원하는 대로 변수 명을 고친다면 userInformation이 될 것이다.
이름을 축약하는 게 당연하다고 생각했지만 사실 이것도 계속 긴 변수 명을 적기 싫었던 귀찮음에서 온 게 아닐까 다시 생각하게 됐다.
\n그래서 2주차 미션부터는 클래스 명, 메서드 명, 변수 명 전부 하나하나 신경써가며 이름을 지었다.
\n축약하지 않고, 최대한 그 역할을 드러내도록!
필요한 기능들을 정의하고 난 다음에는 전체 클래스 구조를 어떻게 설계할지 고민했다.
\n미션에서 요구하는 숫자야구 게임 자체가 복잡한 기능들이 필요한 게임이 아니기 때문에 간단하게 기능만 구현할까도 생각했지만, 오히려 간단한 기능들만 필요하다 보니 구조에 더 신경을 써야겠다고 생각했다.