![\"TD-structure.JPG\"](\"/c6b0e7069c15127073b1b66fa7716116/TD-structure.jpg\")
벌써 22년도 절반이 지나가고 있고, 4학년 1학기를 마무리하며 지난 1학기를 되돌아보려 합니다.
\n4학년 1학기는 바쁘게 아주 빠르게 지나갔네요.
\n19학점을 들으면서 취업 준비를 위한 준비도 하다보니 시간 가는 줄 모를 정도였습니다^^,,
\n백엔드로 진로를 정하고 처음으로 프로젝트도 2개나 진행해보고, 처음으로 코테도 치고 면접 경험도 하면서 많은 경험을 할 수 있었던 학기였습니다.
우선, 이번 학기 프로젝트는 2개를 진행했는데 종합설계프로젝트2와 모바일앱프로그래밍2 과목을 들으면서 각각 프로젝트를 진행했습니다.
\n종프2는 작년 종프1이랑은 다르게 Elastic Stack, Kafka 등을 사용하면서 더 제대로 된 프로젝트를 할 수 있었고, 그래서 시작할 때부터 많은 기대와 흥미를 느끼며 시작했습니다.
\n추후에 프로젝트 회고도 올릴 예정이어서 프로젝트에 대한 자세한 설명은 거기서 하고, 아무튼 처음으로 Spring을 사용해서 다른 사람들과 프로젝트를 진행해서 재미있었고 Elastic Stack, Kafka 등 다양한 기술들을 처음으로 사용해보면서 설치부터 중간중간 헤매는 부분들이 많았지만 그래서 더 재밌었고,, 많은 걸 배울 수 있는 프로젝트였습니다. ꉂꉂ(ᵔᗜᵔ*)
\n특히, 아주 간단한 머신러닝을 통해 예측 모델을 생성하고 FastAPI를 사용해서 모델을 서빙하는 과정을 경험해봤는데 재밌었다..! 덕분에 MLOps에 조금이나마 흥미가 생겼고 더 알아봐야겠다,,,!
모앱2에서는 처방전을 스마트폰 카메라로 인식해서 자동으로 약품을 등록하도록 하는 기능을 구현하고자 했습니다.
\n처방전 인식을 위해 Tesseract OCR을 사용하려고 하다가 EasyOCR이라는 비교적 최근에 나온 좋은 프레임워크가 있는 걸 보고 EasyOCR을 학습시켜서 구현하기로 했습니다.
\n하지만 전체 프로젝트를 구현하는데 이틀 정도의 짧은 시간 밖에 없어서 제대로 학습시키기에는 시간이 부족했고 그래서 우선 인식 후, Elasticsearch에서 fuzzy query를 사용해 DB에 있는 약품명과 비교하여 정확한 값만 반환하도록 구현했습니다.
다른 프로젝트랑 시험, 면접 등 다른 일정들 때문에 프로젝트를 늦게 시작해서 시간이 부족해 제대로 구현하지 못한게 아쉬운 프로젝트였다,, 처음부터 설계를 제대로 하고 OCR 학습도 제대로 한 다음에 했다면 정말 괜찮은 결과물이 나왔을텐데 이 점이 너무 아쉽게 느껴졌다. 그래도 종프2 프로젝트를 하면서 사용하지 못한 Elasticsearch 기능들을 사용해보고, OCR 기술을 가볍게지만 사용해볼 수 있어서 좋은 경험이 되었습니다. 특히 OCR 기술은 나중에 가능하다면 현재 진행하고 있는 야구장 좌석뷰 프로젝트에서도 티켓 인식하는 기능으로 추가할 수 있을 것 같아서 조금 흥미가 생겼다..!
\n이번 학기에 제일 큰 경험은 역시 코테와 면접인 것 같습니다.
\n[프로그래머스] 2022 Dev-Matching: 웹 백엔드 개발자(상반기)-1 - 코테 탈[프로그래머스] 2022 Summer Coding - 코테 합 -> 면접 합 -> 미리디 인턴 최종 합[KAKAO] 2022 카카오 테크 인턴십 - 코테 + 서류 합 -> 면접 탈[Works Mobile] 2022 웍스모바일 하계 인턴 - 서류 탈[NCSOFT] 2022 인턴 - 코테 + 서류 탈[LINE] 2022 SUMMER LINE 채용 연계형 INTERNSHIP - 코테 탈[SKT] 2022 SK텔레콤 T-WorX - 코테 탈[NAVER] 2022 네이버 기술 직군 신입 채용 : Track_공채 - 코테 + 서류 합 -> 1차 면접 탈[프로그래머스] 2022 Dev-Matching: 웹 백엔드 개발자(상반기)-2 - ??정규표현식 써서 해당하는 문자열이 있는지 찾으면 되는 문제. 마지막 포스팅 이후 거의 세달 만에 다시 돌아왔다,, https://github.com/Go-Jaecheol/Carbon-Tracker 22.03 ~ 22.06 기간 동안 4명의 팀원이 크게 React를 사용한 프론트엔드 2명 / Spring Boot를 사용한 백엔드 2명으로 나뉘어 진행했고, 그 중 백엔드 파트를 담당했다. 프로젝트는 국토 교통부에서 제공하는 공공데이터 API를 활용해 데이터를 수집하고, Elastic Stack을 사용해 데이터 처리/시각화하는 과정으로 진행했다. 또한 기상청에서 제공하는 공공데이터도 활용하여 하루 탄소 배출량 예측 모델을 만들고, 이를 FastAPI를 통해 서비스를 제공해주는 과정도 진행했다. 이번 프로젝트를 통해 가장 큰 경험을 한 부분이라고 할 수 있다. 처음에는 공공데이터 API에서 받은 정보들을 csv 파일로 저장해서 Beats로 읽고 Logstash를 통해 데이터 처리 후 Elasticsearch에 보내서 데이터를 저장하도록 해야겠다고 생각하고 구현했다. 이 과정에서도 클라우드 환경이 아닌 Mac OS에 Elastic Stack을 설치하는 과정부터 제대로 정리된 글들이 많지 않아서 시간이 걸렸고, 특히 xml 형식으로 제공하는 공공데이터 API의 특성상 어떻게 데이터를 처리해야 하는지 알기 어려워 고생했어서 이 과정들을 추후 확인하고 다른 사람들에게도 공유하기 위해 블로그에 정리해뒀다. 종합설계프로젝트 과목의 특성상 다른 중소기업과 같이 연계하여 프로젝트를 진행하기 때문에 해당 기업의 요청사항에 맞게 구현해야 했는데, Elastic Stack과 Kafka의 사용 이유도 이 때문이다. Kafka를 사용해달라는 요청을 받고 어떻게 해야할지 고민하다가 문득 xml형식을 csv 파일로 변환하고, 이를 Beats가 읽어서 Logstash에서 다시 데이터 처리를 한다는 점이 불필요하다는 생각이 들었다. csv 파일 변환이 과연 필요할까..?? 프로젝트 설계 초기부터 가능하면 기상청 공공데이터 API를 통해 기상 정보를 제공 받아서 에너지 사용량을 예측해보자! 라는 의견이 나왔었고, 꼭 기한 내에 이 부분까지 완성하고 싶었다. 머신 러닝은 잘 모르지만 학교 수업 때 들은 내용들과 예전 대회에서 상 받을 때 썼던 모델들을 가지고 예측 모델을 만들어봤다. 우선 에너지 사용량을 예측하기 위해 과거 날짜별 전기, 가스, 수도 사용량 데이터를 얻으려고 했는데, 여기서부터 문제가 생겼다. 상관 관계를 비교하여 선정한 feature들로 train 데이터들을 만들고 train 데이터와 test 데이터를 나누었다. 결과는 만족스럽지 못했다,, 85퍼센트 정도의 정확도로 학습 데이터가 부족하기 때문에 어느정도 예상했던 결과였지만, 이상치를 더 확실하게 제거하는 등 전처리를 더 잘하거나 더 적합한 하이퍼 파라미터를 찾았다면 어땠을까 아쉬움이 남았다.. 예측 모델을 서빙하기 위한 프레임워크로는 FastAPI를 선택했다. FastAPI를 사용해보고 나서 왜 이름에 Fast가 붙었는지 알 것 같았다. 구현이 빠르다. 디렉토리 구조도 간단하다. 심플하다. 이전에 진행했던 프로젝트에서는 특별한 convention 없이 commit하고 push하고 프로젝트를 진행했다. 하지만 협업을 하면서 이런 규칙 없는 정리되지 않은 방식은 불편함을 느낄 수 있었고, 그래서 프로젝트 시작 전부터 미리 규칙을 정한 후 진행했다.\n
\n
\n탐색 편리하게 하기 위해서 ’#’ 들어간 문자들 전부 다른 문자들로 변환\n # time만큼 악보 정보 반복해서 message 저장\n for i in range(time):\n message += info[3][i%len(info[3])]\n # pattern이 있고, 현재 저장된 길이보다 크면 answer 변경\n if pattern.search(message) and length < time:\n answer = info[2]\n length = time\n
\n
\n🧩 Code
\n\n전체 코드 확인
\n\nimport re\ndef solution(m, musicinfos):\n answer, length = \"(None)\", 0\n # '#' 들어간 음 변환\n for org, rep in zip(['A#', 'C#', 'D#', 'F#', 'G#'], ['H', 'I', 'J', 'K', 'L']):\n m = m.replace(org, rep)\n pattern = re.compile(m)\n for info in musicinfos:\n info = info.split(',')\n info[0] = info[0].split(':')\n info[1] = info[1].split(':')\n time = (int(info[1][0])*60 + int(info[1][1])) - (int(info[0][0])*60 + int(info[0][1]))\n # '#' 들어간 음 변환\n for org, rep in zip(['A#', 'C#', 'D#', 'F#', 'G#'], ['H', 'I', 'J', 'K', 'L']):\n info[3] = info[3].replace(org, rep)\n message = ''\n # time만큼 악보 정보 반복해서 message 저장\n for i in range(time):\n message += info[3][i%len(info[3])]\n # pattern이 있고, 현재 저장된 길이보다 크면 answer 변경\n if pattern.search(message) and length < time:\n answer = info[2]\n length = time\n return answer
\n📝 Review
\n
\n’#‘이 들어간 부분을 계산하기 쉽게 다른 문자들로 변환해두고 푸는 것이 포인트\n\n","frontmatter":{"date":"May 29, 2022","title":"[Programmers] 17683번: 방금그곡 (Python)","categories":"Algorithm","author":"JFe","emoji":"💻"},"fields":{"slug":"/pg-17683/"}},"prev":{"id":"a19de102-1ba5-599b-8118-7db4c497f0fc","html":"
\n자소서 쓰고 코테 치고 이것 저것 공부하다 보니 바빠서 블로그 관리할 생각을 못하고 있었다. 하지만 취준을 하다보니 지난 프로젝트를 되돌아보고 정리할 필요성을 느껴서 끝난지 조금 지난 프로젝트지만 늦게나마 정리해보려고 한다. (블로그도 다시 써야지)🎞 프로젝트 소개
\n
\nCarbon-Tracker는 대구 주택 단지별 탄소 배출량 및 탄소 포인트 예측/시각화라는 주제의 프로젝트로, 종합설계프로젝트2 과목을 수강하면서 진행한 산학 협력 프로젝트다.
\n👨💻 프로젝트를 통해 배운 점
\n✅ ELK Stack‼ Kafka‼
\n
\nElastic Stack과 Kafka라는 기술들에 대해 하나도 모르는 상태에서 직접 찾아보고 시행착오를 겪으면서 사용해보았다는 점에서 좋은 경험이 되었다고 생각한다.
\n[Elastic] Elastic Stack(ELK Stack) - Mac OS 설치 방법
\n[Elastic] Elastic Stack + 공공데이터 api 활용
\n그래서 공공데이터 API에서 반환한 xml 데이터를 json 형태로 Kafka에 보내고, Logstash가 topic별로 데이터를 처리해서 Elasticsearch에 저장하는 방식으로 변경했다.\ninput {\n kafka {\n bootstrap_servers => \"localhost:9092\"\n group_id => \"carbon\"\n topics => [\"energy\", \"apt\"]\n consumer_threads => 2\n decorate_events => true\n }\n}\n\nfilter {\n json {\n source => \"message\"\n }\n mutate {\n add_field => {\"[@metadata][index]\" => \"%{[@metadata][kafka][topic]}\"}\n remove_field => [\"ecs\", \"host\", \"@version\", \"agent\", \"log\", \"tags\", \"input\", \"message\"]\n }\n\n mutate {\n convert => {\n \"helect\" => \"integer\"\n \"hgas\" => \"integer\"\n \"hwaterCool\" => \"integer\"\n }\n remove_field => [ \"@timestamp\" ]\n }\n}\n\noutput {\n if [@metadata][kafka][topic] == \"energy\" {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"energy\"\n document_id => \"%{kaptCode}%{date}\"\n }\n }\n else if [@metadata][kafka][topic] == \"apt\" {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"apt\"\n document_id => \"%{kaptCode}\"\n }\n }\n else {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"kafka-%{[@metadata][index]}\"\n }\n }\n}input 부분을 beats에서 kafka로 바꾸고, 해당 kafka 서버를 설정하고 원하는 group, topic들을 설정했다.
\nfilter 설정에서 json으로 받은 message에서 원하는 필드를 추가/삭제하고, 데이터 형도 알맞게 설정했다.
\n처리한 데이터는 Elasticsearch로 보내야 하기 때문에 각각 topic에 맞는 index에 위치하도록 output을 설정했다.
\n✅ 머신러닝과 FastAPI
\n
\n수도 사용량은 과거 데이터를 제공해주지 않았고, 전기/가스 사용량도 월별 데이터만 제공해줘서 학습용 데이터가 많이 부족했다.
\n그래도 우선 이 데이터들과 기상청에서 제공해주는 과거 기상 정보들로 필요한 데이터들을 전처리해주고, 해당 데이터들간의 상관 관계를 비교하여 학습 데이터로 사용했다.
\n그리고 학습에 필요한 데이터가 부족하다고 생각해서 K-Fold 교차 검증을 진행해야겠다는 생각이 들었다.
\n학습에는 그나마 대회에서 썼을 때 좋은 결과를 냈던 XGBoost 알고리즘으로 학습해봤고, RandomizedSearchCV로 학습에 적합한 하이퍼 파라미터를 찾아서 학습을 진행했다.
\n우선 기한 내에 빠르게 구현하기 위해 그래도 익숙한 웹 프레임워크 중에서 고민을 했고, 파이썬 웹 프레임워크들 중에서도 FastAPI가 Django, Flask보다 더 경량화 되고 빠르다고 최근 주목받고 있어서 선택했다.
\n파이썬 프레임워크를 처음 사용해서 패키지 버전 관리에서 살짝 버벅였지만 이는 requirements.txt를 이용하여 빠르게 해결했고, 코테에서 써서 익숙한 파이썬이기도 하고 전체적으로도 예측 결과만 제공해주면 됐기 때문에 큰 이슈없이 구현할 수 있었다.
\n✅ 협업을 위한 Git Convention
\n