일단 먼저 원하는 공공데이터 api를 공공데이터 포털에서 확인할 수 있다. 여기서 자신이 원하는 다양한 공공데이터를 찾을 수 있고, csv 형태의 파일 데이터나 api 형식으로 제공받을 수 있는데 이 포스트에서는 실제 프로젝트 진행 중에 사용했던 공공데이터 api를 기준으로 설명할 것이다.
\n국토교통부_공동주택 에너지 사용 정보 api로 api를 호출하면 xml 형태의 데이터를 반환해준다.
Filebeat가 파일을 읽어서 logstash로 보낼 때, 보통 csv 파일을 읽도록 하는 것이 편하기 때문에 Spring 환경에서 api를 호출하면서 xml 형태의 호출 결과를 csv 파일 형식으로 저장하도록 설정했다.
\n(Xml filter plugin을 사용해서 Logstash에서 filter 설정을 하는 방법도 있다.)
공공데이터 api 호출 방법은 국토교통부_공동주택 에너지 사용 정보 하단에 샘플 코드를 제공하고 있어서 이를 활용해서 api 호출을 쉽게 할 수 있고, xml 호출 결과를 csv 파일로 변환하는 방법은 xsl 파일을 이용해서 csv 형태의 스타일로 바꿔서 파일을 저장하는 방식으로 진행했다.
\nprivate void xmlToCsv(String xml, String apiName) throws Exception{\n File stylesheet = new File(\"src/main/resources/data/\" + apiName + \"Style.xsl\");\n\n DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();\n DocumentBuilder builder = factory.newDocumentBuilder();\n Document document = builder.parse(new InputSource(new StringReader(xml)));\n\n StreamSource stylesource = new StreamSource(stylesheet);\n Transformer transformer = TransformerFactory.newInstance()\n .newTransformer(stylesource);\n Source source = new DOMSource(document);\n Result outputTarget = new StreamResult(new FileOutputStream(\"src/main/resources/data/\" + apiName + \".csv\", true));\n transformer.transform(source, outputTarget);\n }[참고 : https://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java]
\n<?xml version=\"1.0\"?>\n<xsl:stylesheet version=\"1.0\" xmlns:xsl=\"http://www.w3.org/1999/XSL/Transform\">\n<xsl:output method=\"text\" omit-xml-declaration=\"yes\" indent=\"no\"/>\n<xsl:template match=\"/\">\nreqDate,kaptCode,helect,hgas,hheat,hwaterCool\n<xsl:for-each select=\"//item\">\n<xsl:value-of select=\"concat(kaptCode, ',', helect, ',', hgas, ',', hheat, ',', hwaterCool, '
')\"/>\n</xsl:for-each>\n</xsl:template>\n</xsl:stylesheet>위와 같은 형태의 xsl 파일을 이용해서 원하는 값들만 csv 스타일로 지정할 수 있다.
\n그러면 다음과 같은 xml 형식의 응답 데이터들 중 원하는 값들만 csv 파일에 저장할 수 있다.
\n
(reqDate의 경우는 응답 데이터에는 없지만 따로 필요하기 때문에 위 xmlToCsv() 메소드를 수정해서 추가했습니다.)
앞서 포스트에서 진행한 것처럼 Elastic Stack 전부 다 설치 완료되었다고 생각하고 같은 방법으로 실행하면 된다.
\nbrew services start elastic/tap/elasticsearch-full\nbrew services start elastic/tap/kibana-full위 명령어로 Elasticsearch와 Kibana를 백그라운드에서 실행해주고, 이제 Logstash 설정으로 넘어가면 된다.
\n실행하기 전에 인덱싱하기 적절하게 필터링을 위한 설정 파일(logstash-sample.conf)을 수정하여 필터링 설정을 할 수 있는데 Homebrew를 통해 설치한 경우에는 다음과 같은 경로에 Logstash의 설정 파일들이 위치해 있다.
cd /opt/homebrew/etc/logstash\nvi logstash-sample.conf# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n beats {\n port => 5044\n }\n}\n\noutput {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n #user => \"elastic\"\n #password => \"changeme\"\n }\n}처음 설정 파일을 열어보면 위와 같이 파일이 구성되어 있는데 여기서 filter를 추가하여 필터링 설정을 할 수 있다.
\n“message” 필드를 통해 데이터들이 들어오고 csv 형태의 파일들은 ”,“를 기준으로 데이터들이 나뉘기 때문에 이를 이용해서 값들을 나누어주면 된다.
\n나뉜 값들은 이름을 지정해서 새로운 필드로 추가해주면 되고, 기본으로 제공하는 필요없는 필드들은 제거해주면 된다.
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n beats {\n port => 5044\n }\n}\n\nfilter {\n mutate {\n split => [\"message\", \",\"]\n add_field => {\n \"reqDate\" => \"%{[message][0]}\"\n \"kaptCode\" => \"%{[message][1]}\"\n \"helect\" => \"%{[message][2]}\"\n \"hgas\" => \"%{[message][3]}\"\n \"hheat\" => \"%{[message][4]}\"\n \"hwaterCool\" => \"%{[message][5]}\"\n }\n\n remove_field => [\"ecs\", \"host\", \"@version\", \"agent\", \"log\", \"tags\", \"input\", \"message\"]\n }\n}\n\noutput {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n #user => \"elastic\"\n #password => \"changeme\"\n }\n}이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Logstash를 실행한다.
\nlogstash -f logstash-sample.conf실행하기 전에 설정 파일(filebeat.yml)을 수정하여 input과 output에 대한 설정을 할 수 있다.
cd /opt/homebrew/etc/filebeat\nvi filebeat.yml# ============================== Filebeat inputs ===============================\n\nfilebeat.inputs:\n\n# Each - is an input. Most options can be set at the input level, so\n# you can use different inputs for various configurations.\n# Below are the input specific configurations.\n\n# filestream is an input for collecting log messages from files.\n- type: filestream\n\n # Change to true to enable this input configuration.\n enabled: true\n\n # Paths that should be crawled and fetched. Glob based paths.\n paths:\n - /Users/jfe/Desktop/Carbon_Tracker/Server/carbonTracker/src/main/resources/data/aptEnergy.csv설정 파일에서 input 부분에서 filestream 타입의 input을 허용해주기 위해 enabled: true로 바꿔주고, 읽기 원하는 데이터 파일의 경로를 지정해주면 된다.
\n그 다음, Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 데이터를 보내기 때문에 Elasticsearch로의 output 부분은 전부 주석 처리해주고, Logstash로의 output 부분 주석들을 해제해주면 된다.
# ---------------------------- Elasticsearch Output ----------------------------\n# output.elasticsearch:\n # Array of hosts to connect to.\n # hosts: [\"localhost:9200\"]\n\n # Protocol - either `http` (default) or `https`.\n #protocol: \"https\"\n\n # Authentication credentials - either API key or username/password.\n #api_key: \"id:api_key\"\n #username: \"elastic\"\n #password: \"changeme\"\n\n# ------------------------------ Logstash Output -------------------------------\noutput.logstash:\n # The Logstash hosts\n hosts: [\"localhost:5044\"]이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Filebeat를 실행하면 된다.
\nfilebeat -e # 일반적으로 실행 하는 경우\nfilebeat -e -c filebeat.yml # -c 옵션은 configuration 파일을 특정할 때 사용 (-c 사용안하면 default는 filebeat.yml)http://localhost:5601 에 접속하여 제대로 실행되었는지 확인하고, Index Patterns로 이동해서 index pattern을 설정하면 된다.
\n데이터가 정상적으로 수집되고 있으면 해당 index가 보여지고, 그 index를 기준으로 pattern을 만들 수 있다.
\n
\n
생성한 index pattern에 대한 데이터들은 discover 메뉴로 가서 확인할 수 있다.
\n
공공데이터 api를 연동해서 얻은 데이터를 Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 수집하는 방법에 대해서 간단하게만 포스팅했는데, 그래서 데이터 전처리도 아직 완벽하게 하지 않았고 Kibana 사용 방법도 아직 제대로 알지는 못해서 프로젝트를 더 진행하면서 추후에 프로젝트 진행 과정과 회고와 함께 추가로 포스팅하겠습니다. (종프 화이팅,,)
\nhttps://www.data.go.kr/data/15012964/openapi.do
\nhttps://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java
\nhttps://taetaetae.github.io/posts/make-dashboards-from-elasticstack-1/
\nhttp://trandent.com/article/etc/detail/323366
/bin/bash -c \"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)\"Homebrew 설치가 되어있지 않으면 터미널에서 위 명령어를 입력하여 설치할 수 있다.
\nbrew tap elastic/tap터미널에서 위 명령어를 통해 elastic 패키지 저장소를 추가할 수 있다.
\nbrew install elastic/tap/elasticsearch-full위 명령어로 Elasticsearch를 설치할 수 있고
\nelasticsearch설치 완료 후에는 elasticsearch 명령어를 통해 Elasticsearch를 실행할 수 있다.
\n백그라운드에서 실행하고 싶으면 elasticsearch 명령어 대신 다음과 같은 명령어로 실행할 수도 있다.
\n(중단할 경우에는 start 대신에 stop 사용)
brew services start elastic/tap/elasticsearch-full실행 후에는 http://localhost:9200 에 접속하여 제대로 실행되었는지 확인할 수 있다.
\n다음과 같은 화면이 보이면 제대로 실행중인 경우
\n
brew install elastic/tap/kibana-fullkibana 또한 위 명령어로 kibana를 설치할 수 있고
\nkibana설치 완료 후에는 kibana 명령어를 통해 실행할 수 있고,
\n다음과 같은 명령어로 백그라운드에서 실행할 수도 있다.
brew services start elastic/tap/kibana-full실행 후에는 http://localhost:5601 에 접속하여 제대로 실행되었는지 확인할 수 있다.
\n다음과 같은 화면이 보이면 성공
\n
brew install elastic/tap/logstash-fullLogstash도 위 명령어를 통해 설치할 수 있고,
\n실행하기 전에 인덱싱하기 적절하게 필터링을 위한 설정 파일(logstash-sample.conf)을 수정하여 필터링 설정을 할 수 있다.
cd /opt/homebrew/etc/logstashHomebrew를 이용하여 설치한 경우에는 다음과 같은 경로에서 설정 파일들을 확인할 수 있고
\n여기서 logstash-sample.conf 설정 파일을 수정하면 된다.
vi logstash-sample.conf# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n beats {\n port => 5044\n }\n}\n\noutput {\n elasticsearch {\n hosts => [\"http://localhost:9200\"]\n index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n #user => \"elastic\"\n #password => \"changeme\"\n }\n}설정 파일을 열어보면 위와 같이 파일이 구성되어 있는데 여기서 filter를 추가하여 필터링 설정을 할 수 있다.
\n(filter 설정에 대한 예시는 이후 포스트에서 다룰 예정)
\n이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Logstash를 실행할 수 있다.
logstash -f logstash-sample.confbrew install elastic/tap/filebeat-fullFilebeat도 위 명령어를 통해 설치할 수 있고,
\n실행하기 전에 설정 파일(filebeat.yml)을 수정하여 input과 output에 대한 설정을 할 수 있다.
cd /opt/homebrew/etc/filebeat\nvi filebeat.ymlFilebeat 설정에 대한 설명도 이후 포스트에서 예시를 통해 다룰 예정이다.
\n이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Filebeat를 실행할 수 있다.
filebeat -e # 일반적으로 실행 하는 경우\nfilebeat -e -c filebeat.yml # -c 옵션은 configuration 파일을 특정할 때 사용 (-c 사용안하면 default는 filebeat.yml)https://programmers.co.kr/learn/courses/30/lessons/42861
\nn개의 섬 사이에 다리를 건설하는 비용(costs)이 주어질 때, 최소의 비용으로 모든 섬이 서로 통행 가능하도록 만들 때 필요한 최소 비용을 return 하도록 solution을 완성하세요.
\n다리를 여러 번 건너더라도, 도달할 수만 있으면 통행 가능하다고 봅니다. 예를 들어 A 섬과 B 섬 사이에 다리가 있고, B 섬과 C 섬 사이에 다리가 있으면 A 섬과 C 섬은 서로 통행 가능합니다.
\n((n-1) * n) / 2 이하입니다.| n | \ncosts | \nreturn | \n
|---|---|---|
| 4 | \n[[0,1,1],[0,2,2],[1,2,5],[1,3,1],[2,3,8]] | \n4 | \n
Kruskal
\ndef find_parent(parent, x):\n if parent[x] != x:\n parent[x] = find_parent(parent, parent[x])\n return parent[x]\n\ndef union_parent(parent, a, b):\n a = find_parent(parent, a)\n b = find_parent(parent, b)\n if(a < b):\n parent[b] = a\n else:\n parent[a] = b\n\ndef kruskal():\n result = 0\n while h:\n l, (a, b) = heapq.heappop(h)\n if find_parent(parent, a) != find_parent(parent, b):\n union_parent(parent, a, b)\n result += l\n return resultimport heapq\ndef solution(n, costs):\n def find_parent(parent, x):\n if parent[x] != x:\n parent[x] = find_parent(parent, parent[x])\n return parent[x]\n\n def union_parent(parent, a, b):\n a = find_parent(parent, a)\n b = find_parent(parent, b)\n if(a < b):\n parent[b] = a\n else:\n parent[a] = b\n\n def kruskal():\n result = 0\n while h:\n l, (a, b) = heapq.heappop(h)\n if find_parent(parent, a) != find_parent(parent, b):\n union_parent(parent, a, b)\n result += l\n return result\n \n answer, h = 0, []\n parent = [int(x) for x in range(n)]\n for i in range(len(costs)):\n heapq.heappush(h, (costs[i][2], (costs[i][0], costs[i][1])))\n answer = kruskal()\n return answerMinimun Spanning Tree를 만들어야 된다고 생각해서 Kruskal 알고리즘을 떠올렸다.
\n얼마 전에 Kruskal 알고리즘으로 문제를 풀었어서 바로 생각해내서 풀 수 있었다.