{ "componentChunkName": "component---src-templates-blog-template-js", "path": "/pg-42861/", "result": {"data":{"cur":{"id":"b7c11137-f10f-5c41-874c-9f3bba8eaaf0","html":"

문제

\n

https://programmers.co.kr/learn/courses/30/lessons/42861

\n

n개의 섬 사이에 다리를 건설하는 비용(costs)이 주어질 때, 최소의 비용으로 모든 섬이 서로 통행 가능하도록 만들 때 필요한 최소 비용을 return 하도록 solution을 완성하세요.

\n

다리를 여러 번 건너더라도, 도달할 수만 있으면 통행 가능하다고 봅니다. 예를 들어 A 섬과 B 섬 사이에 다리가 있고, B 섬과 C 섬 사이에 다리가 있으면 A 섬과 C 섬은 서로 통행 가능합니다.

\n
\n

제한사항

\n\n
\n

입출력 예

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
ncostsreturn
4[[0,1,1],[0,2,2],[1,2,5],[1,3,1],[2,3,8]]4
\n
\n

🔍 Algorithm

\n

Kruskal

\n

💻 Logic

\n
def find_parent(parent, x):\n        if parent[x] != x:\n            parent[x] = find_parent(parent, parent[x])\n        return parent[x]\n\ndef union_parent(parent, a, b):\n        a = find_parent(parent, a)\n        b = find_parent(parent, b)\n        if(a < b):\n            parent[b] = a\n        else:\n            parent[a] = b\n\ndef kruskal():\n        result = 0\n        while h:\n            l, (a, b) = heapq.heappop(h)\n            if find_parent(parent, a) != find_parent(parent, b):\n                union_parent(parent, a, b)\n                result += l\n        return result
\n\n
\n

🧩 Code

\n
전체 코드 확인\n
import heapq\ndef solution(n, costs):\n    def find_parent(parent, x):\n        if parent[x] != x:\n            parent[x] = find_parent(parent, parent[x])\n        return parent[x]\n\n    def union_parent(parent, a, b):\n        a = find_parent(parent, a)\n        b = find_parent(parent, b)\n        if(a < b):\n            parent[b] = a\n        else:\n            parent[a] = b\n\n    def kruskal():\n        result = 0\n        while h:\n            l, (a, b) = heapq.heappop(h)\n            if find_parent(parent, a) != find_parent(parent, b):\n                union_parent(parent, a, b)\n                result += l\n        return result\n    \n    answer, h = 0, []\n    parent = [int(x) for x in range(n)]\n    for i in range(len(costs)):\n        heapq.heappush(h, (costs[i][2], (costs[i][0], costs[i][1])))\n    answer = kruskal()\n    return answer
\n
\n
\n

📝 Review

\n

Minimun Spanning Tree를 만들어야 된다고 생각해서 Kruskal 알고리즘을 떠올렸다.
\n얼마 전에 Kruskal 알고리즘으로 문제를 풀었어서 바로 생각해내서 풀 수 있었다.

\n
\n\n
","excerpt":"문제 https://programmers.co.kr/learn/courses/30/lessons/42861 n개의 섬 사이에 다리를 건설하는 비용(costs)이 주어질 때, 최소의 비용으로 모든 섬이 서로 통행 가능하도록 만들 때 필요한 최소 비용을 return 하도록 solution을 완성하세요. 다리를 여러 번 건너더라도, 도달할 수만 있으면 통행 가능하다고 봅니다. 예를 들어 A 섬과 B 섬 사이에 다리가 있고, B 섬과 C 섬 사이에 다리가 있으면 A 섬과 C 섬은 서로 통행 가능합니다. 제한사항 섬의 개수 n은 1 이상 100 이하입니다. costs의 길이는 이하입니다. 임의의 i에 대해, costs[i][0] 와 costs[i][1]에는 다리가 연결되는 두 섬의 번호가 들어있고, costs[i][2]에는 이 두 섬을 연결하는 다리를 건설할 때 드는 비용입니다. 같은 연결은 두 번 주어지지 않습니다. 또한 순서가 바뀌더라도 같은 연결로 봅니다. 즉 0과 1 사이를 연결하…","frontmatter":{"date":"April 12, 2022","title":"[Programmers] 42861번: 섬 연결하기 (Python)","categories":"Algorithm","author":"JFe","emoji":"💻"},"fields":{"slug":"/pg-42861/"}},"next":{"id":"14d02f5d-8a45-5d02-a388-e0abc2a9a2a7","html":"

1. 공공데이터 api 준비

\n

일단 먼저 원하는 공공데이터 api를 공공데이터 포털에서 확인할 수 있다. 여기서 자신이 원하는 다양한 공공데이터를 찾을 수 있고, csv 형태의 파일 데이터나 api 형식으로 제공받을 수 있는데 이 포스트에서는 실제 프로젝트 진행 중에 사용했던 공공데이터 api를 기준으로 설명할 것이다.
\n국토교통부_공동주택 에너지 사용 정보 api로 api를 호출하면 xml 형태의 데이터를 반환해준다.

\n

2. 데이터 전처리

\n

Filebeat가 파일을 읽어서 logstash로 보낼 때, 보통 csv 파일을 읽도록 하는 것이 편하기 때문에 Spring 환경에서 api를 호출하면서 xml 형태의 호출 결과를 csv 파일 형식으로 저장하도록 설정했다.
\n(Xml filter plugin을 사용해서 Logstash에서 filter 설정을 하는 방법도 있다.)

\n

공공데이터 api 호출 방법은 국토교통부_공동주택 에너지 사용 정보 하단에 샘플 코드를 제공하고 있어서 이를 활용해서 api 호출을 쉽게 할 수 있고, xml 호출 결과를 csv 파일로 변환하는 방법은 xsl 파일을 이용해서 csv 형태의 스타일로 바꿔서 파일을 저장하는 방식으로 진행했다.

\n
private void xmlToCsv(String xml, String apiName) throws Exception{\n        File stylesheet = new File(\"src/main/resources/data/\" + apiName + \"Style.xsl\");\n\n        DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();\n        DocumentBuilder builder = factory.newDocumentBuilder();\n        Document document = builder.parse(new InputSource(new StringReader(xml)));\n\n        StreamSource stylesource = new StreamSource(stylesheet);\n        Transformer transformer = TransformerFactory.newInstance()\n                .newTransformer(stylesource);\n        Source source = new DOMSource(document);\n        Result outputTarget = new StreamResult(new FileOutputStream(\"src/main/resources/data/\" + apiName + \".csv\", true));\n        transformer.transform(source, outputTarget);\n    }
\n

[참고 : https://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java]

\n
<?xml version=\"1.0\"?>\n<xsl:stylesheet version=\"1.0\" xmlns:xsl=\"http://www.w3.org/1999/XSL/Transform\">\n<xsl:output method=\"text\" omit-xml-declaration=\"yes\" indent=\"no\"/>\n<xsl:template match=\"/\">\nreqDate,kaptCode,helect,hgas,hheat,hwaterCool\n<xsl:for-each select=\"//item\">\n<xsl:value-of select=\"concat(kaptCode, ',', helect, ',', hgas, ',', hheat, ',', hwaterCool, '&#xA;')\"/>\n</xsl:for-each>\n</xsl:template>\n</xsl:stylesheet>
\n

위와 같은 형태의 xsl 파일을 이용해서 원하는 값들만 csv 스타일로 지정할 수 있다.
\n그러면 다음과 같은 xml 형식의 응답 데이터들 중 원하는 값들만 csv 파일에 저장할 수 있다.

\n

\n \n \n
\n\n \n \n

\n

(reqDate의 경우는 응답 데이터에는 없지만 따로 필요하기 때문에 위 xmlToCsv() 메소드를 수정해서 추가했습니다.)

\n
\n

3. Elasticsearch 및 Kibana 실행

\n

앞서 포스트에서 진행한 것처럼 Elastic Stack 전부 다 설치 완료되었다고 생각하고 같은 방법으로 실행하면 된다.

\n
brew services start elastic/tap/elasticsearch-full\nbrew services start elastic/tap/kibana-full
\n

위 명령어로 Elasticsearch와 Kibana를 백그라운드에서 실행해주고, 이제 Logstash 설정으로 넘어가면 된다.

\n
\n

4. Logstash 설정 및 실행

\n

실행하기 전에 인덱싱하기 적절하게 필터링을 위한 설정 파일(logstash-sample.conf)을 수정하여 필터링 설정을 할 수 있는데 Homebrew를 통해 설치한 경우에는 다음과 같은 경로에 Logstash의 설정 파일들이 위치해 있다.

\n
cd /opt/homebrew/etc/logstash\nvi logstash-sample.conf
\n
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n  beats {\n    port => 5044\n  }\n}\n\noutput {\n  elasticsearch {\n    hosts => [\"http://localhost:9200\"]\n    index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n    #user => \"elastic\"\n    #password => \"changeme\"\n  }\n}
\n

처음 설정 파일을 열어보면 위와 같이 파일이 구성되어 있는데 여기서 filter를 추가하여 필터링 설정을 할 수 있다.
\n“message” 필드를 통해 데이터들이 들어오고 csv 형태의 파일들은 ”,“를 기준으로 데이터들이 나뉘기 때문에 이를 이용해서 값들을 나누어주면 된다.
\n나뉜 값들은 이름을 지정해서 새로운 필드로 추가해주면 되고, 기본으로 제공하는 필요없는 필드들은 제거해주면 된다.

\n
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n  beats {\n    port => 5044\n  }\n}\n\nfilter {\n  mutate {\n    split => [\"message\", \",\"]\n    add_field => {\n      \"reqDate\" => \"%{[message][0]}\"\n      \"kaptCode\" => \"%{[message][1]}\"\n      \"helect\" => \"%{[message][2]}\"\n      \"hgas\" => \"%{[message][3]}\"\n      \"hheat\" => \"%{[message][4]}\"\n      \"hwaterCool\" => \"%{[message][5]}\"\n    }\n\n    remove_field => [\"ecs\", \"host\", \"@version\", \"agent\", \"log\", \"tags\", \"input\", \"message\"]\n  }\n}\n\noutput {\n  elasticsearch {\n    hosts => [\"http://localhost:9200\"]\n    index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n    #user => \"elastic\"\n    #password => \"changeme\"\n  }\n}
\n

이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Logstash를 실행한다.

\n
logstash -f logstash-sample.conf
\n
\n

5. Filebeat 설정 및 실행

\n

실행하기 전에 설정 파일(filebeat.yml)을 수정하여 input과 output에 대한 설정을 할 수 있다.

\n
cd /opt/homebrew/etc/filebeat\nvi filebeat.yml
\n
# ============================== Filebeat inputs ===============================\n\nfilebeat.inputs:\n\n# Each - is an input. Most options can be set at the input level, so\n# you can use different inputs for various configurations.\n# Below are the input specific configurations.\n\n# filestream is an input for collecting log messages from files.\n- type: filestream\n\n  # Change to true to enable this input configuration.\n  enabled: true\n\n  # Paths that should be crawled and fetched. Glob based paths.\n  paths:\n    - /Users/jfe/Desktop/Carbon_Tracker/Server/carbonTracker/src/main/resources/data/aptEnergy.csv
\n

설정 파일에서 input 부분에서 filestream 타입의 input을 허용해주기 위해 enabled: true로 바꿔주고, 읽기 원하는 데이터 파일의 경로를 지정해주면 된다.
\n그 다음, Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 데이터를 보내기 때문에 Elasticsearch로의 output 부분은 전부 주석 처리해주고, Logstash로의 output 부분 주석들을 해제해주면 된다.

\n
# ---------------------------- Elasticsearch Output ----------------------------\n# output.elasticsearch:\n  # Array of hosts to connect to.\n  # hosts: [\"localhost:9200\"]\n\n  # Protocol - either `http` (default) or `https`.\n  #protocol: \"https\"\n\n  # Authentication credentials - either API key or username/password.\n  #api_key: \"id:api_key\"\n  #username: \"elastic\"\n  #password: \"changeme\"\n\n# ------------------------------ Logstash Output -------------------------------\noutput.logstash:\n  # The Logstash hosts\n  hosts: [\"localhost:5044\"]
\n

이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Filebeat를 실행하면 된다.

\n
filebeat -e                 # 일반적으로 실행 하는 경우\nfilebeat -e -c filebeat.yml # -c 옵션은 configuration 파일을 특정할 때 사용 (-c 사용안하면 default는 filebeat.yml)
\n
\n

6. Kibana에서 데이터 확인

\n

http://localhost:5601 에 접속하여 제대로 실행되었는지 확인하고, Index Patterns로 이동해서 index pattern을 설정하면 된다.
\n데이터가 정상적으로 수집되고 있으면 해당 index가 보여지고, 그 index를 기준으로 pattern을 만들 수 있다.
\n\n \n \n
\n\n \n \n

\n

생성한 index pattern에 대한 데이터들은 discover 메뉴로 가서 확인할 수 있다.
\n\n \n \n

\n
\n

공공데이터 api를 연동해서 얻은 데이터를 Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 수집하는 방법에 대해서 간단하게만 포스팅했는데, 그래서 데이터 전처리도 아직 완벽하게 하지 않았고 Kibana 사용 방법도 아직 제대로 알지는 못해서 프로젝트를 더 진행하면서 추후에 프로젝트 진행 과정과 회고와 함께 추가로 포스팅하겠습니다. (종프 화이팅,,)

\n
\n

📎 Reference

\n

https://www.data.go.kr/data/15012964/openapi.do
\nhttps://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java
\nhttps://taetaetae.github.io/posts/make-dashboards-from-elasticstack-1/
\nhttp://trandent.com/article/etc/detail/323366

\n
\n\n
","frontmatter":{"date":"April 09, 2022","title":"[Elastic] Elastic Stack + 공공데이터 api 활용","categories":"Database","author":"JFe","emoji":"🏢"},"fields":{"slug":"/elastic-open-data-api/"}},"prev":{"id":"85e77e03-4abc-573d-a59b-79c4c8065c69","html":"

[2019 카카오 개발자 겨울 인턴십]

\n

문제

\n

https://programmers.co.kr/learn/courses/30/lessons/64061

\n

게임개발자인 “죠르디”는 크레인 인형뽑기 기계를 모바일 게임으로 만들려고 합니다.
\n“죠르디”는 게임의 재미를 높이기 위해 화면 구성과 규칙을 다음과 같이 게임 로직에 반영하려고 합니다.

\n

\n \n \n

\n

게임 화면은 “1 x 1” 크기의 칸들로 이루어진 “N x N” 크기의 정사각 격자이며 위쪽에는 크레인이 있고 오른쪽에는 바구니가 있습니다. (위 그림은 “5 x 5” 크기의 예시입니다). 각 격자 칸에는 다양한 인형이 들어 있으며 인형이 없는 칸은 빈칸입니다. 모든 인형은 “1 x 1” 크기의 격자 한 칸을 차지하며 격자의 가장 아래 칸부터 차곡차곡 쌓여 있습니다. 게임 사용자는 크레인을 좌우로 움직여서 멈춘 위치에서 가장 위에 있는 인형을 집어 올릴 수 있습니다. 집어 올린 인형은 바구니에 쌓이게 되는 데, 이때 바구니의 가장 아래 칸부터 인형이 순서대로 쌓이게 됩니다. 다음 그림은 [1번, 5번, 3번] 위치에서 순서대로 인형을 집어 올려 바구니에 담은 모습입니다.

\n

\n