{ "componentChunkName": "component---src-templates-blog-template-js", "path": "/elastic-mac-install/", "result": {"data":{"cur":{"id":"5b80011f-3dec-5ecf-ac2e-48a0a7d93009","html":"

1. Homebrew 설치

\n
/bin/bash -c \"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)\"
\n

Homebrew 설치가 되어있지 않으면 터미널에서 위 명령어를 입력하여 설치할 수 있다.

\n
\n

2. elastic tap 저장소 추가

\n
brew tap elastic/tap
\n

터미널에서 위 명령어를 통해 elastic 패키지 저장소를 추가할 수 있다.

\n
\n

3. Elasticsearch 설치 및 실행

\n
brew install elastic/tap/elasticsearch-full
\n

위 명령어로 Elasticsearch를 설치할 수 있고

\n
elasticsearch
\n

설치 완료 후에는 elasticsearch 명령어를 통해 Elasticsearch를 실행할 수 있다.
\n백그라운드에서 실행하고 싶으면 elasticsearch 명령어 대신 다음과 같은 명령어로 실행할 수도 있다.
\n(중단할 경우에는 start 대신에 stop 사용)

\n
brew services start elastic/tap/elasticsearch-full
\n

실행 후에는 http://localhost:9200 에 접속하여 제대로 실행되었는지 확인할 수 있다.
\n다음과 같은 화면이 보이면 제대로 실행중인 경우
\n\n \n \n

\n
\n

4. Kibana 설치 및 실행

\n
brew install elastic/tap/kibana-full
\n

kibana 또한 위 명령어로 kibana를 설치할 수 있고

\n
kibana
\n

설치 완료 후에는 kibana 명령어를 통해 실행할 수 있고,
\n다음과 같은 명령어로 백그라운드에서 실행할 수도 있다.

\n
brew services start elastic/tap/kibana-full
\n

실행 후에는 http://localhost:5601 에 접속하여 제대로 실행되었는지 확인할 수 있다.
\n다음과 같은 화면이 보이면 성공
\n\n \n \n

\n
\n

5. Logstash 설치 및 실행

\n
brew install elastic/tap/logstash-full
\n

Logstash도 위 명령어를 통해 설치할 수 있고,
\n실행하기 전에 인덱싱하기 적절하게 필터링을 위한 설정 파일(logstash-sample.conf)을 수정하여 필터링 설정을 할 수 있다.

\n
cd /opt/homebrew/etc/logstash
\n

Homebrew를 이용하여 설치한 경우에는 다음과 같은 경로에서 설정 파일들을 확인할 수 있고
\n여기서 logstash-sample.conf 설정 파일을 수정하면 된다.

\n
vi logstash-sample.conf
\n
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n  beats {\n    port => 5044\n  }\n}\n\noutput {\n  elasticsearch {\n    hosts => [\"http://localhost:9200\"]\n    index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n    #user => \"elastic\"\n    #password => \"changeme\"\n  }\n}
\n

설정 파일을 열어보면 위와 같이 파일이 구성되어 있는데 여기서 filter를 추가하여 필터링 설정을 할 수 있다.
\n(filter 설정에 대한 예시는 이후 포스트에서 다룰 예정)
\n이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Logstash를 실행할 수 있다.

\n
logstash -f logstash-sample.conf
\n
\n

6. Filebeat 설치 및 실행

\n
brew install elastic/tap/filebeat-full
\n

Filebeat도 위 명령어를 통해 설치할 수 있고,
\n실행하기 전에 설정 파일(filebeat.yml)을 수정하여 input과 output에 대한 설정을 할 수 있다.

\n
cd /opt/homebrew/etc/filebeat\nvi filebeat.yml
\n

Filebeat 설정에 대한 설명도 이후 포스트에서 예시를 통해 다룰 예정이다.
\n이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Filebeat를 실행할 수 있다.

\n
filebeat -e                 # 일반적으로 실행 하는 경우\nfilebeat -e -c filebeat.yml # -c 옵션은 configuration 파일을 특정할 때 사용 (-c 사용안하면 default는 filebeat.yml)
\n
\n\n
","excerpt":"1. Homebrew 설치 Homebrew 설치가 되어있지 않으면 터미널에서 위 명령어를 입력하여 설치할 수 있다. 2. elastic tap 저장소 추가 터미널에서 위 명령어를 통해 elastic 패키지 저장소를 추가할 수 있다. 3. Elasticsearch 설치 및 실행 위 명령어로 Elasticsearch를 설치할 수 있고 설치 완료 후에는 명령어를 통해 Elasticsearch를 실행할 수 있다. 백그라운드에서 실행하고 싶으면 명령어 대신 다음과 같은 명령어로 실행할 수도 있다. (중단할 경우에는 대신에 사용) 실행 후에는 http://localhost:9200 에 접속하여 제대로 실행되었는지 확인할 수 있다. 다음과 같은 화면이 보이면 제대로 실행중인 경우 4. Kibana 설치 및 실행 kibana 또한 위 명령어로 kibana를 설치할 수 있고 설치 완료 후에는 명령어를 통해 실행할 수 있고, 다음과 같은 명령어로 백그라운드에서 실행할 수도 있다. 실행 후…","frontmatter":{"date":"April 06, 2022","title":"[Elastic] Elastic Stack(ELK Stack) - Mac OS 설치 방법","categories":"Database","author":"JFe","emoji":"🍺"},"fields":{"slug":"/elastic-mac-install/"}},"next":{"id":"f5b461ae-e59d-5ffe-b13b-71f1e54f2e23","html":"

\n \n \n

\n
\n

Elastic 공식 페이지 문서를 참고하여 작성하였습니다.

\n
\n

Elastic Stack ??

\n

모든 유형의 데이터를 실시간으로 검색, 분석 및 시각화할 수 있는 Elastic의 오픈소스 프로젝트들을 하나로 묶어서 Elastic Stack이라고 한다.
\n원래는 검색 및 분석 엔진인 Elasticsearch, 수집 파이프라인인 Logstash, 시각화 도구인 Kibana의 앞글자만 따서 ELK Stack이라고 불렀으나 파일 추적을 위한 Beats를 추가하면서 Elastic Stack으로 이름이 바뀌었다.

\n

https://www.elastic.co/kr/what-is/elk-stack

\n
\n

Elastic Stack 구조

\n

\"elk-stack-elkb-diagram.svg\"

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
SQLElastic설명
columnfield
rowdocument
tableindex
schemaXSQL의 schema와 비슷한 기능을 따로 제공하지 X
\n

1. Beats

\n

[경량 데이터 수집기]
\nBeats는 단일 목적의 데이터 수집기 무료 오픈 소스 플랫폼으로 수백 수천 개의 장비와 시스템으로부터 Logstash나 Elasticsearch에 데이터를 전송한다.

\n\n

다음과 같이 데이터 유형에 따라 여러 종류의 수집기를 제공하고 있고, 자신의 데이터 수집 환경에 맞게 원하는 수집기를 선택하여 편리하게 데이터를 수집할 수 있다.

\n

2. Logstash

\n

[데이터 처리 파이프라인]
\n무료 오픈 소스 서버의 데이터 처리 파이프라인인 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달한다.
\nLogstash는 입력/필터/출력 구조로 구성되어 있고, 모든 형태의 데이터를 수집해서 필터를 이용해 형식이나 복잡성에 관계없이 데이터를 동적으로 변환하고 원하는 곳으로 스태시를 선택하여 전송할 수 있다.
\n특히 필터에서는 grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 할 수 있고, 플러그인을 이용해 원하는대로 파이프라인을 생성하고 구성할 수 있다.

\n

3. Elasticsearch

\n

[검색 및 분석 엔진]
\nElasticsearch는 Apache Lucene을 기반으로 하는 분산형 RESTful 검색 및 분석 엔진이다.
\nElastic Stack의 중심으로, Elasticsearch는 빠른 검색, 정교하게 조정된 정확도, 강력한 분석을 위해 데이터를 중앙에 저장하고 정형 데이터, 비정형 데이터, 위치 정보, 메트릭 등 다양한 유형의 데이터를 사용자가 원하는 방식으로 검색하고 결합할 수 있도록 지원한다.

\n

4. Kibana

\n

[시각화 도구]
\nKibana는 Elasticsearch 데이터를 시각화하고 Elastic Stack을 탐색하게 해주는 무료 오픈 소스 인터페이스다.
\n히스토그램, 선 그래프, 원형 차트, 선버스트 등의 기본적인 요소로 구성되어 있고, 모든 문서에 걸쳐 검색이 가능하다.

\n\n
\n

📎 Reference

\n

https://www.elastic.co/kr/what-is/elk-stack
\nhttps://www.elastic.co/guide/en/elasticsearch/reference/8.1/_mapping_concepts_across_sql_and_elasticsearch.html#
\nhttps://www.elastic.co/static-res/images/elk/elk-stack-elkb-diagram.svg

\n
\n\n
","frontmatter":{"date":"April 06, 2022","title":"[Elastic] Elastic Stack(ELK Stack) 소개","categories":"Database","author":"JFe","emoji":"📚"},"fields":{"slug":"/elastic-intro/"}},"prev":{"id":"14d02f5d-8a45-5d02-a388-e0abc2a9a2a7","html":"

1. 공공데이터 api 준비

\n

일단 먼저 원하는 공공데이터 api를 공공데이터 포털에서 확인할 수 있다. 여기서 자신이 원하는 다양한 공공데이터를 찾을 수 있고, csv 형태의 파일 데이터나 api 형식으로 제공받을 수 있는데 이 포스트에서는 실제 프로젝트 진행 중에 사용했던 공공데이터 api를 기준으로 설명할 것이다.
\n국토교통부_공동주택 에너지 사용 정보 api로 api를 호출하면 xml 형태의 데이터를 반환해준다.

\n

2. 데이터 전처리

\n

Filebeat가 파일을 읽어서 logstash로 보낼 때, 보통 csv 파일을 읽도록 하는 것이 편하기 때문에 Spring 환경에서 api를 호출하면서 xml 형태의 호출 결과를 csv 파일 형식으로 저장하도록 설정했다.
\n(Xml filter plugin을 사용해서 Logstash에서 filter 설정을 하는 방법도 있다.)

\n

공공데이터 api 호출 방법은 국토교통부_공동주택 에너지 사용 정보 하단에 샘플 코드를 제공하고 있어서 이를 활용해서 api 호출을 쉽게 할 수 있고, xml 호출 결과를 csv 파일로 변환하는 방법은 xsl 파일을 이용해서 csv 형태의 스타일로 바꿔서 파일을 저장하는 방식으로 진행했다.

\n
private void xmlToCsv(String xml, String apiName) throws Exception{\n        File stylesheet = new File(\"src/main/resources/data/\" + apiName + \"Style.xsl\");\n\n        DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();\n        DocumentBuilder builder = factory.newDocumentBuilder();\n        Document document = builder.parse(new InputSource(new StringReader(xml)));\n\n        StreamSource stylesource = new StreamSource(stylesheet);\n        Transformer transformer = TransformerFactory.newInstance()\n                .newTransformer(stylesource);\n        Source source = new DOMSource(document);\n        Result outputTarget = new StreamResult(new FileOutputStream(\"src/main/resources/data/\" + apiName + \".csv\", true));\n        transformer.transform(source, outputTarget);\n    }
\n

[참고 : https://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java]

\n
<?xml version=\"1.0\"?>\n<xsl:stylesheet version=\"1.0\" xmlns:xsl=\"http://www.w3.org/1999/XSL/Transform\">\n<xsl:output method=\"text\" omit-xml-declaration=\"yes\" indent=\"no\"/>\n<xsl:template match=\"/\">\nreqDate,kaptCode,helect,hgas,hheat,hwaterCool\n<xsl:for-each select=\"//item\">\n<xsl:value-of select=\"concat(kaptCode, ',', helect, ',', hgas, ',', hheat, ',', hwaterCool, '&#xA;')\"/>\n</xsl:for-each>\n</xsl:template>\n</xsl:stylesheet>
\n

위와 같은 형태의 xsl 파일을 이용해서 원하는 값들만 csv 스타일로 지정할 수 있다.
\n그러면 다음과 같은 xml 형식의 응답 데이터들 중 원하는 값들만 csv 파일에 저장할 수 있다.

\n

\n \n \n
\n\n \n \n

\n

(reqDate의 경우는 응답 데이터에는 없지만 따로 필요하기 때문에 위 xmlToCsv() 메소드를 수정해서 추가했습니다.)

\n
\n

3. Elasticsearch 및 Kibana 실행

\n

앞서 포스트에서 진행한 것처럼 Elastic Stack 전부 다 설치 완료되었다고 생각하고 같은 방법으로 실행하면 된다.

\n
brew services start elastic/tap/elasticsearch-full\nbrew services start elastic/tap/kibana-full
\n

위 명령어로 Elasticsearch와 Kibana를 백그라운드에서 실행해주고, 이제 Logstash 설정으로 넘어가면 된다.

\n
\n

4. Logstash 설정 및 실행

\n

실행하기 전에 인덱싱하기 적절하게 필터링을 위한 설정 파일(logstash-sample.conf)을 수정하여 필터링 설정을 할 수 있는데 Homebrew를 통해 설치한 경우에는 다음과 같은 경로에 Logstash의 설정 파일들이 위치해 있다.

\n
cd /opt/homebrew/etc/logstash\nvi logstash-sample.conf
\n
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n  beats {\n    port => 5044\n  }\n}\n\noutput {\n  elasticsearch {\n    hosts => [\"http://localhost:9200\"]\n    index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n    #user => \"elastic\"\n    #password => \"changeme\"\n  }\n}
\n

처음 설정 파일을 열어보면 위와 같이 파일이 구성되어 있는데 여기서 filter를 추가하여 필터링 설정을 할 수 있다.
\n“message” 필드를 통해 데이터들이 들어오고 csv 형태의 파일들은 ”,“를 기준으로 데이터들이 나뉘기 때문에 이를 이용해서 값들을 나누어주면 된다.
\n나뉜 값들은 이름을 지정해서 새로운 필드로 추가해주면 되고, 기본으로 제공하는 필요없는 필드들은 제거해주면 된다.

\n
# Sample Logstash configuration for creating a simple\n# Beats -> Logstash -> Elasticsearch pipeline.\ninput {\n  beats {\n    port => 5044\n  }\n}\n\nfilter {\n  mutate {\n    split => [\"message\", \",\"]\n    add_field => {\n      \"reqDate\" => \"%{[message][0]}\"\n      \"kaptCode\" => \"%{[message][1]}\"\n      \"helect\" => \"%{[message][2]}\"\n      \"hgas\" => \"%{[message][3]}\"\n      \"hheat\" => \"%{[message][4]}\"\n      \"hwaterCool\" => \"%{[message][5]}\"\n    }\n\n    remove_field => [\"ecs\", \"host\", \"@version\", \"agent\", \"log\", \"tags\", \"input\", \"message\"]\n  }\n}\n\noutput {\n  elasticsearch {\n    hosts => [\"http://localhost:9200\"]\n    index => \"%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}\"\n    #user => \"elastic\"\n    #password => \"changeme\"\n  }\n}
\n

이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Logstash를 실행한다.

\n
logstash -f logstash-sample.conf
\n
\n

5. Filebeat 설정 및 실행

\n

실행하기 전에 설정 파일(filebeat.yml)을 수정하여 input과 output에 대한 설정을 할 수 있다.

\n
cd /opt/homebrew/etc/filebeat\nvi filebeat.yml
\n
# ============================== Filebeat inputs ===============================\n\nfilebeat.inputs:\n\n# Each - is an input. Most options can be set at the input level, so\n# you can use different inputs for various configurations.\n# Below are the input specific configurations.\n\n# filestream is an input for collecting log messages from files.\n- type: filestream\n\n  # Change to true to enable this input configuration.\n  enabled: true\n\n  # Paths that should be crawled and fetched. Glob based paths.\n  paths:\n    - /Users/jfe/Desktop/Carbon_Tracker/Server/carbonTracker/src/main/resources/data/aptEnergy.csv
\n

설정 파일에서 input 부분에서 filestream 타입의 input을 허용해주기 위해 enabled: true로 바꿔주고, 읽기 원하는 데이터 파일의 경로를 지정해주면 된다.
\n그 다음, Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 데이터를 보내기 때문에 Elasticsearch로의 output 부분은 전부 주석 처리해주고, Logstash로의 output 부분 주석들을 해제해주면 된다.

\n
# ---------------------------- Elasticsearch Output ----------------------------\n# output.elasticsearch:\n  # Array of hosts to connect to.\n  # hosts: [\"localhost:9200\"]\n\n  # Protocol - either `http` (default) or `https`.\n  #protocol: \"https\"\n\n  # Authentication credentials - either API key or username/password.\n  #api_key: \"id:api_key\"\n  #username: \"elastic\"\n  #password: \"changeme\"\n\n# ------------------------------ Logstash Output -------------------------------\noutput.logstash:\n  # The Logstash hosts\n  hosts: [\"localhost:5044\"]
\n

이렇게 설정한 후에는 해당 디렉토리에서 다음 명령어를 통해 Filebeat를 실행하면 된다.

\n
filebeat -e                 # 일반적으로 실행 하는 경우\nfilebeat -e -c filebeat.yml # -c 옵션은 configuration 파일을 특정할 때 사용 (-c 사용안하면 default는 filebeat.yml)
\n
\n

6. Kibana에서 데이터 확인

\n

http://localhost:5601 에 접속하여 제대로 실행되었는지 확인하고, Index Patterns로 이동해서 index pattern을 설정하면 된다.
\n데이터가 정상적으로 수집되고 있으면 해당 index가 보여지고, 그 index를 기준으로 pattern을 만들 수 있다.
\n\n \n \n
\n\n \n \n

\n

생성한 index pattern에 대한 데이터들은 discover 메뉴로 가서 확인할 수 있다.
\n\n \n \n

\n
\n

공공데이터 api를 연동해서 얻은 데이터를 Filebeat -> Logstash -> Elasticsearch -> Kibana 순서로 수집하는 방법에 대해서 간단하게만 포스팅했는데, 그래서 데이터 전처리도 아직 완벽하게 하지 않았고 Kibana 사용 방법도 아직 제대로 알지는 못해서 프로젝트를 더 진행하면서 추후에 프로젝트 진행 과정과 회고와 함께 추가로 포스팅하겠습니다. (종프 화이팅,,)

\n
\n

📎 Reference

\n

https://www.data.go.kr/data/15012964/openapi.do
\nhttps://stackoverflow.com/questions/21413978/convert-an-xml-file-to-csv-file-using-java
\nhttps://taetaetae.github.io/posts/make-dashboards-from-elasticstack-1/
\nhttp://trandent.com/article/etc/detail/323366

\n
\n\n
","frontmatter":{"date":"April 09, 2022","title":"[Elastic] Elastic Stack + 공공데이터 api 활용","categories":"Database","author":"JFe","emoji":"🏢"},"fields":{"slug":"/elastic-open-data-api/"}},"site":{"siteMetadata":{"siteUrl":"https://jfelog.netlify.app","comments":{"utterances":{"repo":"Go-Jaecheol/Jfe_Blog"}}}}},"pageContext":{"slug":"/elastic-mac-install/","nextSlug":"/elastic-intro/","prevSlug":"/elastic-open-data-api/"}}, "staticQueryHashes": ["1073350324","1956554647","2938748437"]}