전체 글 105

ElasticSearch - 2. Index Rolling

2. 인덱스 롤링 2-1. 개요홈페이지 번역 문서를 보면 인덱스 롤링에 관한 문서가 있다.인덱스 롤링을 aliase, 별칭을 통해 지정하는데, https://iju707.gitbooks.io/elasticsearch/content/indices-rollover-index.html 설명서 번역본이다. 2-2. 설정 1) template 수정test 템플릿으로 가서, 다음과 같이 추가하였다. .... "settings": { "index.number_of_shards": 3, "index.mapping.total_fields.limit": 10000, "index.refresh_interval": "5s" }, "aliases": { "test_aliase": {} }, "template": "test*"}..

[JAVA] 함수 주기적으로 돌리기 (스케쥴링)

요약스케쥴링 기법 : scheduleAtFixedRate, 쿼츠, Spring Task, Spring aop 내가 주로 만드는 프로세스는 수집 프로세스인데 통계성 데이터의 경우 하루에 한번, 혹은 일주일에 한번, 한시간에 한번 등 작업을 한다 주로 하루에 한번한다. 쉘 스크립트를 만들어서 crontab에 올려도되지만, 그렇게 되면 서버마다 크론탭에 등록해야 하고, 권한문제 등 충돌이 일어날 수 있어서 웬만하면 자바 프로세스 상에서 스케쥴링 하는 것이 좋다. 이 때 이용하는 것이 Timer 클래스의 Schedule 관련 함수이다 void schedule(TimerTask task, Date time)지정한 시간(time)에 지정한 작업(task)을 수행한다. void schedule(TimerTask ta..

ElasticSearch - 1. Unsigned Shards관련 테스트

1. Unsigned Shards관련 테스트참고1: https://www.elastic.co/guide/en/elasticsearch/reference/current/shards-allocation.html참고2 : http://asuraiv.blogspot.kr/2015/04/elasticsearch-rolling-restarts.html참고3 : http://nkcnow.tistory.com/152참고4: http://jjeong.tistory.com/956참고5: http://guruble.com/?p=85 1) 정상 작동 중 : Test용 Slave3 Node 추가 2) Node 삭제 : Unsigned Shard 발생, Status - Yellow 3) unsigned shard가 Slave2에..

0. ElasticSearch + FileBeat + Kafka 기본 설치 및 연동

1. Elastic Search 설치홈페이지 문서 : https://www.elastic.co/guide/en/elasticsearch/reference/5.4/getting-started.html#getting-started 1-1. 다운로드 주소 : https://www.elastic.co/kr/downloads/elasticsearch rpm 혹은 tar로 설치한다. tar - xvf elasticsearch-5.4.0.tar.gz 1-2. 옵션 설정$ cd ElasticSearch/config$ vi elastic search.yml 1) 클러스터 명cluster.name: EUNBI (ex) 클러스터의 이름. 노드들을 공유할 때 같은 이름을 사용하면 된다. 2) 노드-마스터 노드의 경우-node..