DBMS

1. 가상환경 활성화 2. jupyter notebook 설치 기존에 나는 anaconda 전체 패키지 설치를 하지 않았기 때문에 pip install jupyter notebook 으로 설치를 해준다. 3. 설치 후 확인 이런 화면이 뜨는 것을 확인 할 수 있다. 이때 작업중엔 프롬프트 창(ipython kernal)을 끄면 안된다. 4. 시작 폴더 변경 시작 폴더를 현재 작업중인 폴더로 변경하는 게 편하니깐 이 작업을 해준다 jupyter notebook --generate-config 이렇게 치면 py 파일이 만들어진 경로를 알려주는데 이걸 열어서 c.NotebookApp.notebook_dir 이 변수를 활성화해주고, 원하는 경로를 입력해준다. 그러고 저장 근데 이때 윈도우 환경에서 주의점은 (u..

윈도우 환경으로 돌아왔다. 회사에서 데이터 분석 쪽으로 직무 변경이 되어서 새출발 하려고 한다. 1. anaconda 홈페이지에서 설치 프로그램 다운로드 https://www.anaconda.com/products/distribution#Downloads Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 2. 프로그램 설치후 웬만하면 그냥 default로 설치 한다(다 next 하라는 뜻) 좀 지나면 설치 완료 굳이 튜토리얼 안볼거니까 ..

1. tar.gz 파일 다운로드 https://www.elastic.co/kr/downloads/elasticsearch Download Elasticsearch Download Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic. www.elastic.co 각자 맞는 os 버전 tar파일 다운( 저는 mac m1 환경입니다) 2. 압축해제 tar -xvf elasticsearch-8.2.3.tar.gz 파일명은 걍 예시로 적었으니 적당히 적고 탭하세용~ 뭔가 키바나에서는 안되는 듯 싶어서 로제타2 에서 x86으로 했는데,..

덤프할 일이 있어서 기존 방식대로 하려니깐 안되어서 적는 블로그 elasticdump --input=http:/{target ip}:9200/{target_index_name} --output=https://elastic:{elastic계정 비번}@localhost:9200/{index name} --type=mapping --tlsAuth --output-ca={http_ca.crt 절대경로} elastic 계정의 비번은 elasticsearch 8버전 첫 구동시 알려준다 이걸 어딘가 안전한 곳에 적어두는 것을 추천한다. 물론 재발급도 가능하지만 그건 귀찮기 때문에 잘 적어두자

https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-docker.html Running the Elastic Stack on Docker | Getting Started [7.16] | Elastic At this point, Kibana cannot connect to the Elasticsearch cluster. You must generate a password for the built-in kibana_system user, update the ELASTICSEARCH_PASSWORD in the compose file, and restart to enable Kibana to communicate with ..

filebeat 64bit deb 파일로 다운. dpkg -i 로 압축 풀기 /etc/filebeat 아래에 filebeat.yaml 파일 수정 output에 elasticsearch로 되어있는 부분을 logstash로 바꿔 준다 host 열어주기 sudo service filebeat start filebeat는 서비스로 실행된다. logstash 는 걍 tar로 다운 받아서 압축풀고, config 디렉토리 안의 pipelines.yaml 파일 수정 path.config 활성화, 해당 확장자 *.conf로 바꾸고 (버전관리 가능) path.config의 디렉토리 없으면 생성, conf 파일 넣는다 config 밑의 logstash-sample.conf를 cp하는 것을 추천 하면 elasticsearch..

1. 우선 저는 우분투 20.04로 싹 밀어버리고, elk도 7.16.3으로 갈아타고 왔음을 알려드립니다 ..ㅎ.. 2. stack management - index patterns 로 가서 업로드 해놨던 데이터를 인덱스 패턴 정의를 해줍시다. timestamp field에 서버기준 시간으로 설정하고 logstash 패턴 정의를 해줄게용 2. 확인하기 요론게 생긴게 보이시죵? 마찬가지로 shakes* 도 정의해줍니다. shakes는 따로 timestamp 정의 안할게요 패턴 생성 완성!!

https://www.elastic.co/guide/en/kibana/7.1/tutorial-load-dataset.html Loading sample data | Kibana Guide [7.1] | Elastic If security is enabled, you must have the all Kibana privilege to run this tutorial. You must also have the create, manage read, write, and delete index privileges. See Security privileges for more information. www.elastic.co 버전에 맞춰서 sample log data를 elasticsearch에 밀어 넣어준다 참고 ..

1 번 POST /tourcompany/_delete_by_query { "query":{ "match": { "holiday_dest": "Bora Bora" } } } POST /tourcompany/_update_by_query { "query": { "match": { "holiday_dest": "Hawaii" } }, "script": { "source": "if(ctx._source.departure_date == '2017/01/10'){ctx._source.departure_date = '2017/01/17'}" } } GET /tourcompany/_search?pretty { "query": { "match": { "holiday_dest": "Disneyland" } }, "_sou..

1. 대응 표 정리 HTTP CRUD SQL GET READ SELECT PUT UPDATE UPDATE POST CREATE INSERT DELETE DELETE DELETE 일단 이것을 참고한다. 기본적으로 REST API 이기 때문에 HTTP 통신을 한다. 2. 웹으로 실습 이렇게 url로 치면 결과가 나오는데, _cat은 엘라스틱 서치에서 제공하는 api 이름이고 health나 nodes가 들어갈수 있고, v는 상세보기 결과는 요런식으로 표시된다. 3. kibana의 devtools로 실습 2번의 문제를 이런식으로 조회한다. 이렇게 데이터를 넣어보자 cutomer라는 db에 type이라는 type으로 아이디 1값으로 created 되었다. 그리고 버전이 1이라는 결과다 만든것 확인 _source ..