분류 전체보기 검색 결과

94 개의 검색 결과가 있습니다.

IT ETC

Windows Terminal 소개

Windows Teminal 이라는 프로그램을 추천하고자 한다. 다른 프로그래머들도 마찬가지이겠지만 DBA / Big Data Flatform 관리자 / Cloud 관리자 는 다양한 언어 사용이나 환경에서 작업을 해야 하는 경우가 많다. 하지만 환경에 따라 shell script는 CMD창에 Powershell Script는 PS창에 Linux 관련은 WSL 창에 관리하다 보면 OS 창 관리가 매우 복잡해진다 이를 한 프로그램에서 관리하도록 지원해주는 프로그램이 Windows Terminal 이다. 설치는 Microsoft Store에서 간단하게 설치할 수 있다. - https://aka.ms/terminal 또는 git에서 해당 Release를 다운로드 할 수 있다. - https://github.co..

Database/ETC DBMS

Neo4j(Graph DB)로 만드는 Data Lineage (2) - 설계 및 구축

1. 예제 목표 및 가용데이터 1) 목표 (1) 서비스에 로그 인하고 로그 아웃한 사용자의 정보를 통하여 서비스 이용 현황을 조회할 수 있는 시스템을 구축 (2) 구축 시스템 원천데이터 -> 빅데이터 시스템 -> 분석용 DW -> BI System DB 2) 가용데이터 로그명 LoginLog LogoutLog 데이터 LoginDate 접속일 LogoutDate 접속 해제일 LoginID 접속 ID LogoutID 접속 해제된 아이디 UserName 사용자명 LogoutIP 잡속 해제 시 IP LoginIP 접속 IP (1) LoginLog : 사용자가 서비스 접속 시에 남기는 시계열 데이터 (2) LogoutLog : 사용자가 서비스 접속 종료 시에 남기는 시계열 데이터 2. 설계 및 구축 1) 설계 (..

Database/ETC DBMS

Neo4j(Graph DB)로 만드는 Data Lineage (1) - Needs와 Cypher

1. Needs 1) Data Lineage 필요성 Data를 ETL 해서 사용하다가 보면 해당 데이터가 어떤 원천 소스에서부터 시작된 데이터인지 파악하기 힘들다. 그렇기 때문에 현재 이르러서는 Data lineage라고 하여 데이터가 어떤 원천 데이터로부터 시작되었는가를 파악하기 위한 시스템을 구축하고 있다. 참조 데이터 거버넌스 & 데이터 도메인 & 데이터 리니지 2) Why Neo4j? Graph DB는 Node와 Node의 Edge를 연결하는 DBMS다. 따라서 Node와 Node간의 관계를 파악하기 쉽고 관계 정보를 저장하기 쉽다. 그래서 Neo4j라는 Graph DBMS 를 통해 각 데이터들을 연결하고 관계를 정립하여 Data Lineage를 구축하는 방법을 구축해보고자 하였다. 참조 Grap..

Database/ETC DBMS

Graph DB 와 Neo4j 설치

1. Graph DB 란? 1) 정의 (1) 서비스와 사용자 사이에 관계가 및 활동이 다양해지고 소셜 네트워크의 발전으로 인한 사용자와 사용자 사이의 관계가 긴밀해지면서 대두된 관계 중심의 DB Engine (2) 노드, 엣지, 프로퍼티를 그래프 구조를 사용하여 데이터를 저장하고 표현하는 방식 (3) 노드(node) : 추적 대상이 되는 사람, 기업, 계정 등 실체를 대표하는 Entity (4) 엣지(edge) : 그래프나 관계라고도 하며 노드와 노드를 연결하는 선이자 관계 (5) 프로퍼티(property) : 노드나 엣지의 상세한 정보를 기술하는 Attribute 2) Cypher (1) 현재 서비스 중인 다양한 GraphDB DBMS 들이 있다. A. Kakao의 S2 Graph B. Neo4j의 N..

Cloud/docker

Docker - Neo4j 설정 공유 및 OS 한글과 이미지 공유

Neo4j 최신 버전의 OS 한글화 및 option 설정 volume 설정을 공유하고자 한다. 1. 공식 neo4j Image : https://hub.docker.com/_/neo4j 2. 해당 Image : https://hub.docker.com/r/behind520/neo4j_korean 3. 해당 Dcoker-compose : https://github.com/YunhoJIn/docker/tree/main/neo4j 공식 이미지를 latest 를 사용하고 있기 때문에 tag는 latest 만 사용한다. FROM neo4j:latest neo4j의 공식 이미지의 OS는 debian이기 떄문에 해당 이미지 또한 debian 이다. root@neo4j:/home/neo4j# cat /etc/issue..

IT ETC

데이터 거버넌스 & 데이터 도메인 & 데이터 리니지

1. Data Governance(데이터 거버넌스) 1) 데이터 거버넌스 란? (1) 데이터의 수집, 사용, 폐기에 이르는 데이터 수명 주기 동안 데이터를 관리하는 방법론 (2) 데이터의 보안, 개인정보보호, 정확성, 가용성, 사용성을 보장하기 위한 방법론 및 기술을 말함 (3) 이점 I. 현명하고 빠른 의사결정 : 조직전체가 빠르게 데이터에 접근 가능 II. 비용 관리 개선 : 데이터에 사용되는 리소스를 최소화 III. 규정 준수 강화 : 데이터 도메인 정책 등의 규정 준수 강화 IV. 고객 및 공급 업체의 신뢰도 향상 : 보안, 개인정보보호에 따른 신뢰도 향상 2) 구축 요소 (1) Data Domain 정책 (2) Data Lineage 구성 (3) Data flow Chart 구성 (4) 보안 정..