분류 전체보기 검색 결과

94 개의 검색 결과가 있습니다.

Database/SQL Server

통계와 동기, 비동기 처리 특징

1. SQL Server의 통계 1) Optimizer와 통계의 사용 (1) SQL Server Optimizer는 비용 기반 Optimizer : 가장 낮은 예상 처리 비용으로 실행할 수 있는 쿼리 계획을 선택 (2) 쿼리 실행 계획 비용은 다음과 같은 2가지 요소로 결정 I. 쿼리 계획의 각 수준에서 처리되는 총 행 수(계획의 카디널리티라고 함) II. 쿼리에 사용된 연산자가 지정하는 알고리즘의 비용 (3) 카디널리티가 연산자 알고리즘 비용 모델의 매개변수로 사용된다. (4) 즉, 카디널리티가를 향상 시키면 예상 비용이 줄어들게 된다. (5) 카디널리티는 인덱스나 통계를 만들 때 생성되는 히스토그램에서 주로 파생된다. (6) 즉, 통계를 생성 또는 갱신할 시 카디널리티가 변경되어 실행 계획이 변경된다..

Database/SQL Server

형 변환과 Callate

통계나 분석을 위한 쿼리를 작성하다 보면 PIVOT과 UNPIVOT 등의 함수를 사용하는 경우가 발생하게 된다. 이 때, UNPIVOT 시 데이터의 형이 서로 다를 시 데이터 타입에러가 발생된다. -- DB 정보DMV를 이용한 예제이다 SELECT Catalog_name , Catalog_values FROM ( SELECT [name] , [database_id] FROM sys.databases WHERE [name]='AdventureWorks2019' ) AS T UNPIVOT ( Catalog_values FOR Catalog_name IN ([name], [database_id]) ) AS UT 위 쿼리 진행 시 다음과 같은 에러를 확인 할 수 있다. 따라서 작업 중 대부분의 데이터 타입이 C..

BigData/Dataflow

Airflow 기초 설치

1. Data Workflow 1) Data Workflow의 필요성 (1) 데이터 처리를 하는 배치가 Source의 유형이 매우 다양해짐 (2) 데이터의 필요성과 그 양이 매우 늘어남으로 데이터 가공 배치의 개수가 빠르게 상승함 (3) 기존의 방식은 데이터를 시간에 대한 예측이 필요하고 선 작업이 끝난 후에 작업을 하도록 수동 설정을 했어야 함 2) Data Workflow의 목적 (1) 전체 Flow를 한 곳에서 관찰 가능하도록 함 (2) 배치 파이프라인 모니터링 및 스케줄링이 가능함 (3) 각 Task 별로 병렬 처리 가능 (4) 유연한 DAG 작성 3) Airflow Open Project (1) AirBnb에서 2015년에 만든 Workflow Open Source, DAG Workflow를 정..

Database/SQL Server

Transaction Isolation Level 과 Lock 우회

1) Transaction 격리 수준 (isolation Level) A. isolation level 이란 : 해당 Transaction이 실행될 때 다른 Transaction이 접근할 수 있는 범위 수준 B. isolation level 수준에 따른 분류 i. Read Uncommitted 가) Transaction에서 아직 commit이나 Rollback 되지 않은 데이터도 조회가 가능하다. 나) Lock이 없이 조회가 가능하니 데이터의 정확도보다 퍼포먼스가 우선인 OLTP 서비스에 적합하다. 다) 격리를 시키지 않고 조회가 가능하기 때문에 Commit 되지 않은 데이터가 조회될 수 있고 해당 상환을 Dirty Read 라고 한다. Session01 Session02 DROP TABLE IF EXI..

Database/SQL Server

확장 이벤트를 통한 Dead Lock 캡처

1) Dead Lock 발생 테스트 A. 2개의 Session에서 다음과 같은 순서로 진행한다. Session01 Session02 DROP TABLE IF EXISTS TBL_TEST2 GO CREATE TABLE TBL_TEST2 ( A INT , B INT ); INSERT TBL_TEST2 VALUES (1,1); GO BEGIN TRAN UPDATE TBL_TEST2 SET B=2 GO DROP TABLE IF EXISTS TBL_TEST3 GO CREATE TABLE TBL_TEST3 ( A INT , B INT ); INSERT TBL_TEST3 VALUES (1,1); GO BEGIN TRAN UPDATE TBL_TEST3 SET B=2 GO SELECT * FROM TBL_TEST3 GO..

Database/SQL Server

Lock 과 DeadLock

1. Lock 과 Dead Lock 1) Deadlock 정의 A. 프로세스가 자원을 얻지 못하는 상태 B. 교착상태라고 불림 C. RDBMS의 경우 Transaction이 Database의 Resource를 서로 Lock을 발생시켜 완료하지 못하도록 차단하여 발생되는 교착상태를 의미한다. D. Dead Lock이 발생 시 둘 중 하나 또는 2개의 Transaction이 Rollback 되기 전까지 자원을 점유하여 다른 Transaction들의 Wait가 발생되어 서비스에 영향을 끼치게 된다. 2) RDMS의 Lock이란? A. Lock이 발생되는 상황적인 부분과 범위적인 부분에 따라 구분한다. B. 상황적인 Lock i. Shared Lock 가) 공유Lock, Read Lock 이라고도 불림 나) T..