Cloud/Azure 검색 결과

11 개의 검색 결과가 있습니다.

Cloud/Azure

Azure Blob 위치 검색과 삭제

python 에서 blob을 찾을 시 Container Client의 list_blobs Method를 이용하여 전체 Blob 리스트 중에 해당 blob file을 찾아 삭제를 한다. 그런데 적은 용량의 여러 개의 대량 파일을 올리다 보면 해당 파일을 찾기 위해 기존의 예제를 통하게 되면 매우 오랜 시간이 걸리게 되어 있다. (기존의 예제 https://yhjin.tistory.com/11 중 Python 다운로드) 해당 파일의 정확한 패스를 알고 있다면 아래의 방법으로 그 시간을 대폭 줄일 수 있다. 해당과 같이 Blob이 존재한다고 했을 시에 다음과 같이 사용이 가능하다. from azure.storage.blob import BlobServiceClient from azure.storage.blob..

Cloud/Azure

Azure Synapse Analytics 권한 및 Copy into 권한 처리

1. Azure Synapse Analytics의 권한 종류 1) Azure Synapse Analytics 구성 요소에 따른 권한 I. Synapse 리소스 A. 기본적으로 해당 리소스에 접근 및 Studio를 시작하기 하기 위한 IAM B. 독자 이상의 권한으로 Studio 실행 가능 C. 독자의 권한 Studio 실행만 가능하고 Pipeline, DataSet 등 모든 작업 확인 불가 II. SQL DW A. SQL Active Directory 관리자 가) 해당 권한은 리소스를 생성한 생성계정에 관리자 권한이 할당된다. 나) 해당 권한의 AD 계정 또는 AD 그룹의 설정은 리소스 > 설정 > SQL Active Directory 관리자 메뉴에서 설정이 가능하다. B. DW User 권한 가) St..

Cloud/Azure

Azure Synapse Analytics SQL Pool에 Bulk Insert

1. Azures Synapse Analytics의 SQL Pool Bulk Insert 1) SQL Pool 이란? (1) 이전에 Azure SQL Data Warehouse로 서비스되었던 PaaS 형의 DBMS 서버스 (2) 기본적인 구조는 다음과 같다. Azure Storage(약 50개의 Disk)에 데이터를 분산 저장하고 쿼리 실행 시 정해진 Compute Node에 따라 데이터를 분산 처리하는 방식의 구조 (3) 데이터를 정해진 방식에 따라 나누어 저장한다. I. ROUND_ROBIN : 데이터를 순차적으로 분산하여 저장 II. HASH 함수 : 해당 데이터를 해쉬 값으로 치환하여 해당 값을 기준으로 분산하여 저장 (4) 기본적으로 테이블은 CCI(Clustered Columnstore Ind..

Cloud/Azure

Azure Databricks

1. Databricks란? 1) Spark 개발진이 개발한 Enterprise Spark Service 2) Azure에서는 Azure Jupyter Notebook을 이용한 Python, Scala, SQL, R 소스로 이용 가능 3) 개발된 소스를 Upload하거나, PyPI로 필요한 패키지를 Install 하여 사용할 수 있다. 2. Workspace 1) 작업을 정의하고 저장하는 저장소 2) 공유된 Workspace와 계정 별로 정의된 Workspace를 제공 3) 작업은 생성 및 가져오기 가능 A. Notebook i. Jupyter notebook과 같은 UI를 제공 가) Name : Notebook의 이름 나) Language : 사용할 언어 (Python, Scala, SQL, R) 다)..

Cloud/Azure

Azure Data Factory - Linked Server 및 Trigger

1. Linked Service 1) Data를 읽어오거나 저장하기 위한 저장소 연결 및 연결을 중개하거나 Pipeline을 가동하는 VM을 통틀어 칭함 2) Linked Service : RDBMS, File Storage, Rest API, Web등 데이터를 읽어오거나 저장할 저장소를 저장 3) Intergration runtime(이후 IR) :작업을 실행시킬 runtime용 VM A. Azure IR i. Azure에서 필요 시 자동으로 생성되었다가 삭제되는 컨테이너 ii. Name : IR명 iii. Description : IR 설명 iv. Type : Azure로 고정 v. Region : IR의 위치(Auto Resolve 시 ADF와 같은 Resion에 생성됨) vi. Data Flow ..

Cloud/Azure

Azure Data Factory - Data Flow

1. ADF내에서 PaaS 형태로 제공하는 ETL툴 1) 기본적으로 Source -> ETL –> Sink의 기본 구조를 가진다 2) General : 이름, 설명 등 기본 정보 A. Custom Sink ordering : Sink가 여러 개 일 경우 작업 순서 결정 3) Parameter : Data Flow가 실행 전 전달받을 파라미터 값 2. Source 1) Source Setting A. Output stream name : 해당 작업의 이름 B. Source Dataset : 이미 정의해 놓은 Dataset 선택 C. Option I. Allow schema drift : 컬럼 변경 허용 II. Infer drifted column types : 변경될 컬럼의 자료형 자동 처리 III. Va..