Azure 검색 결과

16 개의 검색 결과가 있습니다.

Cloud/Azure

Azure Data Factory - Pipeline

1. 작업의 순서를 관리하고 작업들을 해당 pipe 순서에 맞게 실행한다. 1) General : Pipeline의 이름 및 설명 2) Parameters : Trigger에서 발생되어 Pipeline에 전달된 값 3) Variables : Pipeline에서 사용되는 Global 변수 4) output : Pipeline이 완료되었을 시 해당 값을 return 2. Activities : Pipeline의 동작을 구성 1) Move & transform A. copy data : 다른 원천 Dataset으로부터 데이터를 복사하여 새로운 Dataset으로 복사 가) General : 작업의 명칭, 설명, timeout 설정, 재시도 횟수 들을 설정할 수 있다. (ㄱ) Timeout은 일 단위부터 설정 가..

Cloud/Azure

Azure Data Factory (ADF) 란?

1. 파리프라인을 통한 테이터 이관 및 ETL, 스케줄 PaaS 서비스 2. 데이터 셋을 저장하여 연결을 재사용 3. Dataflow를 이용한 PaaS형 ETL 작업 사용 가능 4. Databricks등과 연계하여 복잡한 ETL 작업 및 분석을 관리할 수 있음 5. 다양한 트리거를 통한 작업 가능 6. 리소스 관리 1) 해당 연필 모양의 UI 버튼을 통해 접근 2) Pipeline : 작업의 순서를 관리하고 발생 트리거를 관리 3) Datasets : 원본 데이터 및 가공 후 저장하는 데이터를 관리한다. 4) Data flows : Azure에서 제공하는 PaaS형 ETL로 기본 Spark Node를 이용한다. 5) Connections : Datasets에서 사용되는 DB 및 파일들의 연결을 관리 6)..

Cloud/Azure

Azure Storage Account

1. Storage Account 1) Azure에 데이터 및 파일을 저장할 수 있는 전용 스토리지의 집합 2) Storage Account 생성 A. 해당 사용 구독 선택 B. 리소스 그룹 선택 : 이후 해당 리소스 그룹 제거 시 동시 제거로 제어될 수 있음, 해당 스토리지의 권한이 리소스 그룹으로 관리될 수 있음 C. 계정 이름 : 해당 이름 연결 도메인의 sub도메인으로 설정 D. 계정 종류 : Datalake Gen2를 사용하기 위해서는 StorageV2를 사용해야 함 E. Datalake Gen2 옵션 i. 해당 고급 탭에서 Gen2 옵션을 설정할 수 있음 ii. 계층 구조 네이스페이스의 장점 가) 빅데이터 워크로드 가속화 나) Hive 및 Spark 등의 Hadoop Eco 시스템과 호환 3)..

Cloud/Azure

Azure Resource Group & Azure Active Directory

1. Resource Group(리소스 그룹) 1) 리소스 전체를 관리하리 하기 위한 시스템 2) 리소스 그룹 생성 A. 리소스 그룹에 그룹 명 입력 후 영역 선택 B. 태그는 해당 리소스를 빠르게 검색하기 위한 키워드이므로 필요에 따라 입력한다. C. 검토 후 만들기 3) 특징 A. 해당 리소스 그룹으로 리소스를 묶어서 관리 가능 (권한, 삭제 등) B. 리소스 그룹을 프로젝트 단위 또는 행동 단위로 묶어두면 삭제 및 복제 시 한번에 모든 리소스 처리 가능 C. 예외 사항 : 대부분의 리소스는 리소스 그룹 제거로 제거되나 발급된 네트워크는 반환되지 않음(V-net, Public IP 등) 2. Azure Active Directory (AAD) 1) 구독의 하위 계정을 발급 하여 권한의 범위를 조절한다..