Cloud 검색 결과

21 개의 검색 결과가 있습니다.

Cloud/Azure

Azure Blob 위치 검색과 삭제

python 에서 blob을 찾을 시 Container Client의 list_blobs Method를 이용하여 전체 Blob 리스트 중에 해당 blob file을 찾아 삭제를 한다. 그런데 적은 용량의 여러 개의 대량 파일을 올리다 보면 해당 파일을 찾기 위해 기존의 예제를 통하게 되면 매우 오랜 시간이 걸리게 되어 있다. (기존의 예제 https://yhjin.tistory.com/11 중 Python 다운로드) 해당 파일의 정확한 패스를 알고 있다면 아래의 방법으로 그 시간을 대폭 줄일 수 있다. 해당과 같이 Blob이 존재한다고 했을 시에 다음과 같이 사용이 가능하다. from azure.storage.blob import BlobServiceClient from azure.storage.blob..

Cloud/Kubernetes

Kubernetes 설치와 runtime 이슈

1. Kubernetes 설치 1) Container Runtime (1) Kubernetes의 Container를 실행하는 실행 솔루션(?) (2) 1.2x.x 버전 이후 Docker runtime에 종속되지 않도록 하기 위해 CRI-O를 지원하지 않는 Runtime을 사용하지 못하도록 했다. (3) 그 동안 Docker Runtime은 CRI-O를 지원하지 않았으나 해당 발표 이후 지원하도록 패치되어 현재 사용가능하다 (4) Windows에서 지원하는 Runtime은 2개다. A. Docker EE i. Docker에서 지원하는 Runtime ii. Docker (Docker Desktop)과 함께 설치된다. B. CRI-ContainerD i. ContainerD 에서 지원하는 Runtime ii...

Cloud/Azure

Azure Synapse Analytics 권한 및 Copy into 권한 처리

1. Azure Synapse Analytics의 권한 종류 1) Azure Synapse Analytics 구성 요소에 따른 권한 I. Synapse 리소스 A. 기본적으로 해당 리소스에 접근 및 Studio를 시작하기 하기 위한 IAM B. 독자 이상의 권한으로 Studio 실행 가능 C. 독자의 권한 Studio 실행만 가능하고 Pipeline, DataSet 등 모든 작업 확인 불가 II. SQL DW A. SQL Active Directory 관리자 가) 해당 권한은 리소스를 생성한 생성계정에 관리자 권한이 할당된다. 나) 해당 권한의 AD 계정 또는 AD 그룹의 설정은 리소스 > 설정 > SQL Active Directory 관리자 메뉴에서 설정이 가능하다. B. DW User 권한 가) St..

Cloud/docker

Docker - 공식이미지와 MariaDB Connect Engine 공유

1. MariaDB 공식 Image와 한계점 처리 Dockerhub에서 MariaDB 공식 이미지 이미지는 아래와 같다. https://hub.docker.com/_/mariadb 해당 이미지의 Dockerfile을 살펴보면 맨 마지막에 해당과 같은 명령어를 실행한다. CMD ["mysqld"] 해당 명령어가 실행되면서 Dockerfile build 시에 mysql Service를 자동으로 실행하는 것을 Container에 포함하게 되고 ProcessNo가 1번으로 System Boot와 같은 영역이 된다. root@mariadb1:/etc/mysql/mariadb.conf.d# ps -ef UID PID PPID C STIME TTY TIME CMD mysql 1 0 0 10:58 ? 00:00:00 ..

Cloud/docker

Docker - Ubuntu 한글판 공유

Docker Image를 사용하다 보며 기존에 사용하던 OS와 셋팅이 달라 불편함을 느끼는 경우가 많다. 본인 같은 경우에는 Ubuntu를 Desktop에서 사용할 시 한글화 버전을 사용하는데 DockerHub에 올라온 Image의 경우 해당 셋팅을 할 수 있는 부분이 존재하지 않는다. 따라서 제작한 한글판 버전 Ubuntu를 공유한다. Dockerfile의 내용은 다음과 같다. https://github.com/YunhoJIn/docker/blob/main/ubuntu1804_korean/Dockerfile https://github.com/YunhoJIn/docker/blob/main/ubuntu2004_korean/Dockerfile 버전만 다르고 내용은 같기 때문에 20.04를 기준으로 설명한다...

Cloud/Azure

Azure Synapse Analytics SQL Pool에 Bulk Insert

1. Azures Synapse Analytics의 SQL Pool Bulk Insert 1) SQL Pool 이란? (1) 이전에 Azure SQL Data Warehouse로 서비스되었던 PaaS 형의 DBMS 서버스 (2) 기본적인 구조는 다음과 같다. Azure Storage(약 50개의 Disk)에 데이터를 분산 저장하고 쿼리 실행 시 정해진 Compute Node에 따라 데이터를 분산 처리하는 방식의 구조 (3) 데이터를 정해진 방식에 따라 나누어 저장한다. I. ROUND_ROBIN : 데이터를 순차적으로 분산하여 저장 II. HASH 함수 : 해당 데이터를 해쉬 값으로 치환하여 해당 값을 기준으로 분산하여 저장 (4) 기본적으로 테이블은 CCI(Clustered Columnstore Ind..