반응형 전체 글41 MinIO Object Storage 관리 - 초기 접속 구성 & Bucket 생성 MinIO는 오픈소스이며, S3 호환 Objcet Storage이다. MinIO를 사용한 목적은 Airflow(워크플로 관리 플랫폼) log를 MinIO에 저장하기 위함인데, 초기 구성에 대해 작성하고 다음 포스팅 때 Airflow log를 MinIO에 저장할 수 있도록 해본다. MinIO Web Console UI에서는 간단하게 Buckets(저장소 리스트)에서 Bucket(airflow-logs)를 만들고, 파일 저장 가능하다. 단, Objcect Storage이기 때문에 파일을 Web에서 직접 열어 볼 수는 없고, 파일 다운로드, 업로드가 가능하다. MinIO Client (MC)를 통해, 초기 MinIO 접속 구성과 bucket(최상위 디렉터리 개념) 및 User 생성에 대해 알아본다. MinIO.. 2023. 6. 27. Airflow Task log MinIO S3 Object Storage에 통합 Airflow (워크플로 관리 플랫폼)를 프로젝트에 사용하고 있다. 3대 서버에 Airflow를 구성 했고(1번 2번 3번 서버로 지칭), 각 서버에 로컬로 Airflow Task log 가 쌓인다. Airflow Webserver UI에서 log 를 통합하여 볼 수 있도록 MinIO (S3 호환 Object Storage)에 연결하는 방법을 작성한다. (바꿔 말하면, 3번 로컬 서버에 작성된 Airflow log를 1번 또는 2번 Airflow Webserver(UI)에서도 볼 수 있도록 MinIO에 저장한다.) MinIO에서 Bucket 을 생성했고, (airflow-logs) User('test') 생성 및 권한도 부여되었다. (지난번 MinIO 초기 구성 포스팅 참조) 사전 작업 Airflow S.. 2023. 6. 27. Oracle 접속 시 ORA-00257: archiver error. Connect internal only, until freed. Oracle 접속 시 ORA-00257: archiver error. Connect internal only, until freed. 오류가 뜨는 경우, 아카이브 로그 사이즈(사용량) 확인해 줘야 한다. **오라클은 11.2.0.3.0 버전 사용 중이다. 아카이브 로그는 백업 복구에 사용되는데 설정된 경로에 파일로 저장되고 있다. 해당 에러는 아카이브 로그 사이즈의 설정된 사용량 대비 실제 사용량이 Full일 경우 발생한 경우이다. (대부분 아카이브 로그 저장소 Disk 사용량이 Full인 경우에 발생한다고 한다.) 현상 파악 우선, 아카이브 로그 사이즈를 조회해 본다. set lines 500 col NAME format a45 SELECT NAME ,ROUND(SPACE_LIMIT/1024/1024/.. 2023. 6. 26. VERTICA DB 네트워크 오류 (NETMASK) 지난번 포스팅한 네트워크 에러로 인한 Vertica DB 노드 다운의 상세 원인을 파악한 결과를 작성한다. 네트워크 문제가 해결된 후 Vertica DB 를 재기 동한 결과, 정상적으로 DB 기동이 완료됐다. 원인 : 개발 서버의 10G 망, 연결이 안 되어, 전산팀에서 Vertica IP에 해당하는 네트워크의 Netmask를 수정 하였고, 수정 반영 직후 Vertica 1번 노드(총 3개 노드 Cluster 구성)가 다운됐다. 원인 파악 : 네트워크 연결 문제로 Vertica 1번 노드가 기동 실패 되어, root 계정으로 접속하여 history를 확인한 결과, 네트워크 편집(vi /etc/sysconfig/network-scripts/ifcfg-eth3) 및 네트워크 재기동 (service netwo.. 2023. 6. 26. 이전 1 ··· 7 8 9 10 11 다음 반응형
