반응형 분류 전체보기44 Airflow Task log MinIO S3 Object Storage에 통합 Airflow (워크플로 관리 플랫폼)를 프로젝트에 사용하고 있다. 3대 서버에 Airflow를 구성 했고(1번 2번 3번 서버로 지칭), 각 서버에 로컬로 Airflow Task log 가 쌓인다. Airflow Webserver UI에서 log 를 통합하여 볼 수 있도록 MinIO (S3 호환 Object Storage)에 연결하는 방법을 작성한다. (바꿔 말하면, 3번 로컬 서버에 작성된 Airflow log를 1번 또는 2번 Airflow Webserver(UI)에서도 볼 수 있도록 MinIO에 저장한다.) MinIO에서 Bucket 을 생성했고, (airflow-logs) User('test') 생성 및 권한도 부여되었다. (지난번 MinIO 초기 구성 포스팅 참조) 사전 작업 Airflow S.. 2023. 6. 27. Oracle 접속 시 ORA-00257: archiver error. Connect internal only, until freed. Oracle 접속 시 ORA-00257: archiver error. Connect internal only, until freed. 오류가 뜨는 경우, 아카이브 로그 사이즈(사용량) 확인해 줘야 한다. **오라클은 11.2.0.3.0 버전 사용 중이다. 아카이브 로그는 백업 복구에 사용되는데 설정된 경로에 파일로 저장되고 있다. 해당 에러는 아카이브 로그 사이즈의 설정된 사용량 대비 실제 사용량이 Full일 경우 발생한 경우이다. (대부분 아카이브 로그 저장소 Disk 사용량이 Full인 경우에 발생한다고 한다.) 현상 파악 우선, 아카이브 로그 사이즈를 조회해 본다. set lines 500 col NAME format a45 SELECT NAME ,ROUND(SPACE_LIMIT/1024/1024/.. 2023. 6. 26. VERTICA DB 네트워크 오류 (NETMASK) 지난번 포스팅한 네트워크 에러로 인한 Vertica DB 노드 다운의 상세 원인을 파악한 결과를 작성한다. 네트워크 문제가 해결된 후 Vertica DB 를 재기 동한 결과, 정상적으로 DB 기동이 완료됐다. 원인 : 개발 서버의 10G 망, 연결이 안 되어, 전산팀에서 Vertica IP에 해당하는 네트워크의 Netmask를 수정 하였고, 수정 반영 직후 Vertica 1번 노드(총 3개 노드 Cluster 구성)가 다운됐다. 원인 파악 : 네트워크 연결 문제로 Vertica 1번 노드가 기동 실패 되어, root 계정으로 접속하여 history를 확인한 결과, 네트워크 편집(vi /etc/sysconfig/network-scripts/ifcfg-eth3) 및 네트워크 재기동 (service netwo.. 2023. 6. 26. Vertica DB 네트워크로 인한 노드 다운 Vertica 네트워크 관련 오류 (네트워크 영향으로 인해 하나의 노드가 다운 될 때 vertica.log) Vertica는 3대의 Cluster로 구성되어 있고, 그중 1번 노드 가(편의상 1번, 2번, 3번 노드로 지칭) 다운 되었다. 개발 서버이긴 하지만, 실제로 운영 중에 vertica.log 에서 네트워크 문제로 에러 난 경우가 여러 번 있었다. 원인 : 1번 노드의 리눅스 서버에 네트워크 재설정으로 인해 네트워크 재기동하면서, 1번 Vertica 노드가 다운됨. 참조 : Vertica는 Cluster 노드간 Health Check를 수행 하는대 약 8초간 응답이 없으면, K Safety 설정에 의해 노드를 다운 시킨다. (vertica spread 프로세스의 역할이다.) 해결 방법 : 보통은 .. 2023. 6. 23. 이전 1 ··· 8 9 10 11 다음 반응형
