반응형 전체 글59 [Superset] cache_timeout 오류 관련 Apache Superset 을 온라인 설치 (pip3 install apache-superset)를 할 수 없는 폐쇄적인? 환경에서 off line 설치를 진행했다. 인터넷 접속이 가능한 서버에서 Superset 2.0.1 패키지를 다운로드해 인터넷 비접속 환경에서 설치를 하면서 개발서버의 Flask 버전과 (2.1.0) 다른 상위 버전을 다운로드해 (2.2.3) 설치하면서 오류가 발생했다. Flask 란? 파이썬으로 작성된 마이크로 웹 프레임워크의 하나로, Werkzeug 툴킷과 Jinja2 템플릿 엔진에 기반을 둔다 오류 내용 (superset 로그 : superset.out **superset.out 은 superset run 시 지정한 로그 파일) Traceback (most recent cal.. 2023. 8. 11. [리눅스] tar 여러 파일 압축 해제 tar 압축 및 해제참조로 tar 는 기본적으로 파일을 묶기 용도이므로 tar 압축 후 용량이 줄어들거나 하지 않는다.tar의 -z 옵션을(gzip 압축) 주면 압축 후 저장 용량이 줄어든다.tar 묶기tar -cvf [파일명.tar] [대상 폴더]tar 묶기 및 gz 압축 (gzip 옵션 적용)tar -zcvf [파일명.tar.gz] [대상 폴더]tar -zcvf test.tar.gz /tmp/test/tar 압축 해제tar -xvf 파일명.tartar -zxvf 파일명.tar.gz 압축을 해제할 때 -v를 제외한 tar -zxf 를 사용하면, 압축해제 하는 과정이 출력 되지 않는다. 기본적인 tar 압축 및 해제에 관한 내용을 정리했다. 본론으로 여러 파일을 압축 해제하는 방법을 기재한다. 여러 개의.. 2023. 7. 24. MinIO Object Storage 관리 - 초기 접속 구성 & Bucket 생성 MinIO는 오픈소스이며, S3 호환 Objcet Storage이다. MinIO를 사용한 목적은 Airflow(워크플로 관리 플랫폼) log를 MinIO에 저장하기 위함인데, 초기 구성에 대해 작성하고 다음 포스팅 때 Airflow log를 MinIO에 저장할 수 있도록 해본다. MinIO Web Console UI에서는 간단하게 Buckets(저장소 리스트)에서 Bucket(airflow-logs)를 만들고, 파일 저장 가능하다. 단, Objcect Storage이기 때문에 파일을 Web에서 직접 열어 볼 수는 없고, 파일 다운로드, 업로드가 가능하다. MinIO Client (MC)를 통해, 초기 MinIO 접속 구성과 bucket(최상위 디렉터리 개념) 및 User 생성에 대해 알아본다. MinIO.. 2023. 6. 27. Airflow Task log MinIO S3 Object Storage에 통합 Airflow (워크플로 관리 플랫폼)를 프로젝트에 사용하고 있다. 3대 서버에 Airflow를 구성 했고(1번 2번 3번 서버로 지칭), 각 서버에 로컬로 Airflow Task log 가 쌓인다. Airflow Webserver UI에서 log 를 통합하여 볼 수 있도록 MinIO (S3 호환 Object Storage)에 연결하는 방법을 작성한다. (바꿔 말하면, 3번 로컬 서버에 작성된 Airflow log를 1번 또는 2번 Airflow Webserver(UI)에서도 볼 수 있도록 MinIO에 저장한다.) MinIO에서 Bucket 을 생성했고, (airflow-logs) User('test') 생성 및 권한도 부여되었다. (지난번 MinIO 초기 구성 포스팅 참조) 사전 작업 Airflow S.. 2023. 6. 27. 이전 1 ··· 11 12 13 14 15 다음 반응형
