이서

Scheduler : 모든 DAG와 Task에 대하여 모니터링 및 관리하고 실행해야 할 Task를 스케줄링 Task : 하나의 작업 단위를 Task라고 하며 하나 또는 여러 개의 Task를 이용해 하나의 DAG를 생성 DAG : Directed Acyclic Graph로 개발자가 Python으로 작성한 워크플로우. Task들의 dependency를 정의 Database : DAG와 Task들의 메타데이터를 저장하는 데이터베이스 Worker : 실제 Task를 실행하는 주체. Executor 종류에 따라 다양한 동작 방식 Web server : Airflow의 웹 UI 서버 Operator : Task를 생성 위해 사용되는 Airflow class, BashOperator, PythonOperator 등 ..

당 첨 번 호 15, 23, 29, 34, 40, 44 + 20 1등 총 당첨금 255억원(15명 / 17억) 당첨되신분 축하드립니다.

Amazon Athena 란? S3에 저장된 데이터를 SQL로 분석을 하는 서비스 특징 - 서버리스 분석 서비스 - 표준 SQL을 사용하여 S3에 저장된 데이터를 손쉽게 분석이 가능하다. - JDBC / ODBC connector 지원한다. - 다양한 데이터 유형에 대해서 분석 수행이 가능하다. (Text, CSV, TSV, JSON, 웹 로그 등) - 실행한 쿼리에 대해서만 비용이 지불되며, 실패한 쿼리에 대해서는 요금이 청구되지 않는다. Athena 가 분석할 때 편리할 것 같은데 아테나보다 Redshift 가 더 적합한 경우는 언제일까? 두개 전부 SQL로 분석하시기 좋은데 Athena는 서버리스라서 데이터를 읽어서 처리할 때 사용한 만큼만 비용이 지불됩니다. 클러스터 운영 없이 비용이 저렴하고 사..

당 첨 번 호 9, 11, 30, 31, 41, 44 + 33 1등 총 당첨금 249억원(11명 / 23억) 당첨되신분들 축하드립니다.

1. 크롬 오른쪽 상단에 점 3개를 누르시고 설정을 클릭합니다. 2. 확장 프로그램를 클릭합니다. 3. 왼쪽 상단 짝대기 3개 누르시면 Chrome 웹 스토어 열기를 클릭합니다. 4. Mobile Simulator를 입력하시면 아래와 같이 프로그램이 나옵니다. 5. 확장 프로그램 추가 해줍니다. 6. 확장 프로그램에서 Mobile Simulator를 고정시키시고, 홈화면에서 클릭 시 모바일로 변경됩니다. - 오른쪽 부분에 Android와 IOS에 맞춰 여러가지 종류가 다양하게 있습니다.

Apache Airflow를 설치하시면 웹 화면으로 다음과 같이 사진이 나올것입니다. 따라서, 별도로 계정을 생성하는 명령어를 아래와 같이 실행해주면 admin 계정을 만들 수 있습니다. $ airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname LAST_NAME \ --role Admin \ --email aaaa@example.org

github remote: Permission to 403 상황 A github로 '최초' 유저 등록을 하고, 후에 B github로 다시 유저등록해서 B github로 push를 진행하려 할 때, 그 push의 시점은 여전히 A 라는 github 아이디를 찾고 있습니다. ※ 여기서 원하는건 B 라는 github 아이디로 push를 진행하고 싶을 때 해결방법 1 1. spolight 검색을 통해 키체인 접근을 실행 2. 오른쪽 상단에 검색창에 github.com 을 검색 3. 리스트에 보이는 github.com 더블클릭 후 계정과 암호를 현재 사용할 깃허브의 계정과 암호로 입력 4. 변경사항 저장을 누르고 창닫기 해결방법 2 terminal에서 다음과 같이 입력해준다. git remote set-url ..

이전에는 아틀라시안 계정을 생성할 필요했지만 이제는 없어졌고, 기본 계정은 웹으로 로그인 권장합니다. 추가적인 계정은 Basic으로 로그인을 권장합니다. 소스 트리 접속하여 다운로드 합니다. https://www.sourcetreeapp.com/ Sourcetree | Free Git GUI for Mac and Windows A Git GUI that offers a visual representation of your repositories. Sourcetree is a free Git client for Windows and Mac. www.sourcetreeapp.com 1. Bitbucket 계정은 가입없이 패스 가능 2. Mercurial 설치도 패스! 3. ssh 키 등록도 패스 가능 -> ..

CLI(Command-line interface)란? 커맨드 라인 인터페이스로, 명령 줄 인터페이스 또는 명령어 인터페이스는 가상 터미널 또는 터미널을 통해 사용자와 컴퓨터가 상호 작용하는 방식 클론: 저장소를 복제 과정 1. Vim 이 익숙하지 않을 경우 VS CODE(visualstudio,https://code.visualstudio.com/)를 설치한다. 2. GIT CLI 설치(https://git-scm.com/) - Vim이 익숙하지 않다면 VS CODE를 기본 에디터로 설정합니다. 3. 토큰을 이용한 인증 4. 첫 번째 깃헙 저장소 생성하고 클론하기 주소를 저장하여 terminal 에서 documents로 이동하여(cd documents) git clone 주소를 입력합니다. 문서에 저장된..

2020년 7월 이후 깃헙 정택 변경으로 토큰 인증이 필수적입니다. 토큰을 만들 때, 권한 지정을 해주고 생성한 토큰은 안전한 곳에 보관 하여야 됩니다. 특히, 비밀번호 압축하고 클라우드 업로드는 금지하기를 권장합니다. 토큰 생성 이후에는 권한은 변경이 가능합니다. 토큰 생성 방법 settings > Developer settings > Personal access tokens 에서 Generate new token 을 클릭합니다. Note는 임의로 Test로 하였고, Expiration은 보통 90일정도로 설정합니다. Select scopes에서 왕초보 일경우 모든 것을 다 체크해도 좋지만, 저는 주로 사용하는 reop, workflow, gist, user(꼭 체크! 소스트리 로그인할 때 없으면 에러..