'빅데이터 관련 자료' 카테고리의 글 목록 (11 Page)
Data Analyst
300x250
300x250

빅데이터 관련 자료 314

쉽게 접근하자! IT 용어 정리 - 레거시 시스템(legacy System)

레거시이란? 레거시는 영어로 legacy 이다. Legacy는 유산이라는 뜻으로 현재까지 남아 사용되고 있거나 현재의 체계에 영향을 미치는 과거의 체계를 뜻합니다. 즉, 오래된 시스템이 기반이 되거나 현재까지 남아 쓰이는 시스템은 레거시 시스템이라고 합니다. 참고로, 사라지는 시스템은 as-is 시스템이라 합니다.

쉽게 접근하자! 마케팅 용어 정리 - UTM

UTM이란? UTM(Urchin Tracking Module)는 트래킹 코드 중 하나로 링크 주소 뒤에 붙게 됩니다. 주로 마케팅 담당자가 트온라인 마케팅 캠페인의 효과를 추적하는 데 사용할 수 있으며, 이에 대한 정보를 Google Analytics에 전달하는 역할도 합니다. UTM 4가지 구성 요소 1. utm_source 어디에서 해당 유입이 발생하였는가? 즉, 유입이 발생된 매체 (ex. utm_source = naver) 2. utm_medium 어떻게 해당 유입이 발생하였는가? 즉, 유입을 발생시킨 방법 (ex. utm_medium = cpc, banner, social etc.) 3. utm_campaign 무엇의 광고 캠페인으로 유입이 발생하였는가? name, term, content으로 ..

이해하기 쉽게 설명 UNION, INTERSECT, EXCEPT in Athena query

Athena query 에서 무한 개수의 쿼리들을 포함하는 쿼리를 생성하고 임의의 조합으로 UNION, INTERSECT, EXCEPT 연산자와 연결할 수 있다. 1. UNION (A와 B 합집합) 행이 한 표현식이나 두 표현식 모두 상관없이 두 쿼리 표현식에서 행을 반환하는 작업을 진행한다. 2. INTERSECT (A와 B 교집합) 두 쿼리 표현식에서 반환되지 않는 행은 모두 삭제된다. 3. EXCEPT (A와 B 차집합) 두 쿼리 표현식 중 하나에서 파생하는 행을 반환하는 작업을 진행한다. 첫 번째 결과 테이블에는 있지만 두 번째 결과 테이블에는 없는 행에 대한 결과가 반환된다. MINUS 및 EXCEPT는 정확히 동의어이지만, Redash에서는 MINUS가 적용되지 않는다는 점 참고하면 되겠다. ..

Airflow 관련 용어 정리

Scheduler : 모든 DAG와 Task에 대하여 모니터링 및 관리하고 실행해야 할 Task를 스케줄링 Task : 하나의 작업 단위를 Task라고 하며 하나 또는 여러 개의 Task를 이용해 하나의 DAG를 생성 DAG : Directed Acyclic Graph로 개발자가 Python으로 작성한 워크플로우. Task들의 dependency를 정의 Database : DAG와 Task들의 메타데이터를 저장하는 데이터베이스 Worker : 실제 Task를 실행하는 주체. Executor 종류에 따라 다양한 동작 방식 Web server : Airflow의 웹 UI 서버 Operator : Task를 생성 위해 사용되는 Airflow class, BashOperator, PythonOperator 등 ..

초보자들 이해하기 쉽게 AWS Amazon Athena 소개

Amazon Athena 란? S3에 저장된 데이터를 SQL로 분석을 하는 서비스 특징 - 서버리스 분석 서비스 - 표준 SQL을 사용하여 S3에 저장된 데이터를 손쉽게 분석이 가능하다. - JDBC / ODBC connector 지원한다. - 다양한 데이터 유형에 대해서 분석 수행이 가능하다. (Text, CSV, TSV, JSON, 웹 로그 등) - 실행한 쿼리에 대해서만 비용이 지불되며, 실패한 쿼리에 대해서는 요금이 청구되지 않는다. Athena 가 분석할 때 편리할 것 같은데 아테나보다 Redshift 가 더 적합한 경우는 언제일까? 두개 전부 SQL로 분석하시기 좋은데 Athena는 서버리스라서 데이터를 읽어서 처리할 때 사용한 만큼만 비용이 지불됩니다. 클러스터 운영 없이 비용이 저렴하고 사..

github remote: Permission to 403 에러, CLI에서 인증 사용자 변경하기

github remote: Permission to 403 상황 A github로 '최초' 유저 등록을 하고, 후에 B github로 다시 유저등록해서 B github로 push를 진행하려 할 때, 그 push의 시점은 여전히 A 라는 github 아이디를 찾고 있습니다. ※ 여기서 원하는건 B 라는 github 아이디로 push를 진행하고 싶을 때 해결방법 1 1. spolight 검색을 통해 키체인 접근을 실행 2. 오른쪽 상단에 검색창에 github.com 을 검색 3. 리스트에 보이는 github.com 더블클릭 후 계정과 암호를 현재 사용할 깃허브의 계정과 암호로 입력 4. 변경사항 저장을 누르고 창닫기 해결방법 2 terminal에서 다음과 같이 입력해준다. git remote set-url ..

git 소스 트리 설치 및 클론

이전에는 아틀라시안 계정을 생성할 필요했지만 이제는 없어졌고, 기본 계정은 웹으로 로그인 권장합니다. 추가적인 계정은 Basic으로 로그인을 권장합니다. 소스 트리 접속하여 다운로드 합니다. https://www.sourcetreeapp.com/ Sourcetree | Free Git GUI for Mac and Windows A Git GUI that offers a visual representation of your repositories. Sourcetree is a free Git client for Windows and Mac. www.sourcetreeapp.com 1. Bitbucket 계정은 가입없이 패스 가능 2. Mercurial 설치도 패스! 3. ssh 키 등록도 패스 가능 -> ..

Github 토큰 생성

2020년 7월 이후 깃헙 정택 변경으로 토큰 인증이 필수적입니다. 토큰을 만들 때, 권한 지정을 해주고 생성한 토큰은 안전한 곳에 보관 하여야 됩니다. 특히, 비밀번호 압축하고 클라우드 업로드는 금지하기를 권장합니다. 토큰 생성 이후에는 권한은 변경이 가능합니다. 토큰 생성 방법 settings > Developer settings > Personal access tokens 에서 Generate new token 을 클릭합니다. Note는 임의로 Test로 하였고, Expiration은 보통 90일정도로 설정합니다. Select scopes에서 왕초보 일경우 모든 것을 다 체크해도 좋지만, 저는 주로 사용하는 reop, workflow, gist, user(꼭 체크! 소스트리 로그인할 때 없으면 에러..

WARNING: Python 2.7 is not recommended 해결, 맥에 파이썬 설치하기

이런 에러가 발생하면? WARNING: Python 2.7 is not recommended. This version is included in macOS for compatibility with legacy software. Future versions of macOS will not include Python 2.7. Instead, it is recommended that you transition to using 'python3' from within Terminal. 해결방법 1. 파이썬을 다운받습니다. https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.p..

300x250
300x250