이서

.parquet 컬럼기반 저장포맷으로, 데이터를 저장하는 방식 중 하나이다. 하둡 생태계에서 많이 사용하는 저장 방식으로, 영어 본 의미는 나무조각들을 차곡차곡 모아 붙여넣는 마룻바닥 형태이다. 따라서, 데이터를 차곡차곡 정리한다는 뜻으로 압축률이 좋고, 디스크IO 가 적으며 컬럼별로 적합한 인코딩을 할 수 있다.

API 의 개념을 설명하기 위해 쉽게 예시를 통해 알아보곘다. 어느 한 레스토랑에 들어간 손님 A가 직원 B에게 음식 메뉴를 시킨다. 직원 B는 주문받은 메뉴를 요리사 C에게 디바이스를 통해 요청한다. 요리사C 는 전달받은 메뉴를 완성하여 직원 B에게 전달하고 직원 B는 손님 A 에게 전달한다. ​이러한 시스템은 API 와 같다. 손님: 프로그램 메뉴: 명령 리스트 직원: API 주문: 명령 요리사: 응용프로그램 완성된 음식: 상호작용 프로그램이 작동할 수 있게 명령 리스트를 정리하여 API에게 명령하면 API는 응용프로그램이 상호작용을 하여 요청한 명령 값을 전달받는것이다. 이러한 예시를 통해 API는 프로그램이 상호작용할 수 있도록 하는 매개체임을 알 수 있다. 다음 글에서는 API의 역할을 알아보겠다.

Endpoint는 "one end of a communication channel" 뜻으로, 해석하면 커뮤니케이션 채널의 한 쪽 끝이다. - 어떠한 서비스를 이용할 때 커뮤니케이션 채널의 한쪽 끝에 해당하는 URL - API가 서버에서 리소스(resource)에 접근할 수 있도록 하는 URL API 가 뭐지? https://carpe08.tistory.com/286 Stack Overflow : https://stackoverflow.com/questions/2122604/what-is-an-endpoint What is an Endpoint? I have been reading about OAuth and it keeps talking about endpoints. What is exactly an e..

DM(Data Mart) 정의 금융, 마케팅 또는 영업과 같은 특정 팀 또는 사업 단위의 요구를 충족시키는 DW이다. DW의 일부이며, 규모가 더 작고, 집중적이며 사용자 커뮤니티에 가장 잘 맞는 데이터 요약을 포함 Data Lake 정의 정형, 비정형 및 반정형 데이터를 비롯한 모든 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 중앙 레퍼지토리. 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터를 한 곳에 모아 관리

Athena 에서 like 함수와 in 함수를 동시에 사용하는 함수는 regexp_like 이다. SELECT regexp_like(컬럼명, '(A|B)') '(A|B)' 의 의미는 '%A%' AND '%B%' 이다. 즉, A 와 B 를 포함하는 데이터들을 전부 추출한다.

정의 사용자의 의사 결정에 도움을 주기 위하여 분석 가능한 형태로 정보들이 저장되어 있는 중앙 저장소 목적 기존 정보를 활용해 더 나은 정보를 제공 데이터의 품질 향상 조직의 변화를 지원하고 비용과 자원 관리의 효율성을 향상 이점 정보에 기반한 의사 결정 가능 여러 소스의 데이터를 통합 가능 과거 데이터 분석 데이터 품질, 일관성, 정확성을 보장 트랜잭션 데이터베이스와 분석 처리를 분리하여 두 시스템의 성능을 향상 특성 고객, 거래처, 공급자, 상품 등과 같은 '주제' 중심으로 구성된다. 즉, 이용자에게 이해하기 쉬운 형태로 제공 주제지향 통합 시계열 비휘발성 DW 벤더 CDP(클라우드 데이터 플랫폼)는 아마존, 마이크로소프트, 구글과 같은 클라우드 서비스 제공자와 기업의 프로그램 사이에 가상의 데이터 ..

실제 Data Analyst 업무는 아래와 같다. 정량적 분석을 수행하여 발생하는 이슈의 근본 원인을 발견하고 데이터를 기반으로 한 솔루션 제공 프로덕트 오너, 데이터 엔지니어, 데이터 사이언티스트, 개발자를 비롯한 각종 유관 부서와 협업하여 개선 기회 모색 및 운영 생산성 최적화 비즈니스 핵심 지표 설계 및 비즈니스 인사이트 제공을 위한 대시보드 개발

정확한 분석을 하기 위해 고유성을 가진 최소 식별 단위가 필요하다. 모바일 앱 환경에서 Google과 Apple 의 디바이스 단위로 고유성을 갖는 광고 ID, 즉 광고 식별 값을 제공한다. 광고 ID는 고유한 식별값을 기준으로 고유한 역사를 형성한다. (설치부터 로그인, 구매까지) 앱 이용자들의 행동을 디바이스 단위로 분석을 할 수 있는 수단으로 모바일 앱 환경에서 신뢰할 수 있는 광고 ID 는 매우 중요하다. Google의 Play Store가 제공하는 광고 식별 값 : ADID Apple 의 Apple Store가 제공하는 광고 식별 값 : IDFA 서로 이름은 다르지만 제공하는 목적과 기능은 동일하다.

증분 적재 대량의 데이터베이스 소스의 데이터가 지속적으로 업데이트 되는 경우 원본 데이터의 전체 복사본을 다시 로드하게 된다면 시간이 오래 걸리며 실용성이 떨어지게 됩니다. 이러한 경우에 들어오는 데이터의 변경 사항을 찾아 새 레코드 또는 변경된 레코드를 로드할 수 있게 됩니다. 전체 적재보다 증분 적재는 관리하기 쉽지만, 시스템에 이슈가 생기게 된다면 데이터 불일치가 발생합니다.

미드 세일(mid sale) 우리나라는 봄, 여름, 가을, 겨울과 같이 4개의 계절이 있다. 계절과 다음 계절 사이의 중간이라는 뜻으로 Mid 라고 부른다. 많은 이커머스 회사들이 계절이 변화하게 되면 이전의 계절 상품들은 상대적으로 가격을 낮추어 판매하는 방식으로 미드 세일(mid sale)이라고 한다.