이서

date_format(event_timestamp_kst,'%Y-%m-%d %H:%i:%s') 'Y' : 연도 추출 'm' : 월 추출 'd' : 일 추출 'v' : 주차 추출 'H' : 시간 추출 'i' : 분 추출 's' : 초 추출

Redshift - 안전하게 대규모 분석을 수행하는 데이터 웨어하우스 Redshift 특징 1. 완전 관리형 데이터 웨어하우스 2. TB ~ EB 까지의 데이터를 분석하고 복잡한 분석 쿼리 실행 3. 대량 병렬 처리 (MPP) 컴퓨팅 클러스터 4. 요건에 맞는 유연성 제공 1. Redshift Spectrum (S3에 저장된 데이터를 Redshift에서 쿼리) 2. Redshift Serverless (데이터 웨어하우징 경험이 없거나 예측할 수 없는 워크로드) • 통합 데이터 접근, 보안 및 거버넌스 • Materialized View

Athena 에서 Code를 Symbol로 바꾸기 위해서는 아래 코드를 사용하면 된다. select url_decode('%EB%A7%8C~~~~~') - 인코딩, 디코딩 용어 차이는? 쉽게 접근하자! IT 용어 정리 - 인코딩(Encoding) 과 디코딩(Decoding) 뜻 출처: https://carpe08.tistory.com/296 [이서:티스토리]

인코딩(Encoding) code화 한다는 뜻으로 무언가를 코드로 바꾼다는 뜻이다. 디코딩(Decoding) 코드에서 원래 모습으로 되돌리는 것이다. Encoding이란 Symbol을 Code로 바꾸는 것이고, Decoding은 Code를 Symbol로 다시 바꾸는 과정이다. 여기서 Symbol은 뜻을 가진 것이고, Code는 뜻을 갖지 않은 것이다. 즉, Encoding은 의미(내용, 혹은 뜻)을 기호로 바꾸는 과정, Decoding은 그 반대의 과정이다.

SKU는 Stock Keeping Unit의 줄임말로 상품관리 또는 재고관리를 위한 최소 분류 단위를 말합니다. 여러분이 A제품과 B제품을 팔고 있다고 가정해봅시다. A제품은 하얀색 옷 3가지 사이즈(XL, L, M), B제품은 2가지 하얀색 옷 사이즈(L,M)을 판매한다면 SKU는 5개가 됩니다. 만약 A제품은 색상을 더해 검정색을 추가한다면 SKU는 6+2 로 총 8개입니다. A 제품: 하얀색 옷 3가지 사이즈(XL, L, M), 검정색 옷 3가지 사이즈(XL, L, M) = 6개 B 제품: 하얀색 옷 사이즈(L,M) = 2개

AWS Database Migration Service AWS에서 제공해 주는 RDB 마이그레이션 서비스로, 다시 말해 관계형 데이터베이스, 데이터 웨어하우스, NoSQL 데이터베이스 및 기타 유형의 데이터 저장소를 쉽게 마이그레이션할 수 있는 클라우드 서비스 DMS 특징 설정 및 마이그레이션 작업이 간단하다. 마이그레이션에서 사용한 리소스만큼 비용 과금된다. 이기종 간의 데이터 이전도 가능하다. 스키마 변환 도구도 제공한다. 적은 부하로 지속적인 레플리케이션 가능하다. DMS의 장점 사용이 간편하다. 속도가 빠르다 타켓 테이블을 만들지 않아도 자동으로 테이블 생성해주기 때문에 스키마, DB단위로 migration하기 편하다. 어플리케이션의 버전 upgrade시에 메타데이터 migration에 적합하다 ..

유저별 구매 브랜드 리스트 Support 전체 거래 중 품목 A 와 품목 B 가 동시에 포함된 비율 프라다 → 루이비통 지지도 = 3 / 5 = 0.6 루이비통 → 프라다 지지도 = 3 / 5 = 0.6 Confience A→B 신뢰도는 품목 A를 구매했을 때, 품목 B를 추가로 구매할 확률 프라다 → 루이비통 신뢰도 = 3 / 3 = 1 루이비통 → 프라다 지지도 = 3 / 4 = 0.75 Lift 품목 A를 구매했을 때, 품목 B를 구매할 가능성 프라다 → 루이비통 향상도 = (3 X 5)/(3 X 4) = 15 / 12 = 1.25 루이비통 → 프라다 향상도 = (3 X 5)/(3 X 4) = 15 / 12 = 1.25 전체 거래 중에 루이비통와 프라다를 모두 구매한 비율은 60% 이며, 루이비통를..

어떠한 일을 하면서 이슈가 발생했을 때, 직접 해결하는 방법과 해결하기 어려운 상태이면 우회해서 해결하는 방법이 있습니다. 이슈를 해결 못하면 우회하는 방법으로 해결하는 방법이 있듯이 회사에서는 일시적인 해결책으로 뜻한다고 이해하면 됩니다.

format_datetime({{Date}},'E') as day_of_the_week 'Y' : 연도 추출 'M', 'm' : 월 추출 'd' : 일 추출 'D' : 1월 1일부터 해당일 까지의 일수 'E' : 요일 추출

행지향 데이터베이스 행 기반 저장방식: A1 B1 C1 A2 B2 C2 A3 B3 C3 보통 데이터베이스(Oracle, MYSQL)는 레코드 단위로 읽고 쓰기에 최적화 되어있다. 테이블의 각 행을 하나의 덩어리로 디스크로 저장한다. 새 레코드를 추가할때는 파일 밑에 데이터를 넣기 때문에 추가하는 속도가 빠르다. 또한, 인덱스를 통해 검색을 빠르게 할 수 있다. 인덱스가 없으면 저장된 모든 데이터를 로드하여 원하는 레코드를 찾을 수 있어서 디스크 IO가 발생하기 떄문이다. 데이터 분석에서는 어떠한 컬럼이 사용되는 미리 알 수 없기때문에 인덱스로 통해 검색 속도를 향상시키는데 도움이 크게 되지 않는다. 열지향 데이터베이스 컬럼 기반 저장방식: A1 A2 A3 B1 B2 B3 C1 C2 C3 AWS Redsh..