하미's 블로그

ValueError: invalid literal for int() with base 10: ' ' df_last["컬럼명"].astype(int) 보통 특정 컬럼의 object (문자형) 타입을 변경하고자 할 때, astype 을 통해 수치형으로 변경할 수 있는데 해당 컬럼 안에 ' ' 공백 문자가 들어있으면 수치형으로 변경할 수 없다. 이를 해결하기 위해서는 pd.to_numeric 을 사용한다. import pandas as pd pd.to_numeric(df_last["~"]) 하지만 아래와 같이 에러가 발생한다. ValueError: Unable to parse string " " 이러면 강제적으로 빈공간을 무시해주기 위해 errors = 'corece' 를 사용한다. pd.to_numeric(..

간혹 주피터 노트북에서 코드를 실행하다가 Unicode Decode Error 에러가 발생하게 된다. 이 오류는 한글인코딩이 깨져서 읽어오지 못해서 발생한것인데요. import pandas as pd pd.read_csv("파일명.csv", encoding = "cp949") pd.read_csv("파일명.csv", encoding = "euc-kr") encoding 파라미터를 cp949 또는 euc-kr로 설정하면 오류가 해결된다. 관련 기사 한글인코딩 : ‘설믜를 설믜라 못 부르는’ 김설믜씨 “제 이름을 지켜주세요” : 사회일반 : 사회 : 뉴스 : 한겨레

쿠팡 : https://bitl.bz/Q793xm 쿠팡 deg.kr 11번가 : https://bitl.bz/vV2lce 11번가 deg.kr G마켓 : https://bitl.bz/4xlwNW G마켓 deg.kr 알리익스프레스 : https://bitl.bz/w8SHi7 알리익스프레스 deg.kr 위메프 : https://bitl.bz/5OUqHz 위메프 deg.kr 옥션 : https://bitl.bz/WDPdFU 옥션 deg.kr 홈플러스 : https://bitl.bz/3Qq7xc 홈플러스 deg.kr 롯데홈쇼핑 : https://bitl.bz/Nd0Ojp 롯데홈쇼핑 deg.kr GS SHOP : https://bitl.bz/d3OkKx GS SHOP deg.kr 하이마트 : https://bit..

2023년 토익시험 일정이 발표되었는데요. 한국 토익 위원회가 발표한 2023년도에는 총 26번의 시험을 진행합니다. 매월 평균 2회 시험이 예정되어있으며, 특이사항으로는 토익 시험이 2023년에는 총 3회에 걸쳐 토요일에 시험을 진행합니다. 이러한 이유는 일요일에 시험 응시가 어려운 수험생을 위해 마련하였다고 합니다. 토요일 정기 시험 일자 정보 2023년 1월 14일(479회) 2023년 4월 15일(486회) 2023년 10월 14일(499회) 2023년 시험 일정은 아래와 같습니다. 시험 일정, 접수기간, 성적 발표일 등 여러가지 변동사항이 발생할 수 있으니 정확한 정보는 한국토익위원회 홈페이지에서 확인하면 됩니다. 사진 출처: 한국토익위원회 홈페이지 링크로 보는게 더 정확하겠죠? 당연히 공유드립..

안녕하세요~~ 여러분! 토익 시험 잘 보셨을까요?? 많이 궁금하시다면, 시험 끝나자마자 내가 선택한 답이 맞는지 너무 궁금할텐데요... 요번에는 편하게 토익 정답 확인할 수 있는 사이트를 공유드리려고 해요 우선 소개하기에 앞서 토익 답 무료 알림 신청을 한다면 치킨, 스타벅스, 바나나 우유까지 전부 받을 수 있다고 합니다...!!! 우와 그곳이 바로~~~~~~~ 해커스 토익입니다. https://deg.kr/3e3e065 (해당 링크는 광고용으로, 신뢰를 바탕으로 작성하는 제 블로그를 걸고 안전한 링크입니다.) 해커스 토익정답 실시간 확인 deg.kr 토익 자유게시판에서 토익정답 실시간 확인 서비스 & 이번 시험 난이도도 확인 할 수 있고, 논란되었던 문제까지 확인할 수 있다고 합니다! 문제에 대해서 스..

자주 틀리는 맞춤법 정리 틀린 말 맞는 말 틀린 말 맞는 말 안되 안돼 역활 역할 어의없다 어이없다 나중에 뵈요 나중에 봬요 금새 금세 건들이다 건드리다 왠만하면 웬만하면 애띠다 앳되다 왠 떡이야 웬 떡이야 설겆이 설거지 어따 대고 얻다 대고 일일히 일일이 할께요 할게요 어떻해 어떡해/어떻게 해 않되나요 안되나요 문안하다 무난하다 바램 바람 설레임 설렘 잠궜다 잠갔다 내 꺼 내 거 오랫만에 오랜만에 몇일, 몇 일 며칠

서버(Server) 서빙을 해주는 사람 주문하면 가져다 주는 사람 주문하면 가져다 주는 것 생김새는 상관 없이 데이터를 보내주는 것 클라이언트(Client) 고객 서빙을 받는 사람 데이터를 받는 컴퓨터 데이터를 받는 기기 클라이언트(Client) -> 서버(Server) : Request 클라이언트(Client)

date_format(event_timestamp_kst,'%Y-%m-%d %H:%i:%s') 'Y' : 연도 추출 'm' : 월 추출 'd' : 일 추출 'v' : 주차 추출 'H' : 시간 추출 'i' : 분 추출 's' : 초 추출

Redshift - 안전하게 대규모 분석을 수행하는 데이터 웨어하우스 Redshift 특징 1. 완전 관리형 데이터 웨어하우스 2. TB ~ EB 까지의 데이터를 분석하고 복잡한 분석 쿼리 실행 3. 대량 병렬 처리 (MPP) 컴퓨팅 클러스터 4. 요건에 맞는 유연성 제공 1. Redshift Spectrum (S3에 저장된 데이터를 Redshift에서 쿼리) 2. Redshift Serverless (데이터 웨어하우징 경험이 없거나 예측할 수 없는 워크로드) • 통합 데이터 접근, 보안 및 거버넌스 • Materialized View

Athena 에서 Code를 Symbol로 바꾸기 위해서는 아래 코드를 사용하면 된다. select url_decode('%EB%A7%8C~~~~~') - 인코딩, 디코딩 용어 차이는? 쉽게 접근하자! IT 용어 정리 - 인코딩(Encoding) 과 디코딩(Decoding) 뜻 출처: https://carpe08.tistory.com/296 [이서:티스토리]

인코딩(Encoding) code화 한다는 뜻으로 무언가를 코드로 바꾼다는 뜻이다. 디코딩(Decoding) 코드에서 원래 모습으로 되돌리는 것이다. Encoding이란 Symbol을 Code로 바꾸는 것이고, Decoding은 Code를 Symbol로 다시 바꾸는 과정이다. 여기서 Symbol은 뜻을 가진 것이고, Code는 뜻을 갖지 않은 것이다. 즉, Encoding은 의미(내용, 혹은 뜻)을 기호로 바꾸는 과정, Decoding은 그 반대의 과정이다.

패션 플랫폼에서 SKU(Stock Keeping Unit)는 의류나 액세서리와 같은 제품을 식별하고 관리하는 중요한 코드입니다. 많은 사람들이 SKU라는 용어를 접하지만 그 정확한 의미나 중요성에 대해 잘 알지 못하는 경우가 많습니다. 오늘은 패션 플랫폼에서 의류 SKU의 의미와 역할, 그리고 이를 어떻게 활용할 수 있는지에 대해 알아보겠습니다.1. SKU란 무엇인가?SKU는 재고 관리 단위로, 제품을 고유하게 식별하는 코드입니다. 의류나 액세서리, 신발 등 모든 상품에는 고유한 SKU가 부여됩니다. 이 코드는 숫자와 문자가 조합된 형태로 구성되어 있으며, 제품의 특성(색상, 사이즈, 디자인 등)을 식별할 수 있게 해줍니다.예를 들어, 한 의류 브랜드에서 판매하는 여성용 블라우스의 경우, 색상과 사이즈가..

AWS Database Migration Service AWS에서 제공해 주는 RDB 마이그레이션 서비스로, 다시 말해 관계형 데이터베이스, 데이터 웨어하우스, NoSQL 데이터베이스 및 기타 유형의 데이터 저장소를 쉽게 마이그레이션할 수 있는 클라우드 서비스 DMS 특징 설정 및 마이그레이션 작업이 간단하다. 마이그레이션에서 사용한 리소스만큼 비용 과금된다. 이기종 간의 데이터 이전도 가능하다. 스키마 변환 도구도 제공한다. 적은 부하로 지속적인 레플리케이션 가능하다. DMS의 장점 사용이 간편하다. 속도가 빠르다 타켓 테이블을 만들지 않아도 자동으로 테이블 생성해주기 때문에 스키마, DB단위로 migration하기 편하다. 어플리케이션의 버전 upgrade시에 메타데이터 migration에 적합하다 ..

유저별 구매 브랜드 리스트 Support 전체 거래 중 품목 A 와 품목 B 가 동시에 포함된 비율 프라다 → 루이비통 지지도 = 3 / 5 = 0.6 루이비통 → 프라다 지지도 = 3 / 5 = 0.6 Confience A→B 신뢰도는 품목 A를 구매했을 때, 품목 B를 추가로 구매할 확률 프라다 → 루이비통 신뢰도 = 3 / 3 = 1 루이비통 → 프라다 지지도 = 3 / 4 = 0.75 Lift 품목 A를 구매했을 때, 품목 B를 구매할 가능성 프라다 → 루이비통 향상도 = (3 X 5)/(3 X 4) = 15 / 12 = 1.25 루이비통 → 프라다 향상도 = (3 X 5)/(3 X 4) = 15 / 12 = 1.25 전체 거래 중에 루이비통와 프라다를 모두 구매한 비율은 60% 이며, 루이비통를..

어떠한 일을 하면서 이슈가 발생했을 때, 직접 해결하는 방법과 해결하기 어려운 상태이면 우회해서 해결하는 방법이 있습니다. 이슈를 해결 못하면 우회하는 방법으로 해결하는 방법이 있듯이 회사에서는 일시적인 해결책으로 뜻한다고 이해하면 됩니다.

컨템포러리(Contemporary) '동 시대', '현대' 를 뜻하는 영어 단어로 값 비싼 명품보다는 저렴하지만 명품 못지 않은 품질과 도시적인 디자인을 내세우는 브랜드를 가리킨다.

format_datetime({{Date}},'E') as day_of_the_week 'Y' : 연도 추출 'M', 'm' : 월 추출 'd' : 일 추출 'D' : 1월 1일부터 해당일 까지의 일수 'E' : 요일 추출

행지향 데이터베이스 행 기반 저장방식: A1 B1 C1 A2 B2 C2 A3 B3 C3 보통 데이터베이스(Oracle, MYSQL)는 레코드 단위로 읽고 쓰기에 최적화 되어있다. 테이블의 각 행을 하나의 덩어리로 디스크로 저장한다. 새 레코드를 추가할때는 파일 밑에 데이터를 넣기 때문에 추가하는 속도가 빠르다. 또한, 인덱스를 통해 검색을 빠르게 할 수 있다. 인덱스가 없으면 저장된 모든 데이터를 로드하여 원하는 레코드를 찾을 수 있어서 디스크 IO가 발생하기 떄문이다. 데이터 분석에서는 어떠한 컬럼이 사용되는 미리 알 수 없기때문에 인덱스로 통해 검색 속도를 향상시키는데 도움이 크게 되지 않는다. 열지향 데이터베이스 컬럼 기반 저장방식: A1 A2 A3 B1 B2 B3 C1 C2 C3 AWS Redsh..

.parquet 컬럼기반 저장포맷으로, 데이터를 저장하는 방식 중 하나이다. 하둡 생태계에서 많이 사용하는 저장 방식으로, 영어 본 의미는 나무조각들을 차곡차곡 모아 붙여넣는 마룻바닥 형태이다. 따라서, 데이터를 차곡차곡 정리한다는 뜻으로 압축률이 좋고, 디스크IO 가 적으며 컬럼별로 적합한 인코딩을 할 수 있다.

API 의 개념을 설명하기 위해 쉽게 예시를 통해 알아보곘다. 어느 한 레스토랑에 들어간 손님 A가 직원 B에게 음식 메뉴를 시킨다. 직원 B는 주문받은 메뉴를 요리사 C에게 디바이스를 통해 요청한다. 요리사C 는 전달받은 메뉴를 완성하여 직원 B에게 전달하고 직원 B는 손님 A 에게 전달한다. ​이러한 시스템은 API 와 같다. 손님: 프로그램 메뉴: 명령 리스트 직원: API 주문: 명령 요리사: 응용프로그램 완성된 음식: 상호작용 프로그램이 작동할 수 있게 명령 리스트를 정리하여 API에게 명령하면 API는 응용프로그램이 상호작용을 하여 요청한 명령 값을 전달받는것이다. 이러한 예시를 통해 API는 프로그램이 상호작용할 수 있도록 하는 매개체임을 알 수 있다. 다음 글에서는 API의 역할을 알아보겠다.

Endpoint는 "one end of a communication channel" 뜻으로, 해석하면 커뮤니케이션 채널의 한 쪽 끝이다. - 어떠한 서비스를 이용할 때 커뮤니케이션 채널의 한쪽 끝에 해당하는 URL - API가 서버에서 리소스(resource)에 접근할 수 있도록 하는 URL API 가 뭐지? https://carpe08.tistory.com/286 Stack Overflow : https://stackoverflow.com/questions/2122604/what-is-an-endpoint What is an Endpoint? I have been reading about OAuth and it keeps talking about endpoints. What is exactly an e..

DM(Data Mart) 정의 금융, 마케팅 또는 영업과 같은 특정 팀 또는 사업 단위의 요구를 충족시키는 DW이다. DW의 일부이며, 규모가 더 작고, 집중적이며 사용자 커뮤니티에 가장 잘 맞는 데이터 요약을 포함 Data Lake 정의 정형, 비정형 및 반정형 데이터를 비롯한 모든 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 중앙 레퍼지토리. 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터를 한 곳에 모아 관리

Athena 에서 like 함수와 in 함수를 동시에 사용하는 함수는 regexp_like 이다. SELECT regexp_like(컬럼명, '(A|B)') '(A|B)' 의 의미는 '%A%' AND '%B%' 이다. 즉, A 와 B 를 포함하는 데이터들을 전부 추출한다.

정의 사용자의 의사 결정에 도움을 주기 위하여 분석 가능한 형태로 정보들이 저장되어 있는 중앙 저장소 목적 기존 정보를 활용해 더 나은 정보를 제공 데이터의 품질 향상 조직의 변화를 지원하고 비용과 자원 관리의 효율성을 향상 이점 정보에 기반한 의사 결정 가능 여러 소스의 데이터를 통합 가능 과거 데이터 분석 데이터 품질, 일관성, 정확성을 보장 트랜잭션 데이터베이스와 분석 처리를 분리하여 두 시스템의 성능을 향상 특성 고객, 거래처, 공급자, 상품 등과 같은 '주제' 중심으로 구성된다. 즉, 이용자에게 이해하기 쉬운 형태로 제공 주제지향 통합 시계열 비휘발성 DW 벤더 CDP(클라우드 데이터 플랫폼)는 아마존, 마이크로소프트, 구글과 같은 클라우드 서비스 제공자와 기업의 프로그램 사이에 가상의 데이터 ..

실제 Data Analyst 업무는 아래와 같다. 정량적 분석을 수행하여 발생하는 이슈의 근본 원인을 발견하고 데이터를 기반으로 한 솔루션 제공 프로덕트 오너, 데이터 엔지니어, 데이터 사이언티스트, 개발자를 비롯한 각종 유관 부서와 협업하여 개선 기회 모색 및 운영 생산성 최적화 비즈니스 핵심 지표 설계 및 비즈니스 인사이트 제공을 위한 대시보드 개발

정확한 분석을 하기 위해 고유성을 가진 최소 식별 단위가 필요하다. 모바일 앱 환경에서 Google과 Apple 의 디바이스 단위로 고유성을 갖는 광고 ID, 즉 광고 식별 값을 제공한다. 광고 ID는 고유한 식별값을 기준으로 고유한 역사를 형성한다. (설치부터 로그인, 구매까지) 앱 이용자들의 행동을 디바이스 단위로 분석을 할 수 있는 수단으로 모바일 앱 환경에서 신뢰할 수 있는 광고 ID 는 매우 중요하다. Google의 Play Store가 제공하는 광고 식별 값 : ADID Apple 의 Apple Store가 제공하는 광고 식별 값 : IDFA 서로 이름은 다르지만 제공하는 목적과 기능은 동일하다.

증분 적재 대량의 데이터베이스 소스의 데이터가 지속적으로 업데이트 되는 경우 원본 데이터의 전체 복사본을 다시 로드하게 된다면 시간이 오래 걸리며 실용성이 떨어지게 됩니다. 이러한 경우에 들어오는 데이터의 변경 사항을 찾아 새 레코드 또는 변경된 레코드를 로드할 수 있게 됩니다. 전체 적재보다 증분 적재는 관리하기 쉽지만, 시스템에 이슈가 생기게 된다면 데이터 불일치가 발생합니다.

미드 세일(mid sale)우리나라는 봄, 여름, 가을, 겨울과 같이 4개의 계절이 있다.계절과 다음 계절 사이의 중간이라는 뜻으로 Mid 라고 부른다.많은 이커머스 회사들이 계절이 변화하게 되면 이전의 계절 상품들은 상대적으로 가격을 낮추어 판매하는 방식으로 미드 세일(mid sale)이라고 한다.비슷한 개념시즌오프(Season Off) 세일미드 세일과 유사한 개념으로, 한 시즌이 완전히 끝나갈 때 진행되는 대규모 할인 행사입니다.예: 여름이 끝날 무렵 진행되는 '여름 시즌오프' 할인.클리어런스(Clearance) 세일재고를 정리하기 위해 진행되는 세일.보통 신상품이 입고되기 전, 오래된 재고를 처분할 때 활용.할인율이 높은 편이지만, 사이즈나 인기 제품이 금방 품절될 수 있음.블랙프라이데이(Black..

AF (Average Frequency) 평균 빈도(Average Frequency) 라는 뜻으로 평균 빈도를 뜻한다. 특정 광고 메세지에 도달된 사람들에게 평균적으로 노출된 횟수를 구할 때 사용하는 용어이다. 평균 빈도(Average Frequency): 광고 효과를 측정하는 중요한 지표디지털 마케팅 캠페인을 진행할 때, 광고의 효과를 평가하는 데 여러 지표들이 사용됩니다. 그 중 하나가 바로 평균 빈도(Average Frequency)입니다. 이 지표는 광고가 얼마나 자주, 그리고 얼마나 효과적으로 타겟 오디언스에게 노출되었는지를 나타내는 중요한 요소입니다.오늘은 평균 빈도(Average Frequency)라는 개념과 그 의미에 대해 자세히 살펴보겠습니다.1. 평균 빈도(Average Frequenc..

레거시이란? 레거시는 영어로 legacy 이다. Legacy는 유산이라는 뜻으로 현재까지 남아 사용되고 있거나 현재의 체계에 영향을 미치는 과거의 체계를 뜻합니다. 즉, 오래된 시스템이 기반이 되거나 현재까지 남아 쓰이는 시스템은 레거시 시스템이라고 합니다. 참고로, 사라지는 시스템은 as-is 시스템이라 합니다.