하미's 블로그

GItHub 주소 : github.com 접속 https://github.com/ 1. 이메일 필요 2. 아이디는 이메일이 아닙니다. 아이디는 주소창(url)에서 확인 할 수 있습니다. 3. 오른쪽 상단을 눌러 setting에 접속하여 프로필 꾸미기합니다.

1월 1일(토): 신정 1월 31일(월) ~ 2월 2일(수): 설날 3월 1일(화): 삼일절 3월 9일(수): 제20대 대통령선거 5월 5일(목): 어린이날 5월 8일(일): 부처님오신날 6월 1일(수): 제8회 전국동시지방선거 6월 6일(월): 현충일 8월 15일(월): 광복절 9월 9일(금) ~ 9월 11일(일): 추석 → 9월 12일(월): 추석 대체공휴일 10월 3일(월): 개천절 10월 9일(일): 한글날 → 10월 10일(월): 한글날 대체공휴일 12월 25일(일): 크리스마스

pip 설치하기 파이썬의 다양한 모듈을 다운로드하기 위해서 pip도 다운로드해야 합니다. ​명령 프롬프트 창 열기 윈도우 : 윈도우 버튼 ▶ cmd 입력 맥 : Terminal 앱 실행 명령어 입력 열린 명령 프롬포트 창에 다음과 같은 명령어를 순서대로 입력하시면 됩니다. 윈도우 curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py ​py get-pip.py 또는 python get-pip.py 입력 Successfully insatlled pip-19.3.1이라는 메세지가 나오면 정상적으로 설치가 완료! 맥 sudo easy_install pip

파이썬 간편하게 설치하기 ​ 파이썬 사이트 접속 https://www.python.org/ ​다운로드 Downloads 탭에 마우스를 대면 아래와 같은 창이 뜹니다. 빨간색 네모 안의 Python 3.9.0 (버전 변경 가능) 버튼을 클릭하면 사용하시는 운영환경에 맞는 파일이 다운로드됩니다. 창이 뜨면 밑에 Add Python 3.10 to PATH 를 체크하시면 됩니다. 이후에는 Install Now버튼을 누르신 후 계속 진행하시면 됩니다. 다운로드 확인 다운로드 후 명령 프롬프트를 열어서 python이라고 치면 확인할 수 있습니다. 명령 프롬프트를 여는 법 윈도우 : 윈도우 버튼 ▶ cmd 입력 ▶ python 엔터! 맥 : Terminal 앱 실행 ▶ python 엔터!

DW(Data Warehouse) 자주 쓰이는 용어 정리 Fact: 트랜잭션으로 발생하는 숫자의 측정 값 (Fact Table) Measure: 측정 값 Demension: 기준 정보로 사용하며 5w1h 등의 정보를 설명 (Dimension Table) Attribute: Dimension 테이블에서 기준 정보로 사용하는 속성 값 ETL: Extract → Transformation → Load 방식으로 데이터를 처리하는 전통적인 데이터 처리방법 ELT: Extract → Load → Transformation 방식으로 먼저 Raw Data를 저장소에 저장한 이후에 처리하는 데이터 처리방법 Star Schema: 정규화 모델 기법, Dimension 테이블에 다른 Dimension 테이블이 연결되지 않는..

라이브러리 로드 import pandas as pd 수집할 URL 정하기 # 종목번호와 상장사 이름을 item_code와 item_name으로 설정 item_code = "352820" item_name = "빅히트" # item_code = "326030" # item_name = "SK바이오팜" # 종목 URL 만들기 url="https://finance.naver.com/item/sise_day.nhn?code=352820&page=3" print(url) requests를 통한 HTTP 요청 Requests: HTTP for Humans™ — Requests documentation Quickstart — Requests documentation # custom-headers import requ..

네이버 금융 개별종목 수집 FinanceDataReader를 통해 수집했던 데이터를 네이버 증권 웹 페이지를 통해 직접 수집합니다. Keyword html 파일 읽어오기 pd.read_html(url, encoding="cp949") 결측 데이터 제거하기(axis 0:행, 1:열) table[0].dropna() 데이터 프레임 합치기 pd.concat([df1, df2, df3]) 중복데이터 제거 df.drop_duplicates() 과학적 기수법 1.210000e+02 => 121 날짜 column의 첫 row값 확인 date = df.iloc[0]["날짜"] 파일로 저장하기 df.to_csv(file_name, index=False) 파일 읽어오기 pd.read_csv(file_name) 수집할 페이..

FinanceDataReader 란? 한국 주식 가격, 미국주식 가격, 지수, 환율, 암호화폐 가격, 종목 리스팅 등 금융 데이터 수집 라이브러리 FinanceData/FinanceDataReader: Financial data reader FinanceDataReader 사용자 안내서 | FinanceData https://pandas-datareader.readthedocs.io/en/latest/readers/index.html GitHub - FinanceData/FinanceDataReader: Financial data reader Financial data reader. Contribute to FinanceData/FinanceDataReader development by creating ..

라이브러리 불러오기 import pandas as pd import FinanceDataReader as fdr 개별 종목의 일별 시세 수집 종목코드로 수집이 가능합니다. 종목명을 찾아서 일별 시세를 수집해 주는 함수를 만들어 볼 예정입니다. - fdr.DataReader("종목코드", "하위 연도" , "상위 연도" ) df=fdr.DataReader("005930","2017","2022") df # 종가 시각화 하기 df["Close"].plot() 상장종목 목록 가져오기 df_krx=pd.read_csv("krx.csv") df_krx 상장종목 목록 사용하기 종목명과 심볼을 찾기 위해 상장종목 목록을 사용합니다. df_krx.head()​ 종목명으로 종목 코드를 받아오는 함수 만들기 def ite..

Data Pipeline이란? Data Pipeline을 통해 언제 어디든 데이터를 편하게 접근하고 분석 가능 Why, Where, How 데이터 수집 부터 출발 데이터를 한 지점에서 특정공간까지 가지고 오는데 장애물들이 있기 때문에 이걸 해결하는것이 핵심 key 데이터를 효과적으로 가져오는 것이 Data- Driven 기업의 숙제 수집 → 저장 → 처리 → 분석 → 시각화 데이터의 추출, 변경, 결합, 검증 그리고 적재의 과정을 자동화 하는 것 여러 소프트웨어적인 수동 작업들을 제거하고 데이터가 각 지점을 순조롭게 흐르도록 Flow를 만들어 주는 것 ETL와 다른 점? Data Pipeline은 ETL을 포함하는 광범위한 용어로 데이터를 한 시스템에서 또 다른 시스템으로 옮기는 작업 ETL은 하나의 시..

CC : 참조FW : 주로 메일의 전달 기능을 뜻함. 첨부파일이 유지되며 전송회신 : 메일의 회신 기능, 받은 메일의 발신인에게만 답장이 가며, 같은 타래로 묶임전체회신 : 메일의 회신 기능, 받은 메일의 발신인, 수신인, 참조인 모두에게 답장BCC : 숨은 참조. 참조와 달리 메일을 받는 수신자들은 서로의 수신 여부를 알 수 없다리스크 : 위험요소, 아직 발생하지 않았으나 발생이 예상되는 문제점RFP: 제안요청서픽스하다 : 고정하다. 확정하다어레인지: 미팅 일정을 잡다, 보고 내용을 정리 등 맥락에 따라 다용도로 사용되며 주로 어떠한 일을 처리홀드하다 : 보류, 현상황에서 추가적인 진행을 멈춘 상태로 대기릴리즈 : 배포, 이벤트를 라이브카파 : 수용량 또는 능력. 특정 업무 또는 재고 등을 수용할 수 ..

눈누 : 다양한 무료 한글 폰트 사이트(저작권 걱정 없음) https://noonnu.cc/ 눈누 상업용 무료한글폰트 사이트 noonnu.cc 픽사베이 : 무료 이미지 사이트(저작권 걱정 없음) https://pixabay.com/ko/ 공유마당 : 무료 소스 사이트(저작권 걱정 없음) https://gongu.copyright.or.kr/gongu/main/main.do 공유마당 공유마당 gongu.copyright.or.kr 한국갤럽조사연구소 : 설문조사를 무료로 볼 수 있는 사이트 https://www.gallup.co.kr/ 한국갤럽조사연구소 한국인이 좋아하는 TV프로그램 신사와 아가씨, 놀면 뭐하니?, 그 해 우리는, 런닝맨... 태종 이방원, 싱어게인2-무명가수전 2022년 1월 www.gal..

Audio english : 전세계 사람들이 영어 공부하는 사이트 https://www.audioenglish.org/ English-learning and pronunciation courses with audio, online dictionary and more AudioEnglish.org™ A Huge, Exceptional Quality, English-Learning Web Site (previously known as AudioEnglish.net™) • over 150,000 pages; • over 2,500 audio files; • British and American English native speakers from Oxford, London, Scotland, New Yor ww..

1. w컨셉 https://www.wconcept.co.kr W Concept 유니크 디자이너 편집샵 W컨셉! 단독, 콜라보 상품, 기획특가, 신규회원 10% www.wconcept.co.kr 2. 브랜디 https://www.brandi.co.kr/ 패션 쇼핑앱 브랜디 패션부터 뷰티, 리빙까지 한 곳에! 화장솜 하나, 폰케이스 하나도 무료배송 www.brandi.co.kr 3. 커먼유니크 https://common-unique.com/ 커먼유니크 PLEASE SELECT THE DESTINATION COUNTRY AND LANGUAGE : SHIPPING TO : 가나(GHANA) SHIPPING TO : 가봉(GABON) SHIPPING TO : 가이아나(GUYANA) SHIPPING TO : 감비아..

IP 정보를 이용하여 어느나라에서 접속했는지 확인할 수 있습니다. 아래 사이트를 통해 도메인부터 정체성을 밝힙니다. URL : https://www.iplocation.net/ Where is my IP location? (Geolocation) www.iplocation.net 접속하면 자신의 IP의 위치를 보여줍니다. IP 정보를 입력하여 어느 나라에서 접속했는지, 위도, 경도 등 여러 정보를 확인할 수 있습니다. 감사합니다~!

1. 트렌비 https://www.trenbe.com/ 전세계 명품 쇼핑은 트렌비 | 트렌비 | www.trenbe.com 최저 가격, 직접 배송, 최고 혜택까지! 전에 없던 명품 쇼핑을 경험하세요! www.trenbe.com 2. 머스트잇 https://bitl.bz/CA1bLy 머스트잇(MUSTIT) 1,300개 해외명품 브랜드. 매일매일 달라지는 핫딜 특가. 정품200% 보장. 편리한 명품쇼핑 머스트잇 mustit.co.kr 3.발란 https://balaan.co.kr/shop/main/index.php 발란|BALAAN 구찌, 끌로에, 이자벨 마랑, 펜디, 지방시, 발렌시아가 등 100만 신상품 최대 87% 할인, 럭셔리 쇼핑을 발란 www.balaan.co.kr 4. 캐치패션 https://w..

Google Analytics(구글 애널리틱스,GA)란? 마케팅 분야에서 일하고 있다면 적어도 한번쯤은 Google Analytics에 대해 들어보았을 것입니다. Google Analytics는 줄여서 GA로 표기하며, Google에서 무료로 제공하는 웹 로그분석 툴입니다. GA는 사용자 수, 사용자의 유입 출처(Google 광고, Facebook) 등)를 확인할 수 있고, 행동(이탈률, 세션당 페이지 수, 전환 등)을 파악하기 위해 사용됩니다. 이를 통해 얻은 인사이트는 이탈률을 줄이고, 더 많은 전환율과 트랙픽을 이끌수 있도록 개선하는데 많은 도움을 줍니다. 1. Scalability Google Analytics는 무료로 사용할 수 있는 기능도 있지만, 심층적인 분석을 위해 필요한 기능들은 돈을 지..

유칼립투스 https://www.youtube.com/c/%EC%9C%A0%EC%B9%BC%EB%A6%BD%ED%88%AC%EC%8A%A4Eucalyptus 유칼립투스 Eucalyptus A normal doctor life sent to you from South Korea 🌿 contact: minimaleddie@gmail.com ISG: instagram.com/eucal_dr www.youtube.com 스튜디오 샤 https://www.youtube.com/channel/UCn0MK9vcIxinP4033UEHiUw 스튜디오 샤 관악산 영상공방, 스튜디오 샤 스튜디오 샤는 대학생들의 이야기를 통해 입시를 준비하는 중고생들을 위한 대학생활 및 입시에 대한 정보 전달을 목표로 하는 유튜브 채널입니다..

API를 통해 Redash를 Google Sheet로 호출 1. Redash에 접속 한 후, Create → New Query 에 들어가 Test 쿼리를 생성합니다. 2. 오른쪽 상단에 점 세개가 있는 아이콘을 선택해 Show API Key를 선택합니다. 3. Google Sheet에 API 호출을 하기 위해 필요로 하기 때문에 Results in CSV format에 있는 URL을 복사합니다. 4. Google Sheet를 생성하여 A1에 IMPORTDATA() 함수에 URL을 넣어주게 되면 Redash의 Raw 데이터를 불러올 수 있습니다. 이때 URL은 반드시 쌍따음표(" ")로 감싸주어야 됩니다. Scheduling 걸기 1. Google Sheet 상단에 확장 프로그램 > 매크로 > 매크로 기..

로또 번호 크롤링 url: https://dhlottery.co.kr/gameResult.do?method=byWin&wiselog=C_A_1_2 로또6/45 - 회차별 당첨번호 1000회 당첨결과 (2022년 01월 29일 추첨) 당첨번호 2 8 19 22 32 42 1000회 순위별 등위별 총 당첨금액, 당첨게임 수, 1게임당 당첨금액, 당첨기준, 비고 안내 순위 등위별 총 당첨금액 당첨게임 수 1게임 dhlottery.co.kr 당청번호와 보너스 숫자가 들어 있는 태그와 선택자를 찾으려고 합니다. 부분을 찾을 수 있고, 관심있는 부분의 태그는 'div' 이고, class는 'nums' 입니다. 태그의 위쪽으로 올라가면 id를 가진 태그를 찾을 수 있습니다. ... ... ... ... HTML은 태..

만약 다음과 같은 태그를 사용한다고 해봅니다. 선택자에 따라 데이터 검색 방법에 차이가 있습니다. 데이터를 검색할 때, 태그 뒤에 id는 '#' 을 붙여야 도며, class는 '.' 을 붙여애 됩니다. 1. 태그만 사용하여 데이터를 찾을 경우 : 태그 2. 태그와 id를 사용하여 데이터를 찾을 경우 : 태그#id 3. 태그와 class를 사용하여 데이터를 찾을 경우 : 태그.class 4. 태그, id, class 모두 사용하여 데이터를 찾을 경우: 태그#id.class 다만 class의 이름에 공백이 포함될 경우가 있습니다. 공백을 '.'으로 대체해서 아래와 같이 작성하면 됩니다. div.I.Like.Apple 다음 글에서는 실습 해보겠습니다.

id 와 class 태그의 선택자는 보통 id와 class를 사용합니다. 각각 언제 사용하는지 소개하겠습니다. id 어떤 웹 사이트에 회원가입을 할 때, 그 웹 사이트에서 특정 유저만 사용하는 아이디만 생성합니다. 주민등록번호, 학번 등과 같이 id는 특정 요소만 가질 수 있는 고유한 값입니다. HTML에서는 하나의 id가 고유한 선택자로, 하나의 HTML 코드에 id는 중복되지 않고 하나만 존재합니다. class 태그의 선택자로 사용되지만 id처럼 고유한 값은 아닙니다. class는 같은 속성을 지닌 데이터들을 묶어주는 값으로 class는 여러 번 사용이 가능합니다. 예제 표1. 이름 학번 직업 사용하는 언어 이서 2016121212 데이터 분석가 파이썬, R 혁준 2017123012 웹 개발자 자바,..

선택자 웹 페이지를 표현하는 데이터 모두가 태그로 구성되어 있어 서로 동일한 태그가 존재할 것입니다. 이렇게 동일한 태그들은 분간을 하기 위해 HTML에서는 선택자를 사용합니다. 각 태그를 구별할 수 있는 주소를 부여 해줍니다. 선택자 필요성 파이썬 apply java split 해당 웹 페이지에서 언어와 관련된 데이터만 필요하다고 한다고 가정해보겠습니다. 만약 태그로만 해당 데이터를 선택한다면 태그 을 사용할 것입니다. 하지만 태그 에 언어 정보뿐 아니라 함수정보(apply, split)도 포함됩니다. 이러한 경우에 선택자를 사용합니다. 파이썬 apply java split class='language' 선택자를 추가해 준다면, 우리는 span 태그와 language 라는 선택자를 사용해 언어 관련 데..

크롤링을 하기 전엔 웹 페이지에 대해 알아야 합니다. 웹 페이지는 HTML을 기반으로 되어있습니다. HTML은 HyperText Markup Language로 마크로 둘러쌓인 언어라는 뜻입니다. 즉, 웹 페이지를 만들 때 쓰는 언어입니다. 페이지에서 F12 버튼을 클릭한다면, 개발자 도구 창을 볼 수 있습니다. 이 코드들이 바로 HTML입니다. HTML이라는 문서를 통해 우리는 웹페이지의 구조를 파악할 수 있고, 이를 이용하여 원하는 데이터가 웹 페이지의 어디에 위치해 있는지 파악하여 수집하는 것이 크롤링의 핵심입니다. HTML 태그 HTML에 있는 각각의 구성 요소는 마크의 역할을 하는 '태그'로 감싸져 있습니다. 내용 시작과 끝이 하나의 쌍으로 구성되어 있고, 그 사이에 내용이 포함됩니다. HTML ..

크롤링하기 위해서는 라이브러리를 사용해야 합니다. 라이브러리는 프로그래밍을 할 때, 코드를 작성하지 않고 필요한 기능을 수행할 수 있도록 마련된 함수와 메소드의 집합입니다. 파이썬의 환경이 방대한 만큼, 수십, 수백만 개의 라이브러리가 존재합니다. 하지만, 모든 라이브러리를 알 필요도 없습니다. 어떠한 기능을 구현할 때, 어떤 라이브러리를 사용해야 한다는 정도만 알면 됩니다. 정적 크롤링 정적 크롤링을 할 때, 파이썬의 두 가지 라이브러리를 사용합니다. 하나는 requests, 하나의 Beautifulsoup4입니다. requests requests 라이브러리는 기존에 어려운 HTTP 요청을 쉽게 사용하기 위해 만들어진 라이브러리입니다. 쉽게 말해, 파이썬과 웹을 연경하기 위해 사용 하는 것입니다. 아래..

어떤 데이터를 크롤링하는가? 에 따라 크게 정적크롤링과 동적크롤링으로 나뉩니다. 정적 크롤링 정적 크롤링은 로그인과 같은 사전 작업 없이, 한 페이지 내부에서 원하는 데이터를 수집할 때 사용합니다. 동영상 스트리밍 사이트의 인기 동영상과 같은 경우라고 생각하면 됩니다. 정적 크롤링은 주소를 통해 데이터를 요청하고, 결과를 받는 것으로 크롤링이 종료됩니다. 한 페이지 내에서 모든 작업이 이루어지기 때문에 속도가 매우 빠릅니다. 하지만 주소를 통해 데이터를 받습니다. 로그인 -> 페이지 이동 -> 클릭 -> 데이터 수집와 같은 연속적인 작업을 수행할 수 없습니다. 따라서 페이지의 변화가 조금이라도 필요한 경우에는 적용이 힘들기 때문에 수집 대상에 한계가 있다는 단점이 있습니다. 동적 크롤링 동적 크롤링은 정..

홍익대학교 서울캠 사이트 모음(최신, 빠르게 접속, 필요한 사이트 모음) 弘益大学の学生に必要なサイト 홍익대 사이트(弘益大学サイト): https://www.hongik.ac.kr/index.do 홍익대학교 1. 학사학위취득유예 : 정규 8학기 이상 등록(건축학전공 및 건축디자인전공은 정규 10학기 이상 등록)하고, 학칙이 정하는 졸업에 필요한 요건을 모두 충족한 자는 학사 학위취득 유예를 신청할 www.hongik.ac.kr 홍익대 대학원(弘益大学院): http://ilbangrad.hongik.ac.kr/ilbangradindex.do 일반대학원 22.01 27~2 ilbangrad.hongik.ac.kr 클래스넷(クラスネット): https://www.hongik.ac.kr/login.do?Refer=h..

크롤링(Crawling) 보통 크롤링은 단순히 데이터 수집이라고 알고 있습니다. 넓은 의미로, 의미를 알아보겠습니다. 크롤링(Crawling)이란 인터넷에서 데이터를 검색하여 필요한 정보를 색인하는 것을 의미합니다. 사용자가 데이터를 하나씩 검색을 하여 정보를 수집하고, 저장, 가공하는 과정을 대신 해주는 기술입니다. 쉽게 정리하면, 크롤링은 인터넷상의 데이터를 수집, 저장, 가공하는 자동화된 기술이라고 할 수 있다. 크롤링의 중요성 크롤링은 업무 자동화로 인한 업무 효율화가 가장 큰 몫을 차지합니다. 반복적인 필요한 업무를 컴퓨터가 저희 대신하는 것입니다. 10개 정도의 정보는 복사-붙여넣기를 사용해 단순히 해결할 수 있지만, 1000개, 10000개라면, 그 정보를 수집하는데 시간이 많이 걸릴 것입니..

킴벌의 DW/BI 아키텍처 DW/BI 환경의 구성요소들을 보면서, DW/BI 시스템과 다차원 모델링의 기초를 알아보겠다. DW/BI 환경에는 고려해야 할 네가지 분리된 개별 구성요소가 있는데, 운영계 원천 시스템, ETL 시스템, 프레젠테이션 영역, BI 애플리케이션이다. 운영계 원천 시스템 비즈니스 트랜잭션을 포착하여 기록하는 운영 시스템들이 있다. 운영 시스템의 데이터 내용과 형식을 거의 또는 전혀 제어할 수 없기 때문에 데이터 웨어하우스 외부영역으로 생각할 것이다. 원천 시스템의 중요한 우선순위는 처리 성능과 가용성이다. 원천 시스템에 대한 운영 쿼리들은 정상적인 트랜잭션 흐름에서 1회 1레코드 쿼리이며, 운영시스템에서 엄격히 제한된다. 원천 시스템은 과거 데이터를 거의 유지하지 않는다. 좋은 데이..

Concat 으로 데이터 합치기 df_first_prepare 와 df_last_prepare 를 합쳐줍니다. df=pd.concat([df_first_prepare,df_last_prepare]) df.shape #(1224, 4) 제대로 합쳐졌는지 미리보기를 합니다. df.head() 연도별로 데이터가 몇개씩 있는지 value_counts를 통해 세어봅니다. df["연도"].value_counts() pivot_table 사용하기 연도를 인덱스로, 지역명을 컬럼으로 평당분양가격을 피봇테이블로 그려봅니다. k=pd.pivot_table(data=df,index="연도",columns="지역명",values="평당분양가격") k 한 열에 대해서 시각화 k.astype(int).style.backgroun..