데이터공부기록

1. matplotlib: ploting library. 그래프(차트) 생성을 위한 다양한 함수 지원 - import matplotlib.pyplot as plt (1) 차트 용어 １) tick ① Axis의 값들 ② tick은 숫자만 취급 ③ tick의 값을 설정할 때는 순서가 있는 List타입과 Tuple타입 사용가능 => List와 Tuple은 0번부터 시작하는 index가 부여됨 예를 들어 ['서울', '인천', '수원']인 경우에 서울은 0, 인천은1, 수원은 2인 index가 부여됨. 이 index로 tick값으로 처리 ④ 순서가 없는 set 타입은 사용 불가 ⑤ plt.xticks(값): x축 tick 설정 ⑥ plt.yticks(값): y축 tick 설정 ⑦ plt.xlim(범위): x축 ..

Python 2021. 5. 7. 19:24

１. selenium (1) 웹 브라우저를 원격 조작할 때 사용하는 도구. 주로 웹 앱을 테스트하는데 이용하는 프레임워크 (2) Selenium은 webdriver라는 API를 통해 운영체제에 설치된 Chrome등의 브라우저를 제어 (3) 브라우저를 직접 제어한다는 것은 JavaScript를 이용해 비동기적으로 혹은 뒤늦게 불러와지는 컨텐츠들을 scraping할 수 있다는 것이다. (4) Selenium은 실제 웹 브라우저가 동작하기 때문에 JS로 렌더링이 완료된 후의 DOM 결과물에 접근이 가능하다. (5) PC에서 설치되어 있는 웹 브라우저를 Selenium 라이브러리를 통해 컨트롤 (6) 예를 이용하면 자동으로 URL 열기를 할 수 있고, 크롤링, 문자 입력, 화면 캡처 등의 다양한 작업이 가능하다..

Python 2021. 5. 7. 18:43

１. 특정한 작업(함수)를 주기적으로 실행/작업하기 위하여 사용하는 스케줄러 ２. 리눅스 OS 환경의 crontab, 윈도우 OS 환경의 작업 스케줄러와 같은 역할 ３. 실행할 주기, 날짜, 시간, 요일 등을 지정하여 원하는 시점에 작업을 실행하거나 원하는 주기로 반복 실행하도록 구현가능 ４. 리눅스의 crontab, 윈도우의 작업 스케줄러와 차이점: 어플리케이션 레벨에서 스케줄러가 수행 ５. 사용 예시 (1) 업데이트 확인 (2) 바이러스 검사 (3) 신규 게시글 확인 (4) 일정시간마다 자동저장 (5) 자동백업 (6) 매수, 매도 거래가 실시간으로 생성 ６. schedule.jobs = []: Scheduler에 등록된 Job 리스트를 보관하는 변수 ７. 함수 (1) schedule.every(int..

Python 2021. 5. 7. 17:41

１. JSON 데이터를 처리하기 위해 사용되는 파이썬의 내장 모듈 ２. import json 로딩 ３. 함수 (1) json.load(fp, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw) １) json 파일을 읽어 dict 형태로 저장 ２) JSON 문서를 포함한 read()를 지원하는 텍스트 파일이나 바이너리 파일를 파이썬 객체로 역 직렬화(파일을 읽을 때 사용) ３) parse_float가 지정되면, 디코딩 될 모든 JSON float의 문자열로 호출 ４) parse_int가 지정되면, 디코딩 될 모든 JSON int의 문자열로 호출 (2) ..

Python 2021. 5. 7. 16:24

１. 의미 (1) HTML과 XML 파일로부터 데이터를 뽑아 내기 위한 파이썬 라이브러리 (2) 웹 크롤링(Web crawling) 또는 스크래핑(Scraping)은 웹 페이지들을 긁어와서 데이터를 추출 (3) 웹 크롤러는 자동화된 방식으로 웹 페이지들을 탐색하는 컴퓨터 프로그램 ２. 설치 (1) anaconda3이 설치되어 있다면 별도의 설치 불필요 (2) BeautifulSoup: 명령 프롬프트에서 ‘pip install beautifulsoup4‘로 설치 (3) HTML해석기 lxml 설치: pip install lxml ３. 사용순서 (1) xml, html의 문서나 url을 텍스트 객체 생성 (2) 텍스트 객체를 BeautifulSoup 생성자로 BeautifulSoup객체 생성 = 파싱 １) ..

Python 2021. 5. 6. 17:35

１. DataFrame (1) 표 모양(2차원)의 자료구조, Series가 여러 개 합쳐진 형태. (2) 형식: DataFrame(object, columns=[컬럼명], index=[row명]) (3) 행마다 자동으로 index 생성 (4) 각각의 컬럼이 Series가 됨 (5) 2차원 배열과의 차이점: 각 컬럼마다 type이 다를 수 있다 ☞ dict의 key들이 DataFrame의 컬럼이 되는데 컬럼의 형태는 다양 # DataFrame: 표 모양(2차원)의 자료구조, Series가 여러 개 합쳐진 형태. # 2차원 배열과 의 차이점: 각 컬럼마다 type이 다를 수 있다 from pandas import DataFrame df = DataFrame() data = { 'irum':['홍길동', '한..

Python 2021. 5. 2. 12:28

１. 개요 (1) 고수준의 자료구조(Series, DataFrame)를 지원 (2) 축약연산, 누락된 데이터 처리, sql query, 데이터 조작, 인덱싱, 시각화 등 다양한 기능 (3) numpy기반 (4) import pandas as pd ２. Series (1) 일련의 데이터를 기억할 수 있는 1차원 배열과 같은 자료구조로 명시적인 색인(index)을 갖는다. (2) index는 0부터 시작 (3) 형식: Series(object, index = [ind1, ind2, …]) １) object요소의 타입이 혼용되어 있을 경우 문자열>실수(float)>정수(int) 순으로 지정됨 ２) 단, object에서 set{}타입은 사용불가 => index를 갖기 때문에 순서가 있어야 한다. but set타..

Python 2021. 5. 1. 16:08

１. 동시성과 병렬성 (1) 동시성 (concurrency): 논리적으로 여러 작업이 동시에 실행되는 것처럼 보이는 것 ex) I/O (파일 및 네트워크 소켓 입력 및 출력) 연산 등은 프로그램의 흐름에 큰 짐이 될 수 있다. 이럴 때 한 작업의 I/O 연산이 완료되기를 기다리는 동안 다른 작업을 수행하여 유휴 시간을 활용하는 것이 동시성이다. (2) 병렬성 (parallelism): 물리적으로 여러 작업이 동시에 처리되는 것 １) 데이터 병렬성 ① 같은 작업을 병렬 처리하는 것 ② 하나의 커다란 작업에서 전체 데이터를 쪼갠 후 병렬 처리하면 작업을 빠르게 수행할 수 있다. ２) 작업 병렬성 ① 서로 다른 작업을 병렬 처리하는 것 ② 웹 서버에서는 다수의 독립적인 요청을 병렬로 개별적으로 처리할 수 있다..

Python 2021. 5. 1. 15:43