Programming 8

[Python] Google Map api를 활용한 주소 가져오기

[테스트 환경] - Windows 7 - MariaDB 10.1.12 - Python 3.5 1. Google Map API 사용 방법 - Google Map Api를 활용하여 입력 된 주소의 정확한 주소를 가져 오는 작업을 진행 한다. 2. Google Map 인증키 가져오기 - Python에서 Google API 라이브러리를 사용하기 위해서는 구글계정으로 접속하여 인증키를 받아야 한다. - Url(https://developers.google.com/maps/web-services/client-library?hl=ko )로 접속하여 API키로 검색하면 자세한 설명이 나온다. 3. Google Map 라이브러리 설치 [python@hiwdb01 /home/python/jsh]$pip3.5 install..

Programming 2017.03.16

업종 별 종가 합계 구하기

[테스트 환경] OS : CentOS 7 DB : MariaDB 10.1.12 Programming : Python 3.5 1. 함수 작성 - 업종 마스터 테이블에서 업종 코드를 불러와서 해당 업종 코드에 속하는 종목의 종가 합계 구하기 import pp from datetime import datetime import sys, socket, pymysql IpAddr = socket.gethostbyname(socket.gethostname()) conn = pymysql.connect(host=IpAddr, port=3306, user='root', passwd='root', db='STOCK',charset='utf8',autocommit=True) cur = conn.cursor() def sum..

Programming 2016.04.24

[Python]주식 종목 데이터 및 일별 시세 데이터 DB적재

1. 파이썬을 활용한 테이블 적재 방법 - 파이썬을 이용하여 한국증권 거래소에서 제공하는 주식 종목 데이터(CSV)를 테이블에 적재하는 로직을 구현 import csv import pymysql import socket #한국증권거래소에서 제공받은 csv파일을 읽어옴 stock_code = open('/root/data.csv', 'r') #배열에 넣는다. csvReader = csv.reader(stock_code) #데이터 베이스를 연결 IpAddr = socket.gethostbyname(socket.gethostname()) conn = pymysql.connect(host=IpAddr, port=3306, user='root', passwd='root',charset='utf8',autocomm..

Programming 2016.04.22

Python Parallel로 DB 데이터 읽어오기

테스트 환경 : CentOS 7 / MariaDB 10.1.12 / Python 3.5 테스트 전 test 테이블에 1926144건에 해당하는 데이터를 입력했다. 테스트1 – 전체 데이터 읽기 import pymysql import sys import pp def fet(n): conn = pymysql.connect(host='192.168.219.153', port=3306, user='root', passwd='root', db='test',charset='utf8',autocommit=True) cur = conn.cursor() sql = "select * from test” #sql += n return cur.execute(sql) ppservers = () if len(sys.argv) >..

Programming 2016.04.18

Python Parallel 예제 소스 분석

테스트 환경 : CentOS 7 / MariaDB 10.1.12 / Python 3.5 Python Parallel설치 폴더에 포함된 examples 폴더에 예제 소스가 있다. 그 중에 특정 input 이하의 값 중 소수인 값의 합을 구하는 예제인 sum_primes.py를 분석한다. def isprime(n): """Returns True if n is prime and False otherwise""" if not isinstance(n, int): raise TypeError("argument passed to is_prime is not of 'int' type") if n < 2: return False if n == 2: return True max = int(math.ceil(math.sqr..

Programming 2016.04.17

Python Parallel 설치하기

테스트 환경 : CentOS 7 / MariaDB 10.1.12 / Python 3.5 Virtual Box 이미지의 프로세서 개수를 늘려준다. 설정 > 시스템 > 프로세서 > 프로세서 개수 로컬 프로세스의 개수와 상관없이 이미지의 cpu개수를 설정할 수 있다. Python Parallel 다운로드 pp-1.6.4.4.zip 파일 다운로드 및 압축 해제 후 서버로 파일을 이동한다. (다운로드 경로 : http://www.parallelpython.com/content/view/18/32/) Python Parallel 설치 [python@localhost /home/python]$ cd /home/python/pp-1.6.4.4 [python@localhost /home/python/pp-1.6.4.4]..

Programming 2016.04.17

종목의 데이터 추출하기

테스트 환경 : CentOS 7 / MariaDB 10.1.12 / Python 3.5종목의 현재가, 시가총액, 상장주식수, 거래량 추출 한 종목에 대한 전체 데이터는 로 묶여있으며 배열 형태로 변수에 저장 srlists=source.find_all('tr') 종목의 세부 데이터는 로 묶여있음 세부 데이터 중 필요한 데이터는 현재가, 시가총액, 상장주식수, 거래량이므로 해당 데이터만 추출 srlists[i].find_all("td",class_="number")[0].text srlists[i].find_all("td",class_="number")[4].text srlists[i].find_all("td",class_="number")[5].text srlists[i].find_all("td",clas..

Programming 2016.04.14

BeautifulSoup4를 이용한 웹페이지 데이터 가져오기[정리필요]

테스트 환경 : CentOS 7 / MariaDB 10.1.12 / Python 3.5 1. BeautifulSoup - BeautifulSoup를 이용하면 웹에서 사용하는 html 소스를 가져와서 필요한 데이터를 파싱하여 사용할 수 있다. (Python 3.5 환경에서는 Beatifulsoup4를 사용해야 하며 낮은 버전을 다운받을 경우 에러가 발생한다.) [python@localhost ~]$ pip3.5 install BeautifulSoup4 Collecting BeautifulSoup Downloading BeautifulSoup-3.2.1.tar.gz - 웹페이지 html 소스를 파일로 저장할 수 있다. - BeautifulSoup을 이용해서 원하는 데이터를 파싱 후 데이터베이스에 저장(htm..

Programming 2016.04.13