빅데이터 프로그래밍37

• 

  [centos] Python(파이썬) 버전 변경 CentOS SCL 릴리스 파일을 설치 sudo yum install centos-release-scl Python3 설치 sudo yum install rh-python36 현재 셀의 기본 python 버전이 2.7.5인 경우 파이썬3으로 사용하기 위해 Python 3.6에 액세스하려면 scl 도구를 사용하여 새 셸 인스턴스를 시작해야 한다. scl enable rh-python36 bash Python 3.6에 액세스하려면 scl 도구를 사용하여 새 셸 인스턴스를 시작해야 한다. 이후 파이썬 버전 확인을 하면 python 3.6.3으로 보여진다.파이썬 버전 확인은 python --version 빅데이터 프로그래밍/Python 2022. 3. 28.

• 

  [Python] 36. [Scraping] 이미지 처리와 텍스트 인식 [01] 이미지 처리와 텍스트 인식 1. Pillow 설치 - 이미지처리 기본 기능을 지원하며 사용이 쉬움.- http://pillow.readthedocs.org C:\Users\soldesk>pip install pillow Collecting pillow Downloading Pillow-4.1.0-cp36-cp36m-win_amd64.whl (1.5MB) 100% ■■■■■■■■■■■■■■■■■■■■ 1.5MB 211kB/s Collecting olefile (from pillow) Downloading olefile-0.44.zip (74kB) 100% ■■■■■■■■■■■■■■■■■■■■ 81kB 5.3MB/s Installing collected packages: olefile, pillow.. 빅데이터 프로그래밍/Python 2017. 8. 21.

• 

  [Python] 35. [Scraping] Open API를 활용한 데이터 수집, MySQL 서버로 수집된 데이터의 저장 [01] Open API를 활용한 데이터 수집- IE -> https://data.seoul.go.kr -> 회원 가입 -> 로그인 -> 오픈 데이터 -> 오픈 API -> '지하철 승하차 인원' 검색 -> '서울시 지하철호선별 역별 승하차 인원 정보' 접속 -> Open API -> 인증키 신청 -> 4d79514946696e753739665a4f5979 1. 하나의 날짜에대한 지하철 승하차 인원 정보 [실행 화면] 1호선 종각 loading_date: 20170423 일요일 url: http://openapi.seoul.go.kr:8088/4d79514946696e753739665a4f5979/xml/CardSubwayStatsNew/1/549/20170423 승차 : 22966 하차 : 19138 .. 빅데이터 프로그래밍/Python 2017. 8. 21.

• 

  [Python] 34. [MySQL] JDBC 드라이버설정, Eclipse Data Source Explorer의 MySQL 설정 [01] JDBC 드라이버(connector) 다운로드 1. MySQL 드라이버 Download: http://www.mysql.com - Community Downloads 클릭 - MySQL Connectors 다운로드 - Connector/J 클릭 - [Download] 버튼 클릭 - 여기선 로그인안하고 다운로드만 합니다.2. 압축 풀기- 압축이 풀리면 jar 파일이 출력됩니다.- jar 파일을 복사하여 사용합니다.[02] Eclipse Data Source Explorer의 MySQL 설정- MySQL 서버를 먼저 실행합니다.- MySQL Driver 준비 C:/홈 폴더/mysql-connector-java-5.1.40-bin.jar1. Window -> Show View -> Other... 클.. 빅데이터 프로그래밍/Python 2017. 8. 21.

• 

  [Python] 33. [MySQL] 서버 실행, 관리자 root계정 암호화, root 접속 설정, 계정 생성 [01] MySQL 서버 작동 1. MySQL 서버 작동 1) C:/홈 폴더/mysql56/bin/mysqld.exe 실행(d: damon) 2) 방화벽 옵션은 '액세스 허용'을 선택합니다. 3) mysqld.exe가 [작업관리자 -- 프로세스]에 실행중인지 확인합니다. 작업 관리자 호출은 'Ctrl + Shift + ESC' 키를 동시에 누릅니다. [02] MySQL 서버에 root 계정으로 접속 1. MySQL 서버에 root 계정으로 접속 - mysql 최고 관리자 계정이며 처음 mysql 설치시 패스워드가 지정되어 있지 않습니다. - 클라이언트 실행 . -u: 계정 지정 옵션, root: 최고 관리자 계정 C: CD/ CD 홈 폴더/mysql56/bin mysql USE mysql; Databas.. 빅데이터 프로그래밍/Python 2017. 8. 21.

• 

  [Python] 32. [MySql] 데이터베이스 개론, MySQL 5.6 Potable(개발자 유형) 설치, 한글 깨짐, 처리, 보관, 수정, 삭제 [01] MySQL 5.6의 이동용 설치 - MySQL은 중소기업의 무료 데이터베이스이며 Sun에 인수된 후 다시 Oracle에 인수되었습니다. 추후 언제든지 상용화 할 수 있는 상황이며 MySQL 원판 개발자는 MariaDB를 독립적으로 개발하여 배포에 힘쓰고 있으며 2015년부터 국내 기업들도 MaraiDB를 적용해나가고 있습니다. MariaDB는 대부분의 기능이 MySQL과 동일하나 대용량데이터베이스에서 우수한 속도와 안정성을 가지고 있는것으로 평가되고 있습니다. * [제어판 -> 프로그램 및 기능]에서 MySQL이 이미 설치되어 있다면 충돌 제거를 위해 삭제하고 재부팅합니다. 1. 다운로드 1) http://www.mysql.com 2) 'Community(GPL) Downloads' 를 클릭합니.. 빅데이터 프로그래밍/Python 2017. 8. 21.

• 

  [Python] 31. [Scraping] Selenium 모듈을 이용한 폼과 로그인 인증 통과 테스트 [01] Selenium 모듈을 이용한 폼과 로그인 인증 통과 테스트- 사람처럼 웹페이지와 상호작용이 가능하도록 기능 지원1. Selenium 설치 C:\Users\soldesk>pip install selenium Collecting selenium Downloading selenium-3.4.1-py2.py3-none-any.whl (931kB) 100% ■■■■■■■■■■ 942kB 729kB/s Installing collected packages: selenium Successfully installed selenium-3.4.1 2. chromedriver 설치- https://sites.google.com/a/chromium.org/chromedriver/home --> All version.. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 30. [Scraping] XKCD.com 이미지 다운받기 -- CHECK CHECK CHECK CHECK CHECK [01] https://xkcd.com 이미지 다운받기1. Rquests 패키지 설치하기 C:\Users\soldesk>pip install requests Collecting requests Downloading requests-2.13.0-py2.py3-none-any.whl (584kB) 100% ■■■■■■■■■ 593kB 1.2MB/s Installing collected packages: requests Successfully installed requests-2.13.0 1. 이미지 다운로드 [실행 화면] ▷ crawler1.xkcd.py ------------------------------------------------------------------------------------- .. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 29. [Scraping] KoNLPy 자연어 처리 패키지, JPype 설치, 명사 분리 추출 후, 단어 사용 빈도 계산하기 [01] KoNLPy 자연어 처리 패키지 - 공식 페이지: http://konlpy.org/ko/latest/ - NLP (Natural Language Processing, 자연어처리)는 텍스트에서 의미있는 정보를 분석, 추출하고 이해하는 일련의 기술집합입니다. . http://konlpy.org/ko/v0.4.3/start/ KoNLPy: 파이썬 한국어 NLP — KoNLPy 0.6.0 documentation KoNLPy: 파이썬 한국어 NLP KoNLPy(“코엔엘파이”라고 읽습니다)는 한국어 정보처리를 위한 파이썬 패키지입니다. 설치법은 이 곳을 참고해주세요. NLP를 처음 시작하시는 분들은 시작하기 에서 가 konlpy.org NLP란 무엇인가요? — KoNLPy 0.4.3 documentati.. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 28. [Scraping] 한겨레 신문 뉴스, Naver 뉴스, 동아 일보 뉴스 검색 drawling [01] 한겨례 신문 뉴스 목록 클로링 - http://www.hani.co.kr - 정렬: 최신순, 범위: 뉴스, 검색어: 대통령 http://search.hani.co.kr/Search?command=query&keyword=%EB%8C%80%ED%86%B5%EB%A0%B9&sort=d&period=all&media=news - 1 페이지: http://search.hani.co.kr/Search?command=query&keyword=%EB%8C%80%ED%86%B5%EB%A0%B9&media=news&sort=d&period=all&datefrom=2000.01.01&dateto=2017.04.25&pageseq=0 - 2 페이지: http://search.hani.co.kr/Search?comm.. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 27. [Scraping] Web Scraping 기초, 한글 처리, BeautifulSoup 설치, 기본 트리 운행, 정규 표현식 이용 [01] Web Scraper 1. Webpage 소스읽어오기 - http://www.pythonscraping.com/exercises/exercise1.html [실행 화면] b'\n\n\npip install beautifulsoup4 Collecting beautifulsoup4 Downloading beautifulsoup4-4.5.3-py3-none-any.whl (85kB) 100% ■■■■■■■■■■■■■■■■■■■■ 92kB 347kB/s Installing collected packages: beautifulsoup4 Successfully installed beautifulsoup4-4.5.3 2) Eclipse 재시작을 진행하지 않아도 자동 인식, 인식 안될시 Eclipse 재시작 .. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 26. [Scraping] 재귀 호출 함수, Lamda 함수 이용 , random 난수 발생, LX 01. 재귀 호출 함수 - 자기자신을 계속 호출하는 로직으로 일반적으로 1000회 이상 반복하면 에러가 발생함으로 재귀호출을 중지하는 제어문이 필용함. PyDev setting project name: crawler 1. 모든 처리를하고 재귀함수를 호출하는 경우 [실행 화면] recursionLevel: 5 recursionLevel: 4 recursionLevel: 3 recursionLevel: 2 recursionLevel: 1 recursionLevel: 0 ▷ /basic/recursion1.py ------------------------------------------------------------------------------------- # -*- coding: utf-8 -*- de.. 빅데이터 프로그래밍/Python 2017. 8. 5.