'OpenAPI' 태그의 글 목록

url 정보를 세팅하고 이에 대해서 request 요청하면 응답 정보를 주는데

http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?LAWD_CD=11440&DEAL_YMD=201801&serviceKey=###SERVICE_KEY###

얼마전에 수정이 있었는지
응답되는 정보가 변경되었습니다.

    req = urllib.request.Request(request_url)
    try:
        res = urllib.request.urlopen(req)
    except UnicodeEncodeError:
        print('[OpenAPI] UnicodeEncodeError')
        return


    data = res.read().decode('utf-8')
    soup = BeautifulSoup(data, 'html.parser')
    if (soup.resultcode.string != '00'):
        print('[OpenAPI] ',  soup.resultmsg.string)
        return

    items = soup.findAll('item')
    print(items)

가져온 정보를 보니 주석과 <, > 정보들이 섞여 있었습니다.

<item><거래금액> 83,000<
건축년도>2005<년>2018<
법정동> 상암동<아파트>상암월드컵파크6단지<
월>1<일>11~20<전용면적>104.32<
지번>1689<지역코드>11440<층>6</item>

기존 코드를 수정해서 text 정보만 가져왔습니다.

item = item.text

HTML 태그들이 없어졌습니다.

<거래금액> 83,000<건축년도>2005<년>2018<법정동> 상암동<아파트>상암월드컵파크6단지<월>1<일>11~20<전용면적>104.32<지번>1689<지역코드>11440<층>6

이걸 다시 파싱하려니 정규표현식을 사용해야 했습니다.
결과만 보면 간단합니다.

split_item = re.split('<.*?>', item)

이렇게 하고나니 List형으로 잘 분리합니다.

['', ' 83,000', '2005', '2018', ' 상암동', '상암월드컵파크6단지',
'1', '11~20', '104.32', '1689', '11440', '6']

저작자표시

'Language > PYTHON' 카테고리의 다른 글

python3 newspaper 라이브러리로 키워드 뽑아내기 (0)	2018.05.12
[Django] SMTPAuthenticationError 발생 문제 (1)	2018.02.27
OPENAPI로 국토부 실거래가 조회할 때 python으로 정규식 사용해서 파싱하기 (20180130) (1)	2018.01.30
Python3로 naver 카페에 글쓰기 (0)	2017.12.27
Naver open api 카페 한글 깨짐 현상 (Python3) (0)	2017.09.05
[라즈베리파이3] 조도센서로 값 받아서 서버의 DB로 데이터 전송해서 저장하기 (0)	2017.04.21

이재성 2019.10.14 00:11

비슷한 문제를 겪고 있는데 몇일째 삽질을해도 방법을 못찾겠어요ㅜ.ㅜ 팁 좀 부탁드립니다.

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "http://openapi.molit.go.kr:8081/OpenAPI_ToolInstallPackage/service/rest/RTMSOBJSvc/getRTMSDataSvcAptTrade?serviceKey=KrKzQ4sxQDVnTpdt3X3p8Hi9nZPr5KnsS%2FkKe%2FxVPYbY7cK6NfPtsvJ3%2FoSiJNlK7u2Q8geu1UmUmQQKmZ9f3w%3D%3D&LAWD_CD=11110&DEAL_YMD=201812"

response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

ItemList = soup.findAll('item')
print(ItemList)

결과는
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<response>
<header>
<resultcode>
00
</resultcode>
<resultmsg>
NORMAL SERVICE.
</resultmsg>
</header>
<body>
<items>
<item>
<거래금액> 23,500

<건축년도>2003

<년>2018

<법정동> 익선동

<아파트>현대뜨레비앙

<월>12

<일>8

<전용면적>36.08

<지번>55

<지역코드>11110

<층>7

</item>
<item>
<거래금액> 20,000

<건축년도>2014

<년>2018

<법정동> 연건동

<아파트>이화에수풀

<월>12

<일>18

<전용면적>16.98

<지번>195-10

<지역코드>11110

<층>7

</item>
<item>
<거래금액> 45,500

<건축년도>2004

<년>2018

<법정동> 혜화동

<아파트>혜화훼미리

<월>12

<일>3

<전용면적>60.82

<지번>20-12

<지역코드>11110

<층>7

</item>
<item>
<거래금액> 26,800

<건축년도>2002

<년>2018

<법정동> 창신동

<아파트>MID그린(4동)

<월>12

<일>20

<전용면적>59.55

<지번>601-5

<지역코드>11110

<층>7

</item>
<item>
<거래금액> 78,700

<건축년도>2009

<년>2018

<법정동> 숭인동

<아파트>종로청계힐스테이트

<월>12

<일>21

<전용면적>84.9478

<지번>766

<지역코드>11110

<층>9

</item>
<item>
<거래금액> 65,000

<건축년도>2009

<년>2018

<법정동> 숭인동

<아파트>종로청계힐스테이트

<월>12

<일>26

<전용면적>59.9426

<지번>766

<지역코드>11110

<층>2

</item>
<item>
<거래금액> 24,300

<건축년도>1997

<년>2018

<법정동> 숭인동

<아파트>도시그린빌라트19

<월>12

<일>29

<전용면적>57.45

<지번>181-121

<지역코드>11110

<층>3

</item>
<item>
<거래금액> 135,500

<건축년도>2009

<년>2018

<법정동> 평창동

<아파트>롯데캐슬 로잔

<월>12

<일>15

<전용면적>190.743

<지번>108

<지역코드>11110

<층>4

</item>
<item>
<거래금액> 90,000

<건축년도>2003

<년>2018

<법정동> 평창동

<아파트>크래스빌

<월>12

<일>15

<전용면적>187.9

<지번>46-1

<지역코드>11110

<층>4

</item>
<item>
<거래금액> 41,500

<건축년도>2004

<년>2018

<법정동> 평창동

<아파트>에지앙빌

<월>12

<일>20

<전용면적>110.61

<지번>179-5

<지역코드>11110

<층>2

</item>
<item>
<거래금액> 133,000

<건축년도>2009

<년>2018

<법정동> 평창동

<아파트>롯데캐슬 로잔

<월>12

<일>28

<전용면적>190.743

<지번>108

<지역코드>11110

<층>1

</item>
</items>
<numofrows>
10
</numofrows>
<pageno>
1
</pageno>
<totalcount>
11
</totalcount>
</body>
</response>
[<item><거래금액> 23,500<건축년도>2003<년>2018<법정동> 익선동<아파트>현대뜨레비앙<월>12<일>8<전용면적>36.08<지번>55<지역코드>11110<층>7</item>, <item><거래금액> 20,000<건축년도>2014<년>2018<법정동> 연건동<아파트>이화에수풀<월>12<일>18<전용면적>16.98<지번>195-10<지역코드>11110<층>7</item>, <item><거래금액> 45,500<건축년도>2004<년>2018<법정동> 혜화동<아파트>혜화훼미리<월>12<일>3<전용면적>60.82<지번>20-12<지역코드>11110<층>7</item>, <item><거래금액> 26,800<건축년도>2002<년>2018<법정동> 창신동<아파트>MID그린(4동)<월>12<일>20<전용면적>59.55<지번>601-5<지역코드>11110<층>7</item>, <item><거래금액> 78,700<건축년도>2009<년>2018<법정동> 숭인동<아파트>종로청계힐스테이트<월>12<일>21<전용면적>84.9478<지번>766<지역코드>11110<층>9</item>, <item><거래금액> 65,000<건축년도>2009<년>2018<법정동> 숭인동<아파트>종로청계힐스테이트<월>12<일>26<전용면적>59.9426<지번>766<지역코드>11110<층>2</item>, <item><거래금액> 24,300<건축년도>1997<년>2018<법정동> 숭인동<아파트>도시그린빌라트19<월>12<일>29<전용면적>57.45<지번>181-121<지역코드>11110<층>3</item>, <item><거래금액> 135,500<건축년도>2009<년>2018<법정동> 평창동<아파트>롯데캐슬 로잔<월>12<일>15<전용면적>190.743<지번>108<지역코드>11110<층>4</item>, <item><거래금액> 90,000<건축년도>2003<년>2018<법정동> 평창동<아파트>크래스빌<월>12<일>15<전용면적>187.9<지번>46-1<지역코드>11110<층>4</item>, <item><거래금액> 41,500<건축년도>2004<년>2018<법정동> 평창동<아파트>에지앙빌<월>12<일>20<전용면적>110.61<지번>179-5<지역코드>11110<층>2</item>, <item><거래금액> 133,000<건축년도>2009<년>2018<법정동> 평창동<아파트>롯데캐슬 로잔<월>12<일>28<전용면적>190.743<지번>108<지역코드>11110<층>1</item>]

Process finished with exit code 0

# Delete Reply

cafe, naver, OpenAPI, 글쓰기

네이버에서 제공해주는 openapi를 이용해서 카페에 글쓰기를 할 수 있다.

관련예제는 여기링크를 클릭하면 볼 수는 있다.

글쓰는 순서

1. login api를 이용해서 접근 토큰 정보를 가져온다.

2. 포스팅한다.

아래의 내용을 따라하기전에 우선 Naver openapi를 사용하기 위한

사전 준비사항을 완료해야한다. --> 링크

특히 사용 API에 카페를 반드시 추가해야한다.

순서는 간단하지만 막상 따라해보려는데 첫줄에서 막힌다.

token = "YOUR_ACCESS_TOKEN"

어떻게 받아와야되나 ??

이를 확인하기 위해서 로그인 API 명세를 찾아본다.

아... 나는 파이썬으로 다 하려고 했는데 없다.

하지만 뒤져보면 다 나온다.

Selenium을 이용하면 받아올 수 있다.

이와 관련된 기본적인 세팅은 이준범님의 블로그에 가면 잘 나와있으니 따라하면됨
(https://beomi.github.io/2017/02/27/HowToMakeWebCrawler-With-Selenium/)

이 정보들을 바탕으로 로그인을 한다.

아래의 코드에서 로그인 관련, OAUTH관련 중요 정보는 설정에서 가져오거나 직접 입력하거나 알아서 한다.

# Token 정보 가져오는 코드

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import json
import os
import re
import urllib.request

from bs4 import BeautifulSoup
from requests import get
from selenium import webdriver
from urllib.error import HTTPError
from urllib.parse import urlencode


def get_naver_token():
    chromedriver_path = os.environ.get('CHROMEDRIVER_PATH')
    naver_id = os.environ.get('NAVER_ID')
    naver_pw = os.environ.get('NAVER_PW')
    naver_cid = os.environ.get('NAVER_CLIENT_ID')
    naver_csec = os.environ.get('NAVER_CLIENT_SECRET')
    naver_redirect = os.environ.get('NAVER_BLOG_REDIRECT')
    driver = webdriver.Chrome(chromedriver_path)  # driver = webdriver.PhantomJS()
    driver.implicitly_wait(3)
    driver.get('https://nid.naver.com/nidlogin.login')
    driver.find_element_by_name('id').send_keys(naver_id)
    driver.find_element_by_name('pw').send_keys(naver_pw)
    driver.find_element_by_xpath('//*[@id="frmNIDLogin"]/fieldset/input').click()

    state = "REWERWERTATE"
    req_url = 'https://nid.naver.com/oauth2.0/authorize?response_type=code&client_id=%s&redirect_uri=%s&state=%s' % (naver_cid, naver_redirect, state)

    driver.get(req_url)
    ##########################
    # XXX: 최초 1회만 반드시 필요하고 이후엔 불필요함
    driver.find_element_by_xpath('//*[@id="confirm_terms"]/a[2]').click()
    ##########################
    redirect_url = driver.current_url
    temp = re.split('code=', redirect_url)
    code = re.split('&state=', temp[1])[0]
    driver.quit()

    print(redirect_url)

    url = 'https://nid.naver.com/oauth2.0/token?'
    data = 'grant_type=authorization_code' + '&client_id=' + naver_cid + '&client_secret=' + naver_csec + '&redirect_uri=' + naver_redirect + '&code=' + code + '&state=' + state

    request = urllib.request.Request(url, data=data.encode("utf-8"))
    request.add_header('X-Naver-Client-Id', naver_cid)
    request.add_header('X-Naver-Client-Secret', naver_redirect)
    response = urllib.request.urlopen(request)
    rescode = response.getcode()
    token = ''
    if rescode == 200:
        response_body = response.read()
        js = json.loads(response_body.decode('utf 8'))
        token = js['access_token']
    else:
        print("Error Code:", rescode)
        return None

    if len(token) == 0:
        return None
    print(token)
    return token

Access token 정보를 가져왔다.

잠시 숨을 고르고 아래에 이어서 카페 글쓰기를 시도하면 된다. (스크롤을 내려야함)

위의 코드를 이용해서 토큰을 가져왔다면 그 다음에는 카페 글쓰기 api를 사용하면 된다.

반가운 Python 예제 코드다.

그런데 또 막힌다.

    clubid = 'xxxxxx'    
    menuid = 'x'

이건 직접 찾아봐야한다.

Chrome의 검사 기능을 이용해서 찾을 수 있다. (다른 웹브라우저에서도 알아서 찾아볼 수 있음)

아래 같이 카페에 로그인해서 게시판에 들어가고

마우스 우클릭해서 '검사' 기능을 사용하면

오른쪽에 정보를 찾을 수 있다.

샘플코드대로 했는데,,,

한글이 다 깨진다.

그러면 urlencode를 사용한 아래의 코드로 수행하면된다.


def naver_cafe_post(subject, content):
    token = get_naver_token()
    header = "Bearer " + token  # Bearer 다음에 공백 추가
    clubid = 'xxxxxx'    
    menuid = 'x'
    url = "https://openapi.naver.com/v1/cafe/" + clubid + "/menu/" + menuid + "/articles"

    subject = urllib.parse.quote(subject)
    content = urllib.parse.quote(content)
    data = urlencode({'subject': subject, 'content': content}).encode()
    request = urllib.request.Request(url, data=data)
    request.add_header("Authorization", header)
    try:
        response = urllib.request.urlopen(request)
    except HTTPError as e:
        print("url open failed", e, subject, content)
        return
    rescode = response.getcode()
    if rescode == 200:
        response_body = response.read()
        print(response_body.decode('utf-8'))
    else:
        print("Error Code:" + rescode)

그냥 텍스트를 가지고 하면 잘 되는데

기존에 사용했던 방식으로 HTML 태그를 붙이니까 에러가 난다.

대충 형태는 아래와 같은 모양이었다.

<font color="red"> xxxx </font>

이럴 때는 쌍따옴표를 제거하면 된다.

 <font color=red> xxxx </font>

그런데 또 안된다????????

열이 받아서 때려치울라고 하던 찰나 '%' 문자가 눈에 띈다.

content로 사용할 문자열에 그냥 '%'가 있으면 에러가 나서 아래 처럼 역슬래쉬를 추가해줘야 한다.

content = content.replace('%', '\%')

꺠지지도 않고 잘 포스팅 된다.

편리하다.

저작자표시

'Language > PYTHON' 카테고리의 다른 글

[Django] SMTPAuthenticationError 발생 문제 (1)	2018.02.27
OPENAPI로 국토부 실거래가 조회할 때 python으로 정규식 사용해서 파싱하기 (20180130) (1)	2018.01.30
Python3로 naver 카페에 글쓰기 (0)	2017.12.27
Naver open api 카페 한글 깨짐 현상 (Python3) (0)	2017.09.05
[라즈베리파이3] 조도센서로 값 받아서 서버의 DB로 데이터 전송해서 저장하기 (0)	2017.04.21
[Redis] redis-cli로 ip, port, password 입력하여 접속하기 (0)	2017.04.06

cafe, naver, OpenAPI, 한글깨짐

예제를 따라하면 제 경우에는 한글이 깨집니다.


data = "subject=" + subject + "&content=" + content
request = urllib.request.Request(url, data=data.en

엄청 삽질하다가 결국 찾았습니다.

위에처럼 하면 안되고

아래처럼 해주면 잘 됩니다.


from urllib.parse import urlencode
 
    data = urlencode({'subject': subject, 'content': content}).encode()
    request = urllib.request.Request(url, data=data)

아래는 naver developers에서 제공하는 샘플코드입니다.


# 네이버 카페 Open API 예제 - 글쓰기
import os
import sys
import urllib.request
token = "YOUR_ACCESS_TOKEN"
header = "Bearer " + token # Bearer 다음에 공백 추가
clubid = "CLUB_ID" # 카페의 고유 ID값
menuid = "MENU_ID" # (상품게시판은 입력 불가)
url = "https://openapi.naver.com/v1/cafe/" + clubid + "/menu/" + menuid + "/articles"
subject = urllib.parse.quote("[subject] 네이버 Cafe api Test Python")
content = urllib.parse.quote("[content] 네이버 Cafe api Test Python")
data = "subject=" + subject + "&content=" + content
request = urllib.request.Request(url, data=data.encode("utf-8"))
request.add_header("Authorization", header)
response = urllib.request.urlopen(request)
rescode = response.getcode()
if(rescode==200):
    response_body = response.read()
    print(response_body.decode('utf-8'))
else:
    print("Error Code:" + rescode)

저작자표시

'Language > PYTHON' 카테고리의 다른 글

OPENAPI로 국토부 실거래가 조회할 때 python으로 정규식 사용해서 파싱하기 (20180130) (1)	2018.01.30
Python3로 naver 카페에 글쓰기 (0)	2017.12.27
Naver open api 카페 한글 깨짐 현상 (Python3) (0)	2017.09.05
[라즈베리파이3] 조도센서로 값 받아서 서버의 DB로 데이터 전송해서 저장하기 (0)	2017.04.21
[Redis] redis-cli로 ip, port, password 입력하여 접속하기 (0)	2017.04.06
대한민국 인구수에 따른 분포도 그리기 (numpy, pandas, matplotlib) (0)	2017.04.06

Block Busting

OpenAPI

OPENAPI로 국토부 실거래가 조회할 때 python으로 정규식 사용해서 파싱하기 (20180130)

'Language > PYTHON' 카테고리의 다른 글

Python3로 naver 카페에 글쓰기

'Language > PYTHON' 카테고리의 다른 글

Naver open api 카페 한글 깨짐 현상 (Python3)

'Language > PYTHON' 카테고리의 다른 글

+ Recent posts