[Python] Webscrapping

요즘 파이썬에 대해 정리해서 어디서든 참고를 할 수 있게 블로그에 올릴 자료를 마크다운으로 정리하고 있는데, 열심히 타이핑하고 정리하다 문득 생각이 들었다.

'왜 이걸 손으로 하나씩 수정하고 있지? 파이썬으로 한번에 하면 될텐데'

그래서 문구를 한번에 정리하는 유틸을 만들었다.

import re

fname = 'temp.txt'
nfname = 'temp_new.txt'

f = open(fname, 'rt')
fn = open(nfname, 'at')

for i in f:
    t = i.find('\t')
    title = '## ' + i[:t]
    desc = i[t+1:]
    fn.write(title + '\n')
    fn.write(desc + '\n'*2)
f.close()
fn.close()

그런데, 이걸 만들어 자료를 정리하고 웹링크를 걸려고 작업하는데 또 드는 생각이, 

'왜 이걸 손으로 하고 있지? 웹에서 긁어오면 될텐데.'

그래서 앞의 자료는 없애고 긁어오는 유틸을 만들었다.

import requests
from bs4 import BeautifulSoup

url = 'https://www.w3schools.com/python/python_ref_functions.asp'
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(res.text,'lxml')

items = soup.find_all('td')
fname = 'temp.txt'

f = open(fname, 'at')

for item in items:
    if item.find('a'):
        href = item.find('a')['href']
        func = item.text

        f.write('## [' + func + '](' + href + ')\n')
    else:
        desc = item.text

        f.write(desc + '\n')

f.close

여태 파이썬을 놔두고 손으로 파이썬자료를 정리하고 있었다.

파이썬 자료 정리하겠다는 사람이 파이썬을 쓸 생각을 안하고 타이핑을 하고 있었다니 어이가 없다.

고작 몇줄만 쓰면 되는데...