python에서beautifulsoup 를 이용하는 법

▶ 웹 크롤링이란 무엇인가?

웹 크롤링이란 웹상의 정보들을 탐색하고 수집하는 작업을 의미합니다.

해당 방법을 통해 특정 페이지의 방대한 양의 자료를 수집하여 활용할 수 있습니다.

 

 

 

 

▶ beautiful soup란 무엇인가?

 

beautiful soup는  위에 설명한 웹 크롤링을 파이썬 환경에서 사용할 수 있게 도와주는 모듈입니다.

 

 

 

▶ beautifulsoup를 활용해보기

 

beautifulsoup를 사용해서 증시 사이트를 통해 특정 종목의 가격을 표시해주는 작업을 해보겠습니다.

 

필요한 함수들을 불러와줍니다.

 

네이버 증시 사이트로부터 웹 크롤링을 해올것이기 때문에 해당 URL을 입력해줍니다.

 

크롤링 할 사이트로 들어가서 F12버튼을 누른 뒤 devtools를 켜줍니다

가져오려고 하는 '현재가'를 드래그 한 뒤 devtools에서 코드를 찾아줍니다.

 

soup.select_one()을 통해 '현재가'에 해당하는 strong을 입력해줍니다.

 

soup.selcet_one 함수는 해당자료 태그에서 제일 첫번째 부분 하나만 선택해서 가져온다는 함수입니다.

strong만 입력했을때에는 정확히 지정되지않기때문에 #_nowVal을 추가해줍니다.

#_nowVal은 아이디가 _nowVal 이라는 의미의 문자열입니다.

 

터미널 결과