[Crawling] 사이트에 로그인하여 크롤링하기

https://news.v.daum.net/v/20190728165812603

일론머스크 “테슬라에서 넷플릭스*유튜브 즐길 날 온다”

[아시아경제 이민우 기자] 일론 머스크 테슬라 최고경영자(CEO)가 자사 전기 자동차 모델에 넷플릭스와 유튜브 등 온라인동영상서비스(OTT)를 탑재할 것이라고 예고했다. 단순히 자율 주행 전기차가 단순히 주행을 위한 정보를 알려주는 것을 넘어 각종 영상 콘텐츠를 즐기는 공간으로도 확장하겠다는 전략으로 풀이된다.27일(현지시간) 더버지 등 주요 외신들에 따르

news.v.daum.net

위의 사이트에서 댓글의 개수를 얻어오려고 한다.

지난 시간에 배운것을 가지고 시도해본다.

그러나 200 에러가 뜨며 실패한다…

이는 댓글수가 다른 페이지에서 로딩이 되어 오며 오는 정보이기 때문에 다른 방법으로 얻어내야 한다.

해당 페이지의 네트워크를 살펴보면 저 곳에서 내가 원하는 댓글의 개수가 날아오고 있음을 알 수 있다.

다시 헤더부분을 살펴보면

위의 url에서 댓글의 개수를 받아온다.

고로 위 url을 사용하자.

그러나 다른 에러가 뜬다…

Full authentication이 필요하다는 에러인데 이는 request 메시지를 보낼 때

필요한 데이터들을 함께 보내줘야 한다는 것이다.

헤더구성을 저렇게 한 다음 다시 보내게 되면 정상적으로 받을 수 있다 :)

마이페이지의 데이터와 같이 로그인 후에 얻어올 수 있는 정보는

session 을 이용하면 된다.

요런식으로 session을 열어놓고 해당 session 객체를 이용하여 post 후 get을 사용하면 된다.

위의 내용은 fastcampus 강의 수강 후 정리했습니다.