대학교 공지사항 크롤링 하기 [ Node.js ]

대학교 공지사항 크롤링 하기

시간표 확장프로그램에서 아래와 같이 대학교 공지사항을 볼 수 있는 기능을 넣기 위해 진행되었습니다.

게시판 접속하기

대학교 학사공지 게시판으로 들어간다음 F12 또는 Ctrl+Alt+J를 눌러서 개발자 도구를 열어줍니다.

 

 

XHR ( HttpRequest ) 탭 선택하기

AJAX 요청으로 홈페이지의 게시글 데이터들이 띄워지기 때문에 XHR 탭을 선택하고

Response에서 원하는 응답 데이터의 내용이 들어있는 것을 찾아줍니다.

아래 같은 경우는 BBSViewList.do에 제가 원하는 데이터인 공지사항에 내용이 들어있는걸 확인했습니다.

 

요청 정보 확인하기

요청을 해서 제가 원하는 응답을 얻기위해선 어떤 정보들이 필요한지 확인해줍니다.

저는 빨간줄로 표시되어있는 것들로 요청을 해보았습니다.

Request URL : 요청 주소

Request Method : 요청 방식

Form Data : POST요청을 할 때 넣는 데이터의 한 종류

Postman에서 확인하기

표시한 정보들로 원하는 데이터들이 넘어오는지 Postman으로 확인해주고

Node.js에서 사용할 수 있는 코드로 바꿔줍니다.

코드로 변환해주는 기능은 Postman 요청하는곳 우측에 코드 모양 아이콘에서 제공됩니다.