Node.js cheerio 모듈 사용해보기

const axios = require('axios'); // request 같은 모듈.
const cheerio = require('cheerio'); // node.js에서 제이쿼리 사용 가능하게 하는 모듈.

let title = '';

let pageNum = 1;

const run = (callback) => {
  axios.get('https://delryn.herokuapp.com/paging', {
    params: {
      page: Number(pageNum), // get 쿼리스트링 파라미터임.
    },
  })
    .then((res) => {
      const $ = cheerio.load(res.data); // HTML dom을 제이쿼리로 읽게 해준다.
      const table = $('table > tbody  > tr > td');
      if (pageNum > 3) {
        callback();
      } else {
        table.each((idx, item) => {
          if (idx % 2 === 0) { // 제목만.
            title += `${$(item).text()}\n`;
          }
        });
        pageNum += 1;
        run(callback); // 재귀.
      }
    })
    .catch((err) => {
      callback(err);
    });
};

run((err) => {
  if (err) {
    console.log(err);
  } else {
    console.log(title);
  }
});

정리하자면 http client로 웹 페이지(HTML)을 읽어서 jQuery로 원하는 데이터 정리를 한다.

이러한 걸 웹 크롤링이라고 한다. node.js에서 jQuery 문법을 쓸 일이 잇을줄이야..