Chrome Headless Driver

웹브라우저의 기능 그대로

Puppteer은 구글 크롬 개발진에서 배포한 node.js용 크롬 웹드라이버 모듈이다.

실제로 크롬엔진으로 웹페이지를 열어 작업하기 때문에 스크린샷, 동적 웹페이지 파싱이 가능하다.

설치방법

npm install puppteer

API

기본적인 사용방법 및 기타 API는 Puppeteer API 명세서를 확인하기 바란다.

동적 웹페이지 파싱

const puppeteer = require('puppeteer');
 
let scrape = async () => {
    const browser = await puppeteer.launch({headless: true});
    const page = await browser.newPage();
    await page.goto('write your website.');
    //! 자바스크립트로 인한 동적 웹페이지가 완전히 로드되도록 충분히 기다린다.
    await page.waitFor(5000);
    const result = await page.evaluate(() => {
        //! 웹페이지에서 실행시킬 자바스크립트.
        let resultList = [ ];
        document
            .querySelectorAll('write your css selector.')
            .forEach((item)=>
            {
                resultList.push(item.innerHTML);
            });
        return resultList;
    });
    browser.close();
    return result;
};
scrape().then((value) => {
    console.log(value); // Success!
});