반응형 크롤링2 [AWS] Cloud9 에서 Selenium 으로 크롤링하기 (Amazon Linux2) aws 에 접속해서 Cloud9 에서 새로운 환경 생성. 플랫폼은 Amazon Linux2 생성되면 환경으로 접속 후 터미널에서 아래 명령어 실행 chrome 설치 sudo yum update -y wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm sudo yum install -y ./google-chrome-stable_current_x86_64.rpm 링크 설정 sudo ln -s /usr/bin/google-chrome-stable /usr/bin/chromium 설치가 잘 되었다면 버전확인 했을 때 메시지가 나옴. 다음 명령어로 설치 여부 확인 터미널에서 google-chrome CLI 로 크롤링 동작 .. 2023. 9. 12. [Python] Selenium 웹페이지 스크롤하기 scrollTo, Scroll down Python 의 selenium 을 이용해서 스크롤 하기 크롤링 할 때 웹페이지를 스크롤 다운해야하는 경우가 있죠. 스크롤다운해서 끝까지 가야 그 다음 데이터를 조회하는 경우가 있고 그 외에도 필요한 경우가 있습니다. 방법 1. scrollTo driver.execute_script("window.scrollTo(0, Y)") 여기서 Y 는 height 을 입력하면 됩니다. 페이지 끝까지 가려면 document.body.scrollHeight 를 사용합니다. 계속해서 스크롤 다운하면서 데이터를 다 조회할때는 SCROLL_PAUSE_SEC = 1 # 스크롤 높이 가져옴 last_height = driver.execute_script("return document.body.scrollHeight") whil.. 2020. 6. 18. 이전 1 다음 728x90 반응형