Web Crawling/Selenium 2

동적 웹 페이지 스크래핑 - Selenium 활용

** 실습코드를 한줄한줄 보면서  fn+f12 를 누르면 나오는 개발자 도구의 elements 창에서 직접 요소들을 비교해보며 공부하면 도움이 될 것 같다** chrome driver 설치 ( chrome 오른쪽위 ...  --> 도움말 --> chrome 정보에서 버전 확인)압축풀고 chrome driver.exe 파일을 VScode에서 작업할 폴더에 넣는다.  아래 코드는 네이버 검색창에 chat gpt 검색 -> 뉴스 탭 클릭 -> 뉴스 제목과 url을 자동으로 가져오는 과정을 코드로 구현해 놓은 것이다.# 동적 페이지 웹 스크래핑

Selenium 이란 ?

3. Selenium3-1. Selenium 개요3-1-1. Selenium 이란💡Selenium은 브라우저를 자동화하는 도구로, 웹 페이지의 JavaScript 렌더링까지 처리할 수 있다. 브라우저 드라이버를 사용하여 실제 브라우저(예: Chrome, Firefox)를 구동하여 웹 페이지를 로드하고, 스크립트를 통해 브라우저 내에서 클릭, 입력 등의 동작을 자동화한다. JavaScript 실행을 통해 생성된 콘텐츠도 로드하여 처리할 수 있다. 따라서 웹 페이지의 인터랙션과 동적 데이터를 크롤링하는 데 유용하다.3-1-2. Selenium 장단점장점JavaScript로 생성된 콘텐츠를 포함하여 모든 웹 요소에 접근 가능하다.버튼 클릭, 입력 상자 채우기 등 브라우저 상호작용이 가능하다.단점속도가 느리고..