파이썬으로 크롤링을 하기 위한 세팅 방법을 공유하고자 한다. 그냥 따라하기만 하세요. 1. 파이썬 설치 https://www.python.org/ftp/python/3.12.2/python-3.12.2-amd64.exe 경로는 위와 같이 간단하게 C:\Python 형태로 간단하게 변경하세요, 환경변수설정할때 필요합니다.(물론 복잡해도 관계는 없습니다.) 2. 환경변수 세팅 window 키 + R 을 눌러 실행창을 열어주세요 sysdm.cpl 을 입력하세요 그리고 시스템 속성창이 열리면 고급탭에서 환경변수를 선택하세요 환경변수 창이 열린 것을 볼 수 있습니다. 사용자 변수와 시스템 변수 두곳다 아래와 같이 추가합니다. 3. 크롤링을 하기 위한 Visual Studio Code 설치 https://code...

파이썬 크롤링시 크롬드라이버를 지정해서 사용하면, 크롬을 자동업데이트해두었을때 오류가 발생한다. 그러면 항상 크롬드라이버를 다운받아서 사용해야하는 불편함이 있음 크롬드라이버 매니저를 통하여 자동 인스톨하고 사용되도록 변경하면 해결됨 1. from 으로 webdriver_manager 을 불러옴 from webdriver_manager.chrome import ChromeDriverManager 웹드라이버가 세팅되어 있지 않으면 pip install webdriver_manager.chrome 2. 코드에서 chromedrivermanager().install() 이 들어가므로 드라이버를 설치하고 실행하도록 되어있음 driver = webdriver.Chrome(ChromeDriverManager().in..

크롤링을 하다보면, 디버깅모드로 실행을 해야할때가 있다. 대부분 인증을 피하기 위한 용도이다. 자동창으로 띄우는 경우 인증화면이 발생하여, 크롤링을 제대로 할 수 없다. (물론 인증까지 자동으로 어떻게 할 수도 있겠지만) 간단한 해결책으로는 디버깅 크롬창을 띄워서 해결을 하였다. 이때 디버깅 크롬창도 자동으로 띄워서 해결할수도있다. import subprocess chrome_debug_command = r'"C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:/Chrome_debug_temp"' subprocess.Popen(chrome_debug_command, shel..

파이썬에서 find_element 메서드는 웹 자동화를 위해 사용되는 Selenium 라이브러리의 기능 중 하나입니다. 이 메서드를 사용하여 웹 페이지에서 요소를 찾을 수 있습니다. find_element 메서드는 주로 웹 페이지의 특정 요소를 선택하는 데 사용되며, 다양한 선택자를 활용하여 요소를 찾을 수 있습니다. 아래는 find_element 메서드의 종류와 사용법에 대한 설명입니다: By ID로 요소 찾기 from selenium import webdriver driver = webdriver.Chrome() driver.get("https://www.example.com") element = driver.find_element_by_id("element_id") By Name으로 요소 찾기 el..

chrome-options.add_argument를 사용하는 이유는 크롬 드라이버를 실행할 때 다양한 옵션을 설정하여 웹 브라우저의 동작을 제어하기 위해서입니다. --headless 브라우저를 화면에 띄우지 않고 백그라운드에서 실행합니다. 웹 자동화 시 브라우저 창이 보이지 않도록 하고 싶을 때 사용합니다. --disable-gpu GPU 가속을 비활성화합니다. 일부 시스템에서 GPU 가속을 사용할 때 문제가 발생할 수 있을 때 사용합니다. --window-size=width,height 브라우저 창의 크기를 지정합니다. 예를 들어 --window-size=1920,1080과 같이 사용하여 브라우저 창의 크기를 1920x1080으로 설정할 수 있습니다. --incognito 시크릿(익명) 모드로 브라우저..

크롬드라이버 에러의 경우 대부분이 크롬드라이버 버전 오류인 경우가 대부분이다. 크롬드라이버 다운로드 페이지에 가서 현재 쓰고 있는 버전과 확인 후 맞추어주면 된다. https://chromedriver.chromium.org/downloads/version-selection 테스트 최신 드라이버의 경우에는 아래 페이지에서 받으면 된다. https://googlechromelabs.github.io/chrome-for-testing/ not reachable 오류 크롬드라이버를 업데이트 한 후 위와같은 오류가 발생한다면, 재부팅을 해보길 바란다. 단순하게 연결할 수 없는 오류이므로, 재부팅후 해결이 되는경우가 많다. adobe uxp 오류 어도비 프로그램을 사용하여 리소스가 부족할때 가끔 발생하는 오류이다..

from selenium import webdriver from selenium.webdriver.common.alert import Alert from selenium.common.exceptions import NoAlertPresentException try: # alert 발생 alert = Alert(driver) # alert 확인 버튼 클릭 alert.accept() except NoAlertPresentException: pass 위와같이 크롤링 작동할때 알러트창이 뜨는 경우 확인을 눌러줘야 다음으로 실행되므로 try ~ except를 사용하여 처리하면 편하다.

기본적으로 파이썬으로 크롤링을 할때는 자동으로 제어된다고 하는 크롬드라이버를 활용하여, 크롤링을 하게 되는데 get.(URL) 방식으로 접근할때, 새로운 창으로 제어가 시작된다. 그러면 로그인이 풀리는 문제가 발생할 수 있고, 인스타그램의 경우 로그인이 되지 않은 상태에서, 자동제어로 크롤링 할경우 크롤링이 되지 않는다.. 그런경우 기존의 크롬창을 활용하여 새창이 뜨지 않게 제어하면, 편리하게 사용이 가능함 시작 - 실행 - cmd 64비트 설치경로 C:\Program Files\Google\Chrome\Application 32비트 설치경로 C:\Program Files (x86)\Google\Chrome\Application chrome 이 설치된 경로로 접근하여 실행해야함! chrome.exe --..