파이썬
-
파이썬에서 find_element 메서드는 웹 자동화를 위해 사용되는 Selenium 라이브러리의 기능 중 하나입니다. 이 메서드를 사용하여 웹 페이지에서 요소를 찾을 수 있습니다. find_element 메서드는 주로 웹 페이지의 특정 요소를 선택하는 데 사용되며, 다양한 선택자를 활용하여 요소를 찾을 수 있습니다. 아래는 find_element 메서드의 종류와 사용법에 대한 설명입니다: By ID로 요소 찾기 from selenium import webdriver driver = webdriver.Chrome() driver.get("https://www.example.com") element = driver.find_element_by_id("element_id") By Name으로 요소 찾기 el..
파이썬 크롤링 find_element 의 종류와 사용법파이썬에서 find_element 메서드는 웹 자동화를 위해 사용되는 Selenium 라이브러리의 기능 중 하나입니다. 이 메서드를 사용하여 웹 페이지에서 요소를 찾을 수 있습니다. find_element 메서드는 주로 웹 페이지의 특정 요소를 선택하는 데 사용되며, 다양한 선택자를 활용하여 요소를 찾을 수 있습니다. 아래는 find_element 메서드의 종류와 사용법에 대한 설명입니다: By ID로 요소 찾기 from selenium import webdriver driver = webdriver.Chrome() driver.get("https://www.example.com") element = driver.find_element_by_id("element_id") By Name으로 요소 찾기 el..
2023.07.26 -
chrome-options.add_argument를 사용하는 이유는 크롬 드라이버를 실행할 때 다양한 옵션을 설정하여 웹 브라우저의 동작을 제어하기 위해서입니다. --headless 브라우저를 화면에 띄우지 않고 백그라운드에서 실행합니다. 웹 자동화 시 브라우저 창이 보이지 않도록 하고 싶을 때 사용합니다. --disable-gpu GPU 가속을 비활성화합니다. 일부 시스템에서 GPU 가속을 사용할 때 문제가 발생할 수 있을 때 사용합니다. --window-size=width,height 브라우저 창의 크기를 지정합니다. 예를 들어 --window-size=1920,1080과 같이 사용하여 브라우저 창의 크기를 1920x1080으로 설정할 수 있습니다. --incognito 시크릿(익명) 모드로 브라우저..
chrome_options.add_argument 종류 및 설명chrome-options.add_argument를 사용하는 이유는 크롬 드라이버를 실행할 때 다양한 옵션을 설정하여 웹 브라우저의 동작을 제어하기 위해서입니다. --headless 브라우저를 화면에 띄우지 않고 백그라운드에서 실행합니다. 웹 자동화 시 브라우저 창이 보이지 않도록 하고 싶을 때 사용합니다. --disable-gpu GPU 가속을 비활성화합니다. 일부 시스템에서 GPU 가속을 사용할 때 문제가 발생할 수 있을 때 사용합니다. --window-size=width,height 브라우저 창의 크기를 지정합니다. 예를 들어 --window-size=1920,1080과 같이 사용하여 브라우저 창의 크기를 1920x1080으로 설정할 수 있습니다. --incognito 시크릿(익명) 모드로 브라우저..
2023.07.25 -
크롬드라이버 에러의 경우 대부분이 크롬드라이버 버전 오류인 경우가 대부분이다. 크롬드라이버 다운로드 페이지에 가서 현재 쓰고 있는 버전과 확인 후 맞추어주면 된다. https://chromedriver.chromium.org/downloads/version-selection 테스트 최신 드라이버의 경우에는 아래 페이지에서 받으면 된다. https://googlechromelabs.github.io/chrome-for-testing/ not reachable 오류 크롬드라이버를 업데이트 한 후 위와같은 오류가 발생한다면, 재부팅을 해보길 바란다. 단순하게 연결할 수 없는 오류이므로, 재부팅후 해결이 되는경우가 많다. adobe uxp 오류 어도비 프로그램을 사용하여 리소스가 부족할때 가끔 발생하는 오류이다..
Chromedriver Error 종류 및 해결 방법크롬드라이버 에러의 경우 대부분이 크롬드라이버 버전 오류인 경우가 대부분이다. 크롬드라이버 다운로드 페이지에 가서 현재 쓰고 있는 버전과 확인 후 맞추어주면 된다. https://chromedriver.chromium.org/downloads/version-selection 테스트 최신 드라이버의 경우에는 아래 페이지에서 받으면 된다. https://googlechromelabs.github.io/chrome-for-testing/ not reachable 오류 크롬드라이버를 업데이트 한 후 위와같은 오류가 발생한다면, 재부팅을 해보길 바란다. 단순하게 연결할 수 없는 오류이므로, 재부팅후 해결이 되는경우가 많다. adobe uxp 오류 어도비 프로그램을 사용하여 리소스가 부족할때 가끔 발생하는 오류이다..
2023.07.25 -
from selenium import webdriver from selenium.webdriver.common.alert import Alert from selenium.common.exceptions import NoAlertPresentException try: # alert 발생 alert = Alert(driver) # alert 확인 버튼 클릭 alert.accept() except NoAlertPresentException: pass 위와같이 크롤링 작동할때 알러트창이 뜨는 경우 확인을 눌러줘야 다음으로 실행되므로 try ~ except를 사용하여 처리하면 편하다.
사이트 크롤링시 alert 발생하는 경우 처리방법from selenium import webdriver from selenium.webdriver.common.alert import Alert from selenium.common.exceptions import NoAlertPresentException try: # alert 발생 alert = Alert(driver) # alert 확인 버튼 클릭 alert.accept() except NoAlertPresentException: pass 위와같이 크롤링 작동할때 알러트창이 뜨는 경우 확인을 눌러줘야 다음으로 실행되므로 try ~ except를 사용하여 처리하면 편하다.
2023.05.26 -
기본적으로 파이썬으로 크롤링을 할때는 자동으로 제어된다고 하는 크롬드라이버를 활용하여, 크롤링을 하게 되는데 get.(URL) 방식으로 접근할때, 새로운 창으로 제어가 시작된다. 그러면 로그인이 풀리는 문제가 발생할 수 있고, 인스타그램의 경우 로그인이 되지 않은 상태에서, 자동제어로 크롤링 할경우 크롤링이 되지 않는다.. 그런경우 기존의 크롬창을 활용하여 새창이 뜨지 않게 제어하면, 편리하게 사용이 가능함 시작 - 실행 - cmd 64비트 설치경로 C:\Program Files\Google\Chrome\Application 32비트 설치경로 C:\Program Files (x86)\Google\Chrome\Application chrome 이 설치된 경로로 접근하여 실행해야함! chrome.exe --..
현재창에서 크롤링 하는 방법기본적으로 파이썬으로 크롤링을 할때는 자동으로 제어된다고 하는 크롬드라이버를 활용하여, 크롤링을 하게 되는데 get.(URL) 방식으로 접근할때, 새로운 창으로 제어가 시작된다. 그러면 로그인이 풀리는 문제가 발생할 수 있고, 인스타그램의 경우 로그인이 되지 않은 상태에서, 자동제어로 크롤링 할경우 크롤링이 되지 않는다.. 그런경우 기존의 크롬창을 활용하여 새창이 뜨지 않게 제어하면, 편리하게 사용이 가능함 시작 - 실행 - cmd 64비트 설치경로 C:\Program Files\Google\Chrome\Application 32비트 설치경로 C:\Program Files (x86)\Google\Chrome\Application chrome 이 설치된 경로로 접근하여 실행해야함! chrome.exe --..
2023.01.14 -
스테이크 카레 삼겹살 사과 오렌지 포도 카레 찾기 첫번째 일치 요소 찾는 방법 food_el = driver.find_element(By.CLASS_NAME, "care") 범위를 지정해서 요소 찾기 food = driver.find_element(By.ID, "food") food_el = food.find_element(By.CLASS_NAME, "care") 셀렉터로 찾기 food_el = driver.find_element(By.CSS_SELECTOR,"#food .care") 일치하는 모든 요소 가져오기 foodname = driver.find_elements(By.TAG_NAME, "li") example - 네이버쇼핑 장어검색해서 li 요소 모두 가져오기 from selenium import..
Selenium (셀레니움) 웹 요소, 속성값 찾기스테이크 카레 삼겹살 사과 오렌지 포도 카레 찾기 첫번째 일치 요소 찾는 방법 food_el = driver.find_element(By.CLASS_NAME, "care") 범위를 지정해서 요소 찾기 food = driver.find_element(By.ID, "food") food_el = food.find_element(By.CLASS_NAME, "care") 셀렉터로 찾기 food_el = driver.find_element(By.CSS_SELECTOR,"#food .care") 일치하는 모든 요소 가져오기 foodname = driver.find_elements(By.TAG_NAME, "li") example - 네이버쇼핑 장어검색해서 li 요소 모두 가져오기 from selenium import..
2022.12.18 -
라이브러리 설치 gspread 설치 pip install gspread oauth2client 설치 pip install --upgrade oauth2client 구글 스프레드시트 API 적용 1. 구글시트 새프로젝트 생성 https://console.cloud.google.com/projectcreate Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 2. 새프로젝트 이름 입력 3. API 및 서비스 - 사용자 인증 정보 API 및 서비스로 이동 후 사용자 인증 정보 - 서비스 계정 관리(오른쪽아래) 4.서비스 계정 만들기 5. 키만들기 6. JSON 키 만들기 키를 만들고 나면 다운로드 받기 7. 구글스프레드 시트 생성 후 공유를 클릭하신 ..
파이썬 구글시트 연동 셋팅라이브러리 설치 gspread 설치 pip install gspread oauth2client 설치 pip install --upgrade oauth2client 구글 스프레드시트 API 적용 1. 구글시트 새프로젝트 생성 https://console.cloud.google.com/projectcreate Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 2. 새프로젝트 이름 입력 3. API 및 서비스 - 사용자 인증 정보 API 및 서비스로 이동 후 사용자 인증 정보 - 서비스 계정 관리(오른쪽아래) 4.서비스 계정 만들기 5. 키만들기 6. JSON 키 만들기 키를 만들고 나면 다운로드 받기 7. 구글스프레드 시트 생성 후 공유를 클릭하신 ..
2022.12.04 -
셀레니움이란? 셀레니움은 웹테스트를 위한 자동화 프레임워크로 셀레니움 웹드라이버로 브라우저를 컨트롤 할 수 있는 것을 이야기하며, 비동기적인 내용을 수집하기 어려울때 보통 사용되며, 속도가 느린점이 단점 셀레니움 설치 pip install selenium 셀레니움 사용 자동로그인과 같이 비동기적인 부분을 컨트롤 하기 위해서 사용되며, 키보드 입력 등의 이벤트를 사용하여 웹상에서의 업무를 자동화 하기 위함 크롬드라이브 설치 https://chromedriver.chromium.org/downloads 해당드라이버를 다운로드 받을때, 크롬버전 및 운영체제와 동일한 드라이버를 다운로드 받아야한다.운영체제는 본인의 컴퓨터정보에서 확인가능하며, 크롬버전은 크롬에서 설정을 누르신후 가장 아래쪽에 있는 크롬정보를 클..
셀레니움(Selenium)셀레니움이란? 셀레니움은 웹테스트를 위한 자동화 프레임워크로 셀레니움 웹드라이버로 브라우저를 컨트롤 할 수 있는 것을 이야기하며, 비동기적인 내용을 수집하기 어려울때 보통 사용되며, 속도가 느린점이 단점 셀레니움 설치 pip install selenium 셀레니움 사용 자동로그인과 같이 비동기적인 부분을 컨트롤 하기 위해서 사용되며, 키보드 입력 등의 이벤트를 사용하여 웹상에서의 업무를 자동화 하기 위함 크롬드라이브 설치 https://chromedriver.chromium.org/downloads 해당드라이버를 다운로드 받을때, 크롬버전 및 운영체제와 동일한 드라이버를 다운로드 받아야한다.운영체제는 본인의 컴퓨터정보에서 확인가능하며, 크롬버전은 크롬에서 설정을 누르신후 가장 아래쪽에 있는 크롬정보를 클..
2022.12.04