파이썬으로 크롤링을 하기 위한 세팅 방법을 공유하고자 한다. 그냥 따라하기만 하세요. 1. 파이썬 설치 https://www.python.org/ftp/python/3.12.2/python-3.12.2-amd64.exe 경로는 위와 같이 간단하게 C:\Python 형태로 간단하게 변경하세요, 환경변수설정할때 필요합니다.(물론 복잡해도 관계는 없습니다.) 2. 환경변수 세팅 window 키 + R 을 눌러 실행창을 열어주세요 sysdm.cpl 을 입력하세요 그리고 시스템 속성창이 열리면 고급탭에서 환경변수를 선택하세요 환경변수 창이 열린 것을 볼 수 있습니다. 사용자 변수와 시스템 변수 두곳다 아래와 같이 추가합니다. 3. 크롤링을 하기 위한 Visual Studio Code 설치 https://code...

for index, el in enumerate 를 사용할 자주하는데 enumerate 범위를 설정하는 방법은 for index, el in enumerate(data_rows[:-2]): 형태로 할 경우 data_rows 의 범위가 80개면 78개로 지정된다. 크롤링시에 데이터의 규칙이 다른경우 이렇게 범위를 줄여서 설정할 수 있다. 또는 크롤링하는 데이터의 규칙에 try except를 모두 넣어도 된다.

파이썬 크롤링시 크롬드라이버를 지정해서 사용하면, 크롬을 자동업데이트해두었을때 오류가 발생한다. 그러면 항상 크롬드라이버를 다운받아서 사용해야하는 불편함이 있음 크롬드라이버 매니저를 통하여 자동 인스톨하고 사용되도록 변경하면 해결됨 1. from 으로 webdriver_manager 을 불러옴 from webdriver_manager.chrome import ChromeDriverManager 웹드라이버가 세팅되어 있지 않으면 pip install webdriver_manager.chrome 2. 코드에서 chromedrivermanager().install() 이 들어가므로 드라이버를 설치하고 실행하도록 되어있음 driver = webdriver.Chrome(ChromeDriverManager().in..

파이썬 컴파일의 방법은 다양한 옵션이 존재하지만, 자주 쓰는 형태는 pyinstaller --onefile --noconsole 파일명.py 로 처리를 한다. 이때 아이콘을 변경하고 싶을때는, pyinstaller --onefile --noconsole --icon=아이콘파일명.ico 파일명.py 으로 처리가 가능하다. 위와 같이 아이콘을 설정할 경우 변경된 모습~! 아이콘 다운로드 받는곳 https://icon-icons.com/ko/

크롤링을 하다보면, 디버깅모드로 실행을 해야할때가 있다. 대부분 인증을 피하기 위한 용도이다. 자동창으로 띄우는 경우 인증화면이 발생하여, 크롤링을 제대로 할 수 없다. (물론 인증까지 자동으로 어떻게 할 수도 있겠지만) 간단한 해결책으로는 디버깅 크롬창을 띄워서 해결을 하였다. 이때 디버깅 크롬창도 자동으로 띄워서 해결할수도있다. import subprocess chrome_debug_command = r'"C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:/Chrome_debug_temp"' subprocess.Popen(chrome_debug_command, shel..

스케쥴러 함수를 사용하여, 반복 실행이 가능합니다. time.sleep 함수로만 사용해도 크게 문제는 없으나, 특정시간을 지정해서 반복적으로 실행해야 할 경우 스케쥴 함수가 유용합니다. 설치는 pip install schedule import schedule import time def run_code(): # 주어진 코드를 여기에 넣습니다. # 스케줄링 함수를 정의합니다. def schedule_job(): schedule.every().hour.at(":30").do(run_code) # 1시간마다 run_code 함수 실행 # 최초에 한 번 실행 run_code() # 스케줄링을 시작합니다. schedule_job() # 무한 루프를 통해 스케줄링을 유지합니다. while True: schedule..

Pyinstaller 설치 pip install pyinstaller pyinstaller 설치 확인 pip show pyinstaller Pyinstaller 옵션 PyInstaller 는 Python 스크립트를 독립적인 실행 가능한 이진 파일로 변환해주는 도구입니다. 아래는 PyInstaller의 일반적으로 사용되는 몇 가지 옵션 예시입니다: 1. --onefile: 모든 실행 파일을 하나의 단일 실행 가능한 파일로 묶습니다. pyinstaller --onefile your_script.py 2. --noconsole: 실행 가능한 파일을 실행할 때 콘솔 창을 표시하지 않습니다. pyinstaller --noconsole your_script.py 3. --name: 실행 가능한 파일의 이름을 지정합..

1. 변수와 자료형 파이썬에서 변수는 값을 저장하는 공간을 의미합니다. 변수를 선언할 때 데이터의 자료형을 명시할 필요가 없으며, 자동으로 추론됩니다. 예를 들어, `x = 10`과 같이 변수를 선언할 수 있습니다. 기본적인 자료형으로는 정수(int), 실수(float), 문자열(str), 불리언(bool) 등이 있습니다. 2. 조건문 (if문) if문은 조건에 따라 코드의 실행 흐름을 제어하는 데 사용됩니다. 다음은 if문의 기본 구조입니다: if 조건: # 조건이 참일 때 실행되는 코드 else: # 조건이 거짓일 때 실행되는 코드 3. 반복문 (for문과 while문) 반복문은 코드 블록을 여러 번 실행할 때 사용됩니다. for문은 주로 리스트나 범위(range)와 함께 사용되며, while문은 조..