파이썬으로 크롤링 작업환경 만들기 - 세팅 따라하기

파이썬으로 크롤링을 하기 위한 세팅 방법을 공유하고자 한다. 그냥 따라하기만 하세요.

 

1. 파이썬 설치

 

https://www.python.org/ftp/python/3.12.2/python-3.12.2-amd64.exe

 

 

 

 

경로는 위와 같이 간단하게 C:\Python 형태로 간단하게 변경하세요, 환경변수설정할때 필요합니다.(물론 복잡해도 관계는 없습니다.)

 

2. 환경변수 세팅

 

window 키 + R 을 눌러 실행창을 열어주세요

sysdm.cpl 

을 입력하세요

 

그리고 시스템 속성창이 열리면 고급탭에서 환경변수를 선택하세요

 

환경변수 창이 열린 것을 볼 수 있습니다.

 

사용자 변수와 시스템 변수 두곳다 아래와 같이 추가합니다. 

 

3. 크롤링을 하기 위한 Visual Studio Code 설치

https://code.visualstudio.com/

Visual Studio Code - Code Editing. Redefined

위링크로 들어가서 설치를 해줍니다.

 

4. 인터프리터 추가

파이썬도 설치하였고 VSC 프로그램도 설치하였으니, Visual Studio Code를 설치한 후 실행하였을때,

화면 우측 아래에 보시면 이렇게 표시가 됩니다.

 

노란색 Select Interpreter 를 누른 후  화면 상단에서 설치한 Python 버전을 선택합니다.

여기까지가 환경세팅은 끝입니다.

세팅을 다하셧으면 VSC를 닫았다가 다시 열어주시는것이 좋습니다.

 

4. 모듈설치

파이썬 프로그래밍 코드를 작성하시고 실행버튼을 눌러보세요

 

눌렀을때 아래와 같이 ModuleNotFoundError 메시지가 뜬다면,

터미널 창에서 pip install 모듈명

ex)pip install requests

으로 설치해주시면 됩니다.

*환경변수 설정을 하지 않은 경우에는 pip install 명령이 먹히지 않으므로,

(python -m pip install 명령어로 실행이 가능하긴 함) 

꼭 위에서 환경변수 설정을 제대로 해주세요.

 

 

 

아래 모듈들은 제가 자주 사용하는 모듈들입니다. 미리 설치해주시면 편하겟죠!~

 

pip install requests
pip install gspread
pip install pandas
pip install schedule
pip install selenium
pip install selenium webdriver_manager
pip install bs4
pip install oauth2client
pip install pyinstaller
pip install pyautogui