트위터 크롤러 수정
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능 - db에 넣을 때 128개 모아서 한번에 넣는 기능 - concurrent.future.ThreadPoolExecutor 사용 - qt에서 로그 라인별로 읽어서 출력 - 로그 256개씩 한번에 삭제
This commit is contained in:
@@ -35,6 +35,7 @@ cd %CUR_PATH%
|
||||
%QT_PATH%\windeployqt.exe %DEPLOY_PATH%\FilterProcess.exe
|
||||
copy %MYSQL_PATH%\libmysql.dll %DEPLOY_PATH%
|
||||
|
||||
copy %CUR_PATH%\*.txt %DEPLOY_PATH%\
|
||||
xcopy %PYTHONCRAWLER_PATH%\*.py %DEPLOY_PATH%\ /c /d /s /y
|
||||
xcopy %PYTHONCRAWLER_PATH%\*.txt %DEPLOY_PATH%\ /c /d /s /y
|
||||
|
||||
|
||||
Reference in New Issue
Block a user