트위터 크롤러 수정

- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
This commit is contained in:
mjjo
2017-08-01 10:39:03 +09:00
parent 3d5e2d0c98
commit de8f2f4c23
7 changed files with 246 additions and 72 deletions

View File

@@ -35,6 +35,7 @@ cd %CUR_PATH%
%QT_PATH%\windeployqt.exe %DEPLOY_PATH%\FilterProcess.exe
copy %MYSQL_PATH%\libmysql.dll %DEPLOY_PATH%
copy %CUR_PATH%\*.txt %DEPLOY_PATH%\
xcopy %PYTHONCRAWLER_PATH%\*.py %DEPLOY_PATH%\ /c /d /s /y
xcopy %PYTHONCRAWLER_PATH%\*.txt %DEPLOY_PATH%\ /c /d /s /y