mjjo de8f2f4c23 트위터 크롤러 수정 ...

- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제

2017-08-01 10:39:03 +09:00

..

__init__.py

twitter, youtube 크롤러 추가 시작

2017-07-04 14:29:41 +09:00

twconfig.py

- 트위터 크롤러 수정

2017-07-28 14:29:05 +09:00

twdbhelper.py

트위터 크롤러 수정

2017-08-01 10:39:03 +09:00

tweet.py

- multithreading으로 모든 depth 크롤링

2017-07-25 17:44:02 +09:00

twittercrawl.py

트위터 크롤러 수정

2017-08-01 10:39:03 +09:00

twparser.py

- multithreading으로 모든 depth 크롤링

2017-07-25 17:44:02 +09:00