Commit Graph

3 Commits

Author SHA1 Message Date
mjjo
1fb61f0b4c 트위터 크롤러 수정
- 프록시를 porxy2 db에 넣고 사용
2017-08-09 15:32:57 +09:00
mjjo
3ceb59e815 트위터 크롤러 max_position 수정
빠진 파일들 추가
2017-08-02 10:52:11 +09:00
mjjo
de8f2f4c23 트위터 크롤러 수정
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
2017-08-01 10:39:03 +09:00