mjjo
9e51f989fd
중복된 proxy 들어가지 않도록
2017-08-10 11:36:03 +09:00
mjjo
3d829e55b5
runner exception 추가
2017-08-10 11:32:08 +09:00
mjjo
1fb61f0b4c
트위터 크롤러 수정
...
- 프록시를 porxy2 db에 넣고 사용
2017-08-09 15:32:57 +09:00
mjjo
3ceb59e815
트위터 크롤러 max_position 수정
...
빠진 파일들 추가
2017-08-02 10:52:11 +09:00
mjjo
de8f2f4c23
트위터 크롤러 수정
...
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98
- 트위터 크롤러 수정
...
- 중복 제거 후 insert
- proxy.txt가 모두 만료되면 db 사용
- proxy db에서 중복 제거해서 가져오기
- 프록시 문제로 페이지 요청 시 0.1초 딜레이
- 크롤러 stop 동작하도록
- realtime 적용
2017-07-28 14:29:05 +09:00
mjjo
fb7b3949d3
- requirements.txt 추가
...
- print 구문 주석
2017-07-27 11:27:27 +09:00
mjjo
2f324b1710
- multithreading으로 모든 depth 크롤링
2017-07-25 17:44:02 +09:00
mjjo
4d6aef1310
- timestamp 처리
...
- 실패한 runner 한번 더 시도
2017-07-21 12:04:10 +09:00
mjjo
08435ece8d
트위터 크롤러 1depth까지 완료
2017-07-20 11:00:20 +09:00
mjjo
fbbcc50df1
twitter timeline 크롤링
2017-07-18 11:12:43 +09:00
mjjo
81bbad8f19
twitter, youtube 크롤러 추가 시작
2017-07-04 14:29:41 +09:00
