mjjo
de8f2f4c23
트위터 크롤러 수정
...
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98
- 트위터 크롤러 수정
...
- 중복 제거 후 insert
- proxy.txt가 모두 만료되면 db 사용
- proxy db에서 중복 제거해서 가져오기
- 프록시 문제로 페이지 요청 시 0.1초 딜레이
- 크롤러 stop 동작하도록
- realtime 적용
2017-07-28 14:29:05 +09:00
mjjo
1496644cc2
접속 실패한 프록시 주석처리해서 다시 사용하지 않는 기능 추가
...
- 플랫폼별로 처리하는 기능 필요
2017-07-20 10:58:13 +09:00
admin
cff46799eb
instagram 멀티로 실행하게 만들기
...
git-svn-id: svn://192.168.0.12/source@287 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-08-18 07:44:21 +00:00
