mjjo
aa2f5b9f71
트위터 크롤러 상위 작성자 표시
2017-08-10 17:00:12 +09:00
mjjo
787889a201
requirements.txt에 버전 표기
2017-08-10 15:18:39 +09:00
mjjo
df5ca87d8a
- 불필요한 print 삭제
...
- thread 16개로
2017-08-10 14:29:33 +09:00
mjjo
cba76dbe59
4 space -> tab으로 수정
2017-08-10 12:44:03 +09:00
mjjo
16a9afbd9f
runner thread가 종료되는 문제 해결
2017-08-10 12:34:38 +09:00
mjjo
9e51f989fd
중복된 proxy 들어가지 않도록
2017-08-10 11:36:03 +09:00
mjjo
3d829e55b5
runner exception 추가
2017-08-10 11:32:08 +09:00
mjjo
19cd5bb070
네이버 크롤러 css 변경 적용
2017-08-10 10:04:22 +09:00
mjjo
204f1f7bbb
Merge branch 'master' of ssh://git.concepters.co.kr:10022/client/client
2017-08-09 15:33:37 +09:00
mjjo
1fb61f0b4c
트위터 크롤러 수정
...
- 프록시를 porxy2 db에 넣고 사용
2017-08-09 15:32:57 +09:00
mjjo
fc266404c8
필터 소스코드 정리
2017-08-08 12:20:01 +09:00
mjjo
b94dbae271
Merge branch 'master' of ssh://git.concepters.co.kr:10022/client/client
2017-08-03 16:28:36 +09:00
mjjo
521b51fc1f
crawler linux packing script modified
2017-08-03 16:26:54 +09:00
mjjo
616c27a800
column.txt 잘못된 부분 수정
2017-08-02 15:45:05 +09:00
mjjo
65c47de54c
package-clients.bat 파일 수정
2017-08-02 14:45:05 +09:00
mjjo
3ceb59e815
트위터 크롤러 max_position 수정
...
빠진 파일들 추가
2017-08-02 10:52:11 +09:00
mjjo
de8f2f4c23
트위터 크롤러 수정
...
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98
- 트위터 크롤러 수정
...
- 중복 제거 후 insert
- proxy.txt가 모두 만료되면 db 사용
- proxy db에서 중복 제거해서 가져오기
- 프록시 문제로 페이지 요청 시 0.1초 딜레이
- 크롤러 stop 동작하도록
- realtime 적용
2017-07-28 14:29:05 +09:00
mjjo
2973faaf39
- compile 환경 구축
...
- 리눅스에서 컴파일 안되는 코드 수정
- binary packaging 스크립트 추가
2017-07-27 17:34:50 +09:00
mjjo
922aaabe74
Merge branch 'working/twitter'
2017-07-27 11:33:10 +09:00
mjjo
5e8ba15bbd
트위터, 유튜브 추가
2017-07-27 11:30:45 +09:00
mjjo
b0c1d0dabd
- 트위터, 유튜브 추가
2017-07-27 11:30:08 +09:00
mjjo
82956f7748
utf-8 bom으로 encoding 변경
2017-07-27 11:29:21 +09:00
mjjo
fb7b3949d3
- requirements.txt 추가
...
- print 구문 주석
2017-07-27 11:27:27 +09:00
mjjo
2f324b1710
- multithreading으로 모든 depth 크롤링
2017-07-25 17:44:02 +09:00
mjjo
4d6aef1310
- timestamp 처리
...
- 실패한 runner 한번 더 시도
2017-07-21 12:04:10 +09:00
mjjo
08435ece8d
트위터 크롤러 1depth까지 완료
2017-07-20 11:00:20 +09:00
mjjo
1496644cc2
접속 실패한 프록시 주석처리해서 다시 사용하지 않는 기능 추가
...
- 플랫폼별로 처리하는 기능 필요
2017-07-20 10:58:13 +09:00
mjjo
fbbcc50df1
twitter timeline 크롤링
2017-07-18 11:12:43 +09:00
mjjo
64fc36da50
filter limit 수정
2017-07-06 19:17:15 +09:00
mjjo
ee9b1647e8
인스타 크롤러 로그에서 문제나는 부분 삭제
2017-07-06 11:48:23 +09:00
mjjo
f12c3ca23b
이펙트 크롤러 error 메시지 나오는 부분 삭제
2017-07-04 15:49:58 +09:00
mjjo
81bbad8f19
twitter, youtube 크롤러 추가 시작
2017-07-04 14:29:41 +09:00
mjjo
f6310e7922
.user 파일 삭제
2017-07-04 14:28:14 +09:00
mjjo
bc89f4d0f1
인스타그램 effect crawler 버그 수정
2017-07-04 14:26:14 +09:00
mjjo
3d806ae5db
인스타 크롤러 주석 제거 및 백업 파일들 삭제
2017-06-30 17:26:00 +09:00
mjjo
5d15913c7a
.gitignore 추가
2017-06-30 17:25:25 +09:00
mjjo
bba53e2fae
- 인스타그램 크롤러 수정
...
- 로그 수정
- reply 크롤링 버그 수정
2017-06-30 15:44:49 +09:00
admin
1e449a45af
- instagram 크롤러 수정 (Tag, Comment, User)
...
- Debug 메시지 수정
git-svn-id: svn://192.168.0.12/source@351 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-29 03:12:39 +00:00
admin
b2e4fdadb3
git-svn-id: svn://192.168.0.12/source@350 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-05 02:42:07 +00:00
admin
80f1b61839
git-svn-id: svn://192.168.0.12/source@349 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-01 09:50:18 +00:00
admin
b873412ef2
git-svn-id: svn://192.168.0.12/source@348 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-05-30 03:32:11 +00:00
admin
dad0365a79
git-svn-id: svn://192.168.0.12/source@347 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-05-30 01:35:44 +00:00
admin
fab5f51c85
git-svn-id: svn://192.168.0.12/source@346 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-04-14 02:30:18 +00:00
admin
4fa93a7cc4
git-svn-id: svn://192.168.0.12/source@345 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-03-29 03:19:06 +00:00
admin
ec45528679
git-svn-id: svn://192.168.0.12/source@344 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-03-29 02:49:18 +00:00
admin
8ec8a773ad
git-svn-id: svn://192.168.0.12/source@343 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-19 10:30:58 +00:00
admin
53d5da70de
git-svn-id: svn://192.168.0.12/source@342 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-19 10:17:19 +00:00
admin
ecd8deb87d
윤기영
...
base/baseclasses 의 firefox geckodriver 로드 하는 부분 수정
git-svn-id: svn://192.168.0.12/source@341 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-18 08:43:36 +00:00
admin
7b87a7fd7e
firefox gecko driver 추가
...
git-svn-id: svn://192.168.0.12/source@340 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-18 02:02:10 +00:00
