etc/clients
1
0
Fork 0
Code Issues Pull Requests Releases Activity
394 Commits 2 Branches 0 Tags
develop
Commit Graph

57 Commits

Author SHA1 Message Date
mjjo
24587435b6 네이버 블로그, 카페 크롤러 문제 수정 2017-08-17 16:51:04 +09:00
mjjo
ed7a6ddad9 인스타 content crawling 실패시 재시도 2017-08-14 18:56:43 +09:00
mjjo
87968097a9 args print 2017-08-11 12:27:16 +09:00
mjjo
3142782428 프록시에 lock 적용, exception 해결 2017-08-11 12:25:53 +09:00
mjjo
aa2f5b9f71 트위터 크롤러 상위 작성자 표시 2017-08-10 17:00:12 +09:00
mjjo
787889a201 requirements.txt에 버전 표기 2017-08-10 15:18:39 +09:00
mjjo
df5ca87d8a - 불필요한 print 삭제 
- thread 16개로
 2017-08-10 14:29:33 +09:00
mjjo
cba76dbe59 4 space -> tab으로 수정 2017-08-10 12:44:03 +09:00
mjjo
16a9afbd9f runner thread가 종료되는 문제 해결 2017-08-10 12:34:38 +09:00
mjjo
9e51f989fd 중복된 proxy 들어가지 않도록 2017-08-10 11:36:03 +09:00
mjjo
3d829e55b5 runner exception 추가 2017-08-10 11:32:08 +09:00
mjjo
19cd5bb070 네이버 크롤러 css 변경 적용 2017-08-10 10:04:22 +09:00
mjjo
1fb61f0b4c 트위터 크롤러 수정 
- 프록시를 porxy2 db에 넣고 사용
 2017-08-09 15:32:57 +09:00
mjjo
3ceb59e815 트위터 크롤러 max_position 수정 
빠진 파일들 추가
 2017-08-02 10:52:11 +09:00
mjjo
de8f2f4c23 트위터 크롤러 수정 
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
 2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98 - 트위터 크롤러 수정 
- 중복 제거 후 insert
  - proxy.txt가 모두 만료되면 db 사용
  - proxy db에서 중복 제거해서 가져오기
  - 프록시 문제로 페이지 요청 시 0.1초 딜레이
  - 크롤러 stop 동작하도록
  - realtime 적용
 2017-07-28 14:29:05 +09:00
mjjo
2973faaf39 - compile 환경 구축 
- 리눅스에서 컴파일 안되는 코드 수정
- binary packaging 스크립트 추가
 2017-07-27 17:34:50 +09:00
mjjo
922aaabe74 Merge branch 'working/twitter' 2017-07-27 11:33:10 +09:00
mjjo
fb7b3949d3 - requirements.txt 추가 
- print 구문 주석
 2017-07-27 11:27:27 +09:00
mjjo
2f324b1710 - multithreading으로 모든 depth 크롤링 2017-07-25 17:44:02 +09:00
mjjo
4d6aef1310 - timestamp 처리 
- 실패한 runner 한번 더 시도
 2017-07-21 12:04:10 +09:00
mjjo
08435ece8d 트위터 크롤러 1depth까지 완료 2017-07-20 11:00:20 +09:00
mjjo
1496644cc2 접속 실패한 프록시 주석처리해서 다시 사용하지 않는 기능 추가 
- 플랫폼별로 처리하는 기능 필요
 2017-07-20 10:58:13 +09:00
mjjo
fbbcc50df1 twitter timeline 크롤링 2017-07-18 11:12:43 +09:00
mjjo
ee9b1647e8 인스타 크롤러 로그에서 문제나는 부분 삭제 2017-07-06 11:48:23 +09:00
mjjo
f12c3ca23b 이펙트 크롤러 error 메시지 나오는 부분 삭제 2017-07-04 15:49:58 +09:00
mjjo
81bbad8f19 twitter, youtube 크롤러 추가 시작 2017-07-04 14:29:41 +09:00
mjjo
bc89f4d0f1 인스타그램 effect crawler 버그 수정 2017-07-04 14:26:14 +09:00
mjjo
3d806ae5db 인스타 크롤러 주석 제거 및 백업 파일들 삭제 2017-06-30 17:26:00 +09:00
mjjo
bba53e2fae - 인스타그램 크롤러 수정 
- 로그 수정
- reply 크롤링 버그 수정
 2017-06-30 15:44:49 +09:00
admin
1e449a45af - instagram 크롤러 수정 (Tag, Comment, User) 
- Debug 메시지 수정


git-svn-id: svn://192.168.0.12/source@351 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2017-06-29 03:12:39 +00:00
admin
b873412ef2 git-svn-id: svn://192.168.0.12/source@348 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-05-30 03:32:11 +00:00
admin
4fa93a7cc4 git-svn-id: svn://192.168.0.12/source@345 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-03-29 03:19:06 +00:00
admin
8ec8a773ad git-svn-id: svn://192.168.0.12/source@343 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-01-19 10:30:58 +00:00
admin
ecd8deb87d 윤기영 
base/baseclasses 의 firefox geckodriver 로드 하는 부분 수정

git-svn-id: svn://192.168.0.12/source@341 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2017-01-18 08:43:36 +00:00
admin
7b87a7fd7e firefox gecko driver 추가 
git-svn-id: svn://192.168.0.12/source@340 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2017-01-18 02:02:10 +00:00
admin
40f29bdf51 effect 
git-svn-id: svn://192.168.0.12/source@335 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2017-01-06 07:21:32 +00:00
admin
a8014e257e effect update time 업로드하도록 수정 
기타 오류 수정


git-svn-id: svn://192.168.0.12/source@333 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-30 07:51:45 +00:00
admin
7e0e6b94c6 kakaostory 오전 12:00 표기 문제 해결 
git-svn-id: svn://192.168.0.12/source@327 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-01 03:35:22 +00:00
admin
6412bdbefa effectCrawler 추가 
git-svn-id: svn://192.168.0.12/source@311 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-11-09 10:08:12 +00:00
admin
73acdf3d3c instagram, kakaostory effect 추가 
git-svn-id: svn://192.168.0.12/source@308 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-11-04 10:44:08 +00:00
admin
df36c714b4 add kakao exception module 
git-svn-id: svn://192.168.0.12/source@295 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-08 06:03:28 +00:00
admin
c0e614bac1 웹크롤러 파이선 카카오스토리 부분 디버깅 
git-svn-id: svn://192.168.0.12/source@294 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-08 05:58:24 +00:00
admin
f4c95f68d2 crawlerstatistic navernews 추가 
git-svn-id: svn://192.168.0.12/source@293 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-07 03:21:56 +00:00
admin
eb55c17c08 크롤러 로그 통계 프로그램 
카스/인스타그램 추가

git-svn-id: svn://192.168.0.12/source@292 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-07 02:56:05 +00:00
admin
fb14e0dbe2 crawlerstatistic 
크롤러 통계 보기 프로그램


git-svn-id: svn://192.168.0.12/source@291 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-06 02:44:52 +00:00
admin
563b0a8a42 카카오크롤러 업데이트 
git-svn-id: svn://192.168.0.12/source@289 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-09-05 10:21:03 +00:00
admin
cff46799eb instagram 멀티로 실행하게 만들기 
git-svn-id: svn://192.168.0.12/source@287 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-08-18 07:44:21 +00:00
admin
3074db4fa0 insta crawler 수정 
git-svn-id: svn://192.168.0.12/source@278 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-06-28 03:29:33 +00:00
admin
bf78651baa 인스타그램 크롤러 수정 
sfilterprocess 잡다버그 디버깅

git-svn-id: svn://192.168.0.12/source@277 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-06-10 10:12:15 +00:00