Commit Graph

37 Commits

Author SHA1 Message Date
mjjo
fb7b3949d3 - requirements.txt 추가
- print 구문 주석
2017-07-27 11:27:27 +09:00
mjjo
2f324b1710 - multithreading으로 모든 depth 크롤링 2017-07-25 17:44:02 +09:00
mjjo
4d6aef1310 - timestamp 처리
- 실패한 runner 한번 더 시도
2017-07-21 12:04:10 +09:00
mjjo
08435ece8d 트위터 크롤러 1depth까지 완료 2017-07-20 11:00:20 +09:00
mjjo
1496644cc2 접속 실패한 프록시 주석처리해서 다시 사용하지 않는 기능 추가
- 플랫폼별로 처리하는 기능 필요
2017-07-20 10:58:13 +09:00
mjjo
fbbcc50df1 twitter timeline 크롤링 2017-07-18 11:12:43 +09:00
mjjo
81bbad8f19 twitter, youtube 크롤러 추가 시작 2017-07-04 14:29:41 +09:00
mjjo
bc89f4d0f1 인스타그램 effect crawler 버그 수정 2017-07-04 14:26:14 +09:00
mjjo
3d806ae5db 인스타 크롤러 주석 제거 및 백업 파일들 삭제 2017-06-30 17:26:00 +09:00
mjjo
bba53e2fae - 인스타그램 크롤러 수정
- 로그 수정
- reply 크롤링 버그 수정
2017-06-30 15:44:49 +09:00
admin
1e449a45af - instagram 크롤러 수정 (Tag, Comment, User)
- Debug 메시지 수정


git-svn-id: svn://192.168.0.12/source@351 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-29 03:12:39 +00:00
admin
b873412ef2 git-svn-id: svn://192.168.0.12/source@348 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-05-30 03:32:11 +00:00
admin
4fa93a7cc4 git-svn-id: svn://192.168.0.12/source@345 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-03-29 03:19:06 +00:00
admin
8ec8a773ad git-svn-id: svn://192.168.0.12/source@343 8346c931-da38-4b9b-9d4c-e48b93cbd075 2017-01-19 10:30:58 +00:00
admin
ecd8deb87d 윤기영
base/baseclasses 의 firefox geckodriver 로드 하는 부분 수정

git-svn-id: svn://192.168.0.12/source@341 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-18 08:43:36 +00:00
admin
7b87a7fd7e firefox gecko driver 추가
git-svn-id: svn://192.168.0.12/source@340 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-18 02:02:10 +00:00
admin
40f29bdf51 effect
git-svn-id: svn://192.168.0.12/source@335 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-06 07:21:32 +00:00
admin
a8014e257e effect update time 업로드하도록 수정
기타 오류 수정


git-svn-id: svn://192.168.0.12/source@333 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-12-30 07:51:45 +00:00
admin
7e0e6b94c6 kakaostory 오전 12:00 표기 문제 해결
git-svn-id: svn://192.168.0.12/source@327 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-12-01 03:35:22 +00:00
admin
6412bdbefa effectCrawler 추가
git-svn-id: svn://192.168.0.12/source@311 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-11-09 10:08:12 +00:00
admin
73acdf3d3c instagram, kakaostory effect 추가
git-svn-id: svn://192.168.0.12/source@308 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-11-04 10:44:08 +00:00
admin
df36c714b4 add kakao exception module
git-svn-id: svn://192.168.0.12/source@295 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-08 06:03:28 +00:00
admin
c0e614bac1 웹크롤러 파이선 카카오스토리 부분 디버깅
git-svn-id: svn://192.168.0.12/source@294 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-08 05:58:24 +00:00
admin
f4c95f68d2 crawlerstatistic navernews 추가
git-svn-id: svn://192.168.0.12/source@293 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-07 03:21:56 +00:00
admin
eb55c17c08 크롤러 로그 통계 프로그램
카스/인스타그램 추가

git-svn-id: svn://192.168.0.12/source@292 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-07 02:56:05 +00:00
admin
fb14e0dbe2 crawlerstatistic
크롤러 통계 보기 프로그램


git-svn-id: svn://192.168.0.12/source@291 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-06 02:44:52 +00:00
admin
563b0a8a42 카카오크롤러 업데이트
git-svn-id: svn://192.168.0.12/source@289 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-09-05 10:21:03 +00:00
admin
cff46799eb instagram 멀티로 실행하게 만들기
git-svn-id: svn://192.168.0.12/source@287 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-08-18 07:44:21 +00:00
admin
3074db4fa0 insta crawler 수정
git-svn-id: svn://192.168.0.12/source@278 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-06-28 03:29:33 +00:00
admin
bf78651baa 인스타그램 크롤러 수정
sfilterprocess 잡다버그 디버깅

git-svn-id: svn://192.168.0.12/source@277 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-06-10 10:12:15 +00:00
admin
a508dc8daa kakaostory 업데이트 대응
utf-8 4byte emoji 공백처리

git-svn-id: svn://192.168.0.12/source@254 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-02-23 08:42:47 +00:00
admin
2d47116b1b body에서 id nickname 잘못가져오는 문제 디버깅
git-svn-id: svn://192.168.0.12/source@252 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-02-02 03:01:33 +00:00
admin
519e40c9b8 nickname 잘못가져오는 버그 수정
git-svn-id: svn://192.168.0.12/source@251 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-02-01 10:23:32 +00:00
admin
eeee7d4565 facebook id 크롤링 잘못 되는것 수정
git-svn-id: svn://192.168.0.12/source@250 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-02-01 06:55:20 +00:00
admin
aba95f750e db 재접속 수정
git-svn-id: svn://192.168.0.12/source@248 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-01-29 09:12:42 +00:00
admin
21b11500bd selenium, beautifulsoup4로 구현한 python 크롤러
git-svn-id: svn://192.168.0.12/source@241 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-01-19 06:52:00 +00:00
admin
cc8122e074 WebBasedCrawler 추가
git-svn-id: svn://192.168.0.12/source@229 8346c931-da38-4b9b-9d4c-e48b93cbd075
2015-12-07 03:25:49 +00:00