etc/clients
1
0
Fork 0
Code Issues Pull Requests Releases Activity
388 Commits 2 Branches 0 Tags
master
Commit Graph

36 Commits

Author SHA1 Message Date
mjjo
de8f2f4c23 트위터 크롤러 수정 
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
 2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98 - 트위터 크롤러 수정 
- 중복 제거 후 insert
  - proxy.txt가 모두 만료되면 db 사용
  - proxy db에서 중복 제거해서 가져오기
  - 프록시 문제로 페이지 요청 시 0.1초 딜레이
  - 크롤러 stop 동작하도록
  - realtime 적용
 2017-07-28 14:29:05 +09:00
mjjo
b0c1d0dabd - 트위터, 유튜브 추가 2017-07-27 11:30:08 +09:00
admin
08185d120b EffectUI : 크롤링해오는 텀 조절 
FilterProcess : ??? 글쎄???
GroupManager : Group 부분 수정 Copy 중복 포함해서 넘김(속도), Clear, Delete 삭제, List Export 추가, Refresh 선택한 것만 갱신하도록 수정

git-svn-id: svn://192.168.0.12/source@328 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-08 10:20:39 +00:00
admin
f3f0395e31 naver blog accuracy 추가 
git-svn-id: svn://192.168.0.12/source@263 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-05-13 06:33:45 +00:00
admin
44c1dbc2c3 git-svn-id: svn://192.168.0.12/source@247 8346c931-da38-4b9b-9d4c-e48b93cbd075 2016-01-29 09:11:40 +00:00
admin
f25230c652 facebook 추가 
timeout시 재접속 할수 있도록 수정

git-svn-id: svn://192.168.0.12/source@239 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-01-19 06:47:32 +00:00
admin
820fa031e2 naver news 수정 
git-svn-id: svn://192.168.0.12/source@230 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-12-24 01:39:18 +00:00
admin
9a9d674a11 kakao 추가 
git-svn-id: svn://192.168.0.12/source@226 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-12-07 03:23:07 +00:00
admin
c9b96a76a5 navercrawl 종료방법 변경 
git-svn-id: svn://192.168.0.12/source@225 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-20 10:09:06 +00:00
admin
c12705430c NaverCafeListManager 추가 
git-svn-id: svn://192.168.0.12/source@222 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-11 06:51:11 +00:00
admin
1d55d53e04 크롤러리스트 start() 시 dbopen 체크 
git-svn-id: svn://192.168.0.12/source@219 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-02 02:17:19 +00:00
admin
ec55f45ce4 리눅스에서 Process 들이 ./로 실행되도록 수정 
실시간 크롤러에서 오늘날짜 +1이 되는 오류 수정
crawlerfinish 이후 db가 끊기면 재시도 하지 않는 버그 수정(테스트 꾸준히 해봐야함)


git-svn-id: svn://192.168.0.12/source@216 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-10-28 08:13:59 +00:00
admin
99e8f38d59 Start Day 추가 
git-svn-id: svn://192.168.0.12/source@193 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-09-23 09:27:04 +00:00
admin
eb58276654 alive 추가 
git-svn-id: svn://192.168.0.12/source@159 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-07-08 08:11:03 +00:00
admin
d21d98ac45 뉴스 크롤러 추가 
git-svn-id: svn://192.168.0.12/source@149 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-06-18 08:46:08 +00:00
admin
20fbf282c0 에러 메시지 추가 
git-svn-id: svn://192.168.0.12/source@139 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-06-03 05:33:11 +00:00
admin
1f1156622e stop 기능 변경 
git-svn-id: svn://192.168.0.12/source@130 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-29 03:32:08 +00:00
admin
dc37b20426 버그 수정 및 Page 갯수 설정 
git-svn-id: svn://192.168.0.12/source@127 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-28 07:07:14 +00:00
admin
992b9777a1 Real Time 수정 
git-svn-id: svn://192.168.0.12/source@124 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-27 02:46:23 +00:00
admin
fd81e83c9e 수정 
git-svn-id: svn://192.168.0.12/source@123 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-22 08:13:47 +00:00
admin
3018f2236d 수동 모드 Never Ending 버그 수정 
git-svn-id: svn://192.168.0.12/source@117 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-18 09:16:11 +00:00
admin
0f91533bbf timer stop 제거 
git-svn-id: svn://192.168.0.12/source@116 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-15 01:33:53 +00:00
admin
5e6792743b Real Time 대폭 수정 
git-svn-id: svn://192.168.0.12/source@113 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-13 07:28:17 +00:00
admin
5e2dfb999d git-svn-id: svn://192.168.0.12/source@108 8346c931-da38-4b9b-9d4c-e48b93cbd075 2015-05-11 07:45:15 +00:00
admin
3925bf8ad9 LockTable 인수값 삭제 
git-svn-id: svn://192.168.0.12/source@107 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-11 07:00:23 +00:00
admin
011f766787 크롤러 수행시 list 삭제 
크롤러 log 분산

git-svn-id: svn://192.168.0.12/source@92 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-06 10:41:40 +00:00
admin
a9832c62e5 reload 수정 
lock tables 수정 

git-svn-id: svn://192.168.0.12/source@90 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-05 02:41:55 +00:00
admin
5f9b64564f lock 버그 수정 
git-svn-id: svn://192.168.0.12/source@87 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-04 01:43:43 +00:00
admin
f06cc122b2 locking 수정 
git-svn-id: svn://192.168.0.12/source@86 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-04-29 05:26:17 +00:00
admin
f553261f78 실시간 중간 버젼 
git-svn-id: svn://192.168.0.12/source@78 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-04-17 05:22:20 +00:00
admin
57b4fe61c8 다음크롤러추가 
네이버블로그크롤러 카페형식에 맞게 수정


git-svn-id: svn://192.168.0.12/source@46 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-03-13 02:20:08 +00:00
admin
43c1cad437 git-svn-id: svn://192.168.0.12/source@31 8346c931-da38-4b9b-9d4c-e48b93cbd075 2015-02-27 09:38:33 +00:00
admin
121dc68375 git-svn-id: svn://192.168.0.12/source@30 8346c931-da38-4b9b-9d4c-e48b93cbd075 2015-02-27 05:45:51 +00:00
admin
53dd9275da 새로운 크롤러 
git-svn-id: svn://192.168.0.12/source@19 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-02-03 08:19:33 +00:00
admin
26aa931287 최초 변경 
git-svn-id: svn://192.168.0.12/source@14 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-01-29 07:04:38 +00:00