etc/clients
1
0
Fork 0
Code Issues Pull Requests Releases Activity
388 Commits 2 Branches 0 Tags
master
Commit Graph

57 Commits

Author SHA1 Message Date
mjjo
de8f2f4c23 트위터 크롤러 수정 
- proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능
- db에 넣을 때 128개 모아서 한번에 넣는 기능
- concurrent.future.ThreadPoolExecutor 사용
- qt에서 로그 라인별로 읽어서 출력
- 로그 256개씩 한번에 삭제
 2017-08-01 10:39:03 +09:00
mjjo
3d5e2d0c98 - 트위터 크롤러 수정 
- 중복 제거 후 insert
  - proxy.txt가 모두 만료되면 db 사용
  - proxy db에서 중복 제거해서 가져오기
  - 프록시 문제로 페이지 요청 시 0.1초 딜레이
  - 크롤러 stop 동작하도록
  - realtime 적용
 2017-07-28 14:29:05 +09:00
mjjo
b0c1d0dabd - 트위터, 유튜브 추가 2017-07-27 11:30:08 +09:00
admin
637ce292d1 filterprocess update시 sqlString 변환 
git-svn-id: svn://192.168.0.12/source@329 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-20 09:22:25 +00:00
admin
08185d120b EffectUI : 크롤링해오는 텀 조절 
FilterProcess : ??? 글쎄???
GroupManager : Group 부분 수정 Copy 중복 포함해서 넘김(속도), Clear, Delete 삭제, List Export 추가, Refresh 선택한 것만 갱신하도록 수정

git-svn-id: svn://192.168.0.12/source@328 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-08 10:20:39 +00:00
admin
e9063aa9c9 crawlerlist naver - cafe, blog ; list 가져오는 url 수정 
git-svn-id: svn://192.168.0.12/source@326 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-12-01 02:54:57 +00:00
admin
4374ded578 2005->2003 
git-svn-id: svn://192.168.0.12/source@286 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-08-05 06:29:14 +00:00
admin
bc5846aa26 blog accuracy 2005년->2003년으로 수정 
git-svn-id: svn://192.168.0.12/source@285 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-08-05 06:21:57 +00:00
admin
8bd7651836 blog url 수정 
git-svn-id: svn://192.168.0.12/source@284 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-08-04 07:26:05 +00:00
admin
870c3dd4f0 git-svn-id: svn://192.168.0.12/source@267 8346c931-da38-4b9b-9d4c-e48b93cbd075 2016-05-26 06:36:50 +00:00
admin
36d5f9d6ae git-svn-id: svn://192.168.0.12/source@266 8346c931-da38-4b9b-9d4c-e48b93cbd075 2016-05-19 09:20:43 +00:00
admin
f3f0395e31 naver blog accuracy 추가 
git-svn-id: svn://192.168.0.12/source@263 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-05-13 06:33:45 +00:00
admin
d1adf4e8b4 네이버 블로그 댓글주소 수정 
git-svn-id: svn://192.168.0.12/source@260 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-05-10 01:25:06 +00:00
admin
44c1dbc2c3 git-svn-id: svn://192.168.0.12/source@247 8346c931-da38-4b9b-9d4c-e48b93cbd075 2016-01-29 09:11:40 +00:00
admin
f25230c652 facebook 추가 
timeout시 재접속 할수 있도록 수정

git-svn-id: svn://192.168.0.12/source@239 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2016-01-19 06:47:32 +00:00
admin
bfd8f7dd67 카카오, 인스타, 네이버 카페 추가 
git-svn-id: svn://192.168.0.12/source@234 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-12-24 06:49:44 +00:00
admin
820fa031e2 naver news 수정 
git-svn-id: svn://192.168.0.12/source@230 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-12-24 01:39:18 +00:00
admin
9a9d674a11 kakao 추가 
git-svn-id: svn://192.168.0.12/source@226 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-12-07 03:23:07 +00:00
admin
c9b96a76a5 navercrawl 종료방법 변경 
git-svn-id: svn://192.168.0.12/source@225 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-20 10:09:06 +00:00
admin
c12705430c NaverCafeListManager 추가 
git-svn-id: svn://192.168.0.12/source@222 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-11 06:51:11 +00:00
admin
1d55d53e04 크롤러리스트 start() 시 dbopen 체크 
git-svn-id: svn://192.168.0.12/source@219 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-11-02 02:17:19 +00:00
admin
ec55f45ce4 리눅스에서 Process 들이 ./로 실행되도록 수정 
실시간 크롤러에서 오늘날짜 +1이 되는 오류 수정
crawlerfinish 이후 db가 끊기면 재시도 하지 않는 버그 수정(테스트 꾸준히 해봐야함)


git-svn-id: svn://192.168.0.12/source@216 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-10-28 08:13:59 +00:00
admin
99e8f38d59 Start Day 추가 
git-svn-id: svn://192.168.0.12/source@193 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-09-23 09:27:04 +00:00
admin
91dddca6f6 ajax 뉴스 크롤러 수정 
git-svn-id: svn://192.168.0.12/source@161 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-07-08 08:12:20 +00:00
admin
e7c1709d8a daum cafe ajax 가져오기 추가 
git-svn-id: svn://192.168.0.12/source@160 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-07-08 08:11:40 +00:00
admin
eb58276654 alive 추가 
git-svn-id: svn://192.168.0.12/source@159 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-07-08 08:11:03 +00:00
admin
5659316e0a NOTHING 메시지 처리 추가 
euckr 코덱 사용 추가 

git-svn-id: svn://192.168.0.12/source@152 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-06-22 07:12:12 +00:00
admin
d21d98ac45 뉴스 크롤러 추가 
git-svn-id: svn://192.168.0.12/source@149 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-06-18 08:46:08 +00:00
admin
20fbf282c0 에러 메시지 추가 
git-svn-id: svn://192.168.0.12/source@139 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-06-03 05:33:11 +00:00
admin
1f1156622e stop 기능 변경 
git-svn-id: svn://192.168.0.12/source@130 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-29 03:32:08 +00:00
admin
dc37b20426 버그 수정 및 Page 갯수 설정 
git-svn-id: svn://192.168.0.12/source@127 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-28 07:07:14 +00:00
admin
992b9777a1 Real Time 수정 
git-svn-id: svn://192.168.0.12/source@124 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-27 02:46:23 +00:00
admin
fd81e83c9e 수정 
git-svn-id: svn://192.168.0.12/source@123 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-22 08:13:47 +00:00
admin
fc6687c03f 헤더파일 대소문자 변경 
git-svn-id: svn://192.168.0.12/source@119 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-22 03:07:06 +00:00
admin
3018f2236d 수동 모드 Never Ending 버그 수정 
git-svn-id: svn://192.168.0.12/source@117 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-18 09:16:11 +00:00
admin
0f91533bbf timer stop 제거 
git-svn-id: svn://192.168.0.12/source@116 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-15 01:33:53 +00:00
admin
5e6792743b Real Time 대폭 수정 
git-svn-id: svn://192.168.0.12/source@113 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-13 07:28:17 +00:00
admin
5e2dfb999d git-svn-id: svn://192.168.0.12/source@108 8346c931-da38-4b9b-9d4c-e48b93cbd075 2015-05-11 07:45:15 +00:00
admin
3925bf8ad9 LockTable 인수값 삭제 
git-svn-id: svn://192.168.0.12/source@107 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-11 07:00:23 +00:00
admin
19f95373d4 update -> insert 방식의 크롤러 리스트 
git-svn-id: svn://192.168.0.12/source@105 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-11 06:40:33 +00:00
admin
011f766787 크롤러 수행시 list 삭제 
크롤러 log 분산

git-svn-id: svn://192.168.0.12/source@92 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-06 10:41:40 +00:00
admin
a9832c62e5 reload 수정 
lock tables 수정 

git-svn-id: svn://192.168.0.12/source@90 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-05 02:41:55 +00:00
admin
f1cf382220 ReLoadList 2번 안나오도록 수정 
킬 1분 ->5분으로 수정

git-svn-id: svn://192.168.0.12/source@89 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-04 08:45:39 +00:00
admin
5f9b64564f lock 버그 수정 
git-svn-id: svn://192.168.0.12/source@87 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-05-04 01:43:43 +00:00
admin
f06cc122b2 locking 수정 
git-svn-id: svn://192.168.0.12/source@86 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-04-29 05:26:17 +00:00
admin
f553261f78 실시간 중간 버젼 
git-svn-id: svn://192.168.0.12/source@78 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-04-17 05:22:20 +00:00
admin
c30f40e0b5 다음 네이버 댓글 수정 
git-svn-id: svn://192.168.0.12/source@60 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-03-23 06:21:35 +00:00
admin
4c855cfa5c 다음 검색 url 수정 
git-svn-id: svn://192.168.0.12/source@56 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-03-17 08:16:50 +00:00
admin
b9a8c64811 block, kill process시 list 재수집 
git-svn-id: svn://192.168.0.12/source@55 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-03-16 10:14:04 +00:00
admin
57b4fe61c8 다음크롤러추가 
네이버블로그크롤러 카페형식에 맞게 수정


git-svn-id: svn://192.168.0.12/source@46 8346c931-da38-4b9b-9d4c-e48b93cbd075
 2015-03-13 02:20:08 +00:00