This website requires JavaScript.
24587435b6
네이버 블로그, 카페 크롤러 문제 수정
2017-08-17 16:51:04 +09:00
8854af26d6
gitignore 파일 수정
2017-08-14 19:00:24 +09:00
ed7a6ddad9
인스타 content crawling 실패시 재시도
2017-08-14 18:56:43 +09:00
87968097a9
args print
2017-08-11 12:27:16 +09:00
3142782428
프록시에 lock 적용, exception 해결
2017-08-11 12:25:53 +09:00
aa2f5b9f71
트위터 크롤러 상위 작성자 표시
2017-08-10 17:00:12 +09:00
787889a201
requirements.txt에 버전 표기
2017-08-10 15:18:39 +09:00
df5ca87d8a
- 불필요한 print 삭제 - thread 16개로
2017-08-10 14:29:33 +09:00
cba76dbe59
4 space -> tab으로 수정
2017-08-10 12:44:03 +09:00
16a9afbd9f
runner thread가 종료되는 문제 해결
2017-08-10 12:34:38 +09:00
9e51f989fd
중복된 proxy 들어가지 않도록
2017-08-10 11:36:03 +09:00
3d829e55b5
runner exception 추가
2017-08-10 11:32:08 +09:00
19cd5bb070
네이버 크롤러 css 변경 적용
2017-08-10 10:04:22 +09:00
204f1f7bbb
Merge branch 'master' of ssh://git.concepters.co.kr:10022/client/client
2017-08-09 15:33:37 +09:00
1fb61f0b4c
트위터 크롤러 수정 - 프록시를 porxy2 db에 넣고 사용
2017-08-09 15:32:57 +09:00
fc266404c8
필터 소스코드 정리
2017-08-08 12:20:01 +09:00
b94dbae271
Merge branch 'master' of ssh://git.concepters.co.kr:10022/client/client
2017-08-03 16:28:36 +09:00
521b51fc1f
crawler linux packing script modified
2017-08-03 16:26:54 +09:00
616c27a800
column.txt 잘못된 부분 수정
2017-08-02 15:45:05 +09:00
65c47de54c
package-clients.bat 파일 수정
2017-08-02 14:45:05 +09:00
3ceb59e815
트위터 크롤러 max_position 수정 빠진 파일들 추가
2017-08-02 10:52:11 +09:00
de8f2f4c23
트위터 크롤러 수정 - proxy.txt에 있는 ip 모두 소진하면 새롭게 가져와서 채우는 기능 - db에 넣을 때 128개 모아서 한번에 넣는 기능 - concurrent.future.ThreadPoolExecutor 사용 - qt에서 로그 라인별로 읽어서 출력 - 로그 256개씩 한번에 삭제
2017-08-01 10:39:03 +09:00
3d5e2d0c98
- 트위터 크롤러 수정 - 중복 제거 후 insert - proxy.txt가 모두 만료되면 db 사용 - proxy db에서 중복 제거해서 가져오기 - 프록시 문제로 페이지 요청 시 0.1초 딜레이 - 크롤러 stop 동작하도록 - realtime 적용
2017-07-28 14:27:38 +09:00
2973faaf39
- compile 환경 구축 - 리눅스에서 컴파일 안되는 코드 수정 - binary packaging 스크립트 추가
2017-07-27 17:34:50 +09:00
922aaabe74
Merge branch 'working/twitter'
2017-07-27 11:33:10 +09:00
5e8ba15bbd
트위터, 유튜브 추가
2017-07-27 11:30:45 +09:00
b0c1d0dabd
- 트위터, 유튜브 추가
2017-07-27 11:30:08 +09:00
82956f7748
utf-8 bom으로 encoding 변경
2017-07-27 11:29:21 +09:00
fb7b3949d3
- requirements.txt 추가 - print 구문 주석
2017-07-27 11:27:27 +09:00
2f324b1710
- multithreading으로 모든 depth 크롤링
2017-07-25 17:44:02 +09:00
4d6aef1310
- timestamp 처리 - 실패한 runner 한번 더 시도
2017-07-21 12:04:10 +09:00
08435ece8d
트위터 크롤러 1depth까지 완료
2017-07-20 11:00:20 +09:00
1496644cc2
접속 실패한 프록시 주석처리해서 다시 사용하지 않는 기능 추가 - 플랫폼별로 처리하는 기능 필요
2017-07-20 10:58:13 +09:00
fbbcc50df1
twitter timeline 크롤링
2017-07-18 11:12:43 +09:00
64fc36da50
filter limit 수정
2017-07-06 19:17:15 +09:00
ee9b1647e8
인스타 크롤러 로그에서 문제나는 부분 삭제
2017-07-06 11:48:23 +09:00
f12c3ca23b
이펙트 크롤러 error 메시지 나오는 부분 삭제
2017-07-04 15:49:58 +09:00
81bbad8f19
twitter, youtube 크롤러 추가 시작
2017-07-04 14:29:41 +09:00
f6310e7922
.user 파일 삭제
2017-07-04 14:28:14 +09:00
bc89f4d0f1
인스타그램 effect crawler 버그 수정
2017-07-04 14:26:14 +09:00
3d806ae5db
인스타 크롤러 주석 제거 및 백업 파일들 삭제
2017-06-30 17:26:00 +09:00
5d15913c7a
.gitignore 추가
2017-06-30 17:25:25 +09:00
bba53e2fae
- 인스타그램 크롤러 수정 - 로그 수정 - reply 크롤링 버그 수정
2017-06-30 15:44:49 +09:00
1e449a45af
- instagram 크롤러 수정 (Tag, Comment, User) - Debug 메시지 수정
2017-06-29 03:12:39 +00:00
b2e4fdadb3
git-svn-id: svn://192.168.0.12/source@350 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-05 02:42:07 +00:00
80f1b61839
git-svn-id: svn://192.168.0.12/source@349 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-06-01 09:50:18 +00:00
b873412ef2
git-svn-id: svn://192.168.0.12/source@348 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-05-30 03:32:11 +00:00
dad0365a79
git-svn-id: svn://192.168.0.12/source@347 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-05-30 01:35:44 +00:00
fab5f51c85
git-svn-id: svn://192.168.0.12/source@346 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-04-14 02:30:18 +00:00
4fa93a7cc4
git-svn-id: svn://192.168.0.12/source@345 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-03-29 03:19:06 +00:00
ec45528679
git-svn-id: svn://192.168.0.12/source@344 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-03-29 02:49:18 +00:00
8ec8a773ad
git-svn-id: svn://192.168.0.12/source@343 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-19 10:30:58 +00:00
53d5da70de
git-svn-id: svn://192.168.0.12/source@342 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-19 10:17:19 +00:00
ecd8deb87d
윤기영 base/baseclasses 의 firefox geckodriver 로드 하는 부분 수정
2017-01-18 08:43:36 +00:00
7b87a7fd7e
firefox gecko driver 추가
2017-01-18 02:02:10 +00:00
2d0b6b84d7
test update
2017-01-16 07:32:16 +00:00
33763bc9a6
Test
2017-01-16 04:08:47 +00:00
67dffda91c
git-svn-id: svn://192.168.0.12/source@337 8346c931-da38-4b9b-9d4c-e48b93cbd075
2017-01-16 04:05:55 +00:00
80224e09b1
스크립트파일
2017-01-06 10:23:35 +00:00
40f29bdf51
effect
2017-01-06 07:21:32 +00:00
a296920e74
effect 수정
2017-01-06 07:20:57 +00:00
a8014e257e
effect update time 업로드하도록 수정 기타 오류 수정
2016-12-30 07:51:45 +00:00
d700405547
crawlerList 네이버뉴스 댓글숫자크롤링
2016-12-27 09:18:04 +00:00
ea4a3c8f11
git-svn-id: svn://192.168.0.12/source@331 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-12-26 10:26:49 +00:00
bcecd771c6
blog crawler 수정 댓글넘버 및 공감 넣기
2016-12-23 08:59:24 +00:00
637ce292d1
filterprocess update시 sqlString 변환
2016-12-20 09:22:25 +00:00
08185d120b
EffectUI : 크롤링해오는 텀 조절 FilterProcess : ??? 글쎄??? GroupManager : Group 부분 수정 Copy 중복 포함해서 넘김(속도), Clear, Delete 삭제, List Export 추가, Refresh 선택한 것만 갱신하도록 수정
2016-12-08 10:20:39 +00:00
7e0e6b94c6
kakaostory 오전 12:00 표기 문제 해결
2016-12-01 03:35:22 +00:00
e9063aa9c9
crawlerlist naver - cafe, blog ; list 가져오는 url 수정
2016-12-01 02:54:57 +00:00
9306969bea
filterprocess consumer / spammer 그래프 수정 카카오스토리 modified date가 위로 올라오는 문제로 인해 과거 댓글이 그래프구간에 영향을 끼치는 문제 수정
2016-11-30 09:09:35 +00:00
e2f9700d20
batch log 추가
2016-11-29 09:19:28 +00:00
e9f67744ab
FilterProcess sservice.cpp 파일 추가
2016-11-29 07:48:20 +00:00
a7ec2f63fd
filterprocess debug/upload 설정 추가 setup.ini의 [settings] 옵션 하부에 upload=o debug=x 설정가능 설정은 o,x로 가능함 기본설정은 upload=o, debug=x
2016-11-29 07:35:43 +00:00
60f692f641
filterprocess debug 모드 추가
2016-11-28 10:20:10 +00:00
a2c55d909b
shttpsender host: ip를 url로 보내기(가비아에서 먹히지 않음)
2016-11-24 11:08:17 +00:00
d6e259a3de
httpsender url 요청 수정
2016-11-22 07:51:09 +00:00
87996afa7a
spammer 카테고리 생성하지 않아도 잘 들어가게 수정
2016-11-22 03:50:28 +00:00
b2242ca378
필터 powercafe 수정 컨슈머 / 스패머 카테고리가 1개일 경우 map이 안들어가는 문제 수정
2016-11-21 10:10:14 +00:00
1cae1cea88
프로젝트 이름 변경 FilterProcess -> Legacy_FilterProcess로 변경 sfilterprocess -> FilterProcess로 변경
2016-11-21 07:09:35 +00:00
f7c4ad21b9
sns 처리 수정 filter 처리 수정
2016-11-18 10:07:36 +00:00
4e6aead7b3
filter 최종 종료시에 website에 이를 알리는 기능
2016-11-11 06:24:32 +00:00
9f95082415
로그출력수정
2016-11-10 10:06:45 +00:00
305edff9f4
git-svn-id: svn://192.168.0.12/source@312 8346c931-da38-4b9b-9d4c-e48b93cbd075
2016-11-10 10:06:30 +00:00
6412bdbefa
effectCrawler 추가
2016-11-09 10:08:12 +00:00
e41b1413cc
effect 마무리
2016-11-08 10:15:26 +00:00
1201983c4d
네이버 블로그 통계 계산하는 부분 수정
2016-11-04 10:44:33 +00:00
73acdf3d3c
instagram, kakaostory effect 추가
2016-11-04 10:44:08 +00:00
732ebaa53b
effectprocess 라이브러리 qwebpage 에서 qwebenginepage로 변경 qt5.4 -> qt5.5.1 이상으로 변경 (이것만)
2016-11-02 07:45:37 +00:00
9b479f3e9a
effectprocess 추가
2016-10-28 10:10:05 +00:00
6d62c97b54
effectprocess 추가
2016-10-27 10:11:49 +00:00
0b075003a4
proxy default url 수정
2016-10-25 01:55:27 +00:00
7a3cbaa797
logic 추가 -_-;;
2016-10-21 10:01:30 +00:00
23021133c6
logic 추가
2016-10-21 10:01:11 +00:00
ffbaf3084f
logwidget 추가
2016-10-20 04:14:57 +00:00
199b9ca2b3
sparentprocess 클래스 추가
2016-10-17 10:06:16 +00:00
bdd6780920
widget 클래스들의 기초 클래스를 QObject 에서 QWidget으로 변경
2016-10-07 10:05:37 +00:00
522bebb88d
adddelwidget 추가 srunninglistwidget 추가
2016-10-07 09:36:50 +00:00
85c47edea3
effectui 추가 형태소분석기 숫자 정렬 추가 batch run 시 결과값이 올바르게 나오지 않는 현상 디버깅
2016-10-06 07:54:45 +00:00
c55fc7f2f0
삭제된 게시물에 접근시 alert 뜨는 문제 해결 및 오류처리
2016-09-30 07:04:26 +00:00
df36c714b4
add kakao exception module
2016-09-08 06:03:28 +00:00
mjjo
admin