PDA

Vollständige Version anzeigen : Framebrecher Spider


Seiten : [1] 2 3 4

Gremlin
29.02.2008, 16:02
Moin,
der Framebrecher-Spider ist nun fertig und wird hiermit veröffentlicht.


Was ist das?
Der Spider ist ein Script bestehend aus Client und Server. Der Client wurde von Worka geschrieben dieser ruft vom Server eine Liste mit den Werbekampagnen im Script ab und prüft ob diese URL der Kampagne:

- Viren enthält
- ein Framebrecher ist
- zu langsam lädt (Aufenthalt der Kampagne + X Sekunden)
- zu viele Popups hat (einstellbar wieviele erlaubt)

Im Adminforce gibt es dann eine Statistik der Kampagnen die gelöscht wurden mit dem Grund, ebenso kann abgeschaltet werden das z.B. Framebrecher nicht gelöscht werdne.

Hier nochmal ein großes Dankeschön an Worka der den Clienten programmiert hat.

Der Download ist hier zu finden:
Framebrecher-Spider (http://www.designerscripte.net/downloads.php?do=file&id=191) (Achtung: große Datei)

Getestet unter:
- Windows 2000
- Windows XP
- Windows Vista (32 bit)

Probleme:
- | aus Url wird nicht gefiltert (Lösung (http://www.designerscripte.net/showpost.php?p=35922&postcount=3)).

Wichtig:
Wir haften nicht für die Korrektheit der Meldungen und die hierdurch möglichen Schäden, also wenn z.B. trotzdem noch Viren drin sind die der Spider nicht erkannt hat etc. genauere Lizenzbestimmungen gibts im Downlaod.

Gruß
Gremlin

Xenon
29.02.2008, 17:37
Kann man ihn auch auf vista (x64 bit) nutzen ??

schulz3000
29.02.2008, 17:43
Ich glaub ich hab einen Fehler in der liste.php gefunden.
Und zwar wird ja hier:
$kampagnen = db_query('SELECT `tan`,`ziel`,`aufendhalt` FROM '.$db_prefix.'_gebuchte_werbung WHERE status = 1');
tan, ziel und aufenthalt abgefragt.

In der weiteren Verarbeitung wird aber auf ein Arrayfeld url zugegriffen:
$kampagne['url'] = str_replace('|','',$kampagne['url']);

muss das nicht so heißen:
$kampagne['ziel'] = str_replace('|','',$kampagne['ziel']);

???

Gremlin
29.02.2008, 17:57
Kann man ihn auch auf vista (x64 bit) nutzen ??
Probieren, aber i.d.R. schon hab kein 64bit zum testen ;).

@schulz3000
Stimmt ist mir noch garnicht aufgefallen ;) aber ist jetzt nix sooo großes weil es sehr selten eine Url mit | drin gibt ^^ aber die Änderung ist okay wie du sie schreibst.

Worka
29.02.2008, 18:34
Kann man ihn auch auf vista (x64 bit) nutzen ??

Wenn Du es ausprobierts wäre es nett, wenn Du Dein Ergebniss hier mitteilen könntest, weil ich selber leider kein 64Bit vista zum testen habe.

Xenon
29.02.2008, 20:19
Wenn Du es ausprobierts wäre es nett, wenn Du Dein Ergebniss hier mitteilen könntest, weil ich selber leider kein 64Bit vista zum testen habe.



OK mache ich gerne aber bevor ich es beim 64 teste , können irgendwelche schweren schäden auftreten oder nicht ??

Worka
29.02.2008, 20:23
Eine Garantie kann ich Dir darauf nicht geben, aber das "schlimmste" was der Spider macht, ist beim Start mal zu testen ob alle nötigen Dateien registriert sind, dazu geht der Spider die Registry durch.

Muss eine Datei rergistriert werden, so lasse ich sie das dann selber erledigen, rufe also einfach die Registrierungsroutine der Datei auf.

Wäre mir unverständlich, wenn das ein System beschädigen sollte, aber garantieren kann ich es natürlich nicht.

Xenon
29.02.2008, 20:26
Hallo ,
Hab es mal getestet und es liegt irgendwie an der regestrierung wie du gesagt hast aber leider habe ich keine ahnung wie man die regestrierung dabei macht :
http://www.vms1.de/thumbs/framebrecher spideriyg.jpg (http://www.vms1.de/?img=framebrecher spideriyg.jpg)




mfg
adi

Worka
29.02.2008, 20:32
Eigentlich solte der Spider die Datei selber registrieren aber...

Du hast im Client Ordner eine datei die RegMe.vbs heisst.
Ziehe einfach die mozctlX.dll per "Drag and Drop" auf die Datei und klicke auf "Ja"

Damit sollte die mozctl.dll registriert sein.

Also mozcltX.dll registrieren damit die mozctl.dll verwendet werden kann.
.

Xenon
29.02.2008, 20:39
Dies will er aber leider nicht zurlassen .

http://www.vms1.de/thumbs/framebrecher-spiderkuu.jpg (http://www.vms1.de/?img=framebrecher-spiderkuu.jpg)

mfg
adi

Gremlin
29.02.2008, 21:08
Hast du die Benutzerkontensteuerung angeschaltet adi? Wenn ja schalte sie mal temporär aus.

Xenon
29.02.2008, 21:24
Hast du die Benutzerkontensteuerung angeschaltet adi? Wenn ja schalte sie mal temporär aus.
Ne habe ich nicht , wie mache ich dies ??

weil ich habe überdiesen fehler code gelesen das man es per administartor ausführen könnte aber die ddl dateien kann man es nicht :dita:

mfg
adi

Gremlin
29.02.2008, 21:49
http://wiki.winboard.org/index.php/Vista_Benutzerkontensteuerung_deaktivieren

Worka
29.02.2008, 22:33
Ich hatte gerade eine Anfrage eines Users, bei dem der Spider nicht richtig läuft.

Zwei Proble traten da auf.
1. Kein Trennzeichen nach dem Aufenthalt (weiss nicht warum kann halt kein php)
2. Der FreeWebspae Anbieter hat einen IFRAME in die Serverausgabe eingebaut, welcher den Spider beim Liste auslesen iritiert.

Was das Trennzeichen angeht, so kann ich nichts machen, aber vielleicht sollte man den Anfang und das Ende der Liste vom Server markieren lassen, dann könnte der Spider einfach alles zwischen den Markierungen als Liste interpretieren und den Rest ignorieren.


Falls jemand ähnliche Probleme hat...
Dem User habe ich den Spider mal so geändert, dass der Framequelltext aus der Serverrückgabe abgeschnitten wird.
Also notfalls einfach mal fragen, das ist nur eine Zeile Code die geändert werden muss.

*Edit*
Momenatan werden alle Bugmeldungen von mir gesammelt und meisst auch sofort im Spider verbessert. Wenn mal was dramatisches Auftreten sollte, werde ich natürlich schnellstens eine verbesserte Version erstellen.
Solange es aber bei Kleinigkeiten bleibt (wie heute z.B. antatt "Java Testscript offline" wird "Java Testscipt Unbekannter Fehler" angezeigt), werde ich erst mal sammeln.

Was bisher der häufigste Fehler war ist das bei der Serverausgabe nach dem Aufenthalt das Trennzeichen nicht drangehängt wurde.

schulz3000
03.03.2008, 21:00
um das Problem mit dem | zuwenig nach dem Aufenthalt zu lösen folgendes machen:

liste.php öffnen

Suchen (ca. Zeile 17): echo implode('|',$kampagne);

und mit diesem hier ersetzen: echo implode('|',$kampagne).'|';

dies löst (zumindest bei mir) das Problem das die Kampangen nicht richtig eingelesen werden.

Koki12
03.03.2008, 21:19
Ich habe auch Vista 64Bit.

Anfangs hatt ich selben Probleme wie Adi, habe dann als Administrator Ausgefuehrt, und nu gehts.

Musste aber vorher das mit der RegMe dateu machen.

MfG;

Xenon
04.03.2008, 15:21
Also ich ahbe es grad vorhin nochmal getestet da ich zru faul war in den letzten tagen es zur tun , die einzigste schwachstelle daran ist , man muss es per administrator ausführen und dann auf akzepieren drücken und es funkioniert dann , also ich kann sagen das es auch bei mir unter x64 bit funkionierte aber ich garantiere nicht das es bei anderen pcs auch leuft .



mfg
adi :mad2:



edit : als beweis :
http://www.vms1.de/thumbs/spieder1gu.jpg (http://www.vms1.de/?img=spieder1gu.jpg)

kann man dies erweitern auf seamonkey da ich eher überwiegend mit seamonkey klicke .


mfg
adi

carlos99
04.03.2008, 20:06
Hallo

Bei mir läuft er ca. 10 Min, dann hat er ca 10 Kampagnen abgearbeitet (von über 2000).

Dann kommt die Fehlermeldung "Spider-Client.exe hat ein Problem fest gestellt und muß beendet werden"?

carlos99
04.03.2008, 20:25
2ter Versuch

http://www.vms1.de/thumbs/unbenannt2kh.jpg (http://www.vms1.de/?img=unbenannt2kh.jpg)

Wenn ich das mal so durch rechne, würde es ca 15 Stunden dauern wenn er durchlaufen würde.

Xenon
04.03.2008, 20:33
Ich würde mal sagen das liegt an deinen pc eher da es bei mir bischen schneller war , was für ne leistung hat dein pc ??

Worka
04.03.2008, 21:37
Hallo

Bei mir läuft er ca. 10 Min, dann hat er ca 10 Kampagnen abgearbeitet (von über 2000).

Dann kommt die Fehlermeldung "Spider-Client.exe hat ein Problem fest gestellt und muß beendet werden"?

Hallo
Versuche mal nur mit dem IE anstatt mit Mozilla zu Spidern und sag bitte ob das Problem noch auftritt.

Koki12
04.03.2008, 23:24
Was muss man dort eigentlich eingeben ?
Ich versteh das nicht so richtig.

PW = Adminforce PW o. das aus dieser Config Tabelle ?
Domain = Einfach Nur vollständige Domain ?

Gremlin
04.03.2008, 23:52
Das Passwort was du im Admin eingibst unter:
Banner-Spider Konfiguration
Und die Url ist die Url zu deiner Seite mit http:// sollte die in einem Unterordner liegen z.B. http://www.designerscripte.net/vms/ dann muss das auch so angegeben werden.


Gruß
Gremlin

Koki12
04.03.2008, 23:56
Ah..
Jetzt geht es ^^
Danke Gremlin :)

carlos99
05.03.2008, 02:12
Hallo
Versuche mal nur mit dem IE anstatt mit Mozilla zu Spidern und sag bitte ob das Problem noch auftritt.


http://www.vms1.de/thumbs/unbenanntl4m.jpg (http://www.vms1.de/?img=unbenanntl4m.jpg)

Das war das letzte was ich von ihm sah, dann war er wech. Ohne Fehlermeldung.

Beachte auch mal die Zeit, diesmal hätte es 34 Stunden gedauert!

Worka
05.03.2008, 02:23
Dann versuche mal den Vienscann auszuschalten, das beschleunigt den Spider auch deutlich.

Momentan habe ich keine Idee woran das wirklich liegen könnte.

*Edit*
Ich sehe gerade den Screen genauer an. Also der Spider ist ja nicht sehr schnell aber so langsam wie bei Dir sollte er definitiv nicht sein.

*Edit2*
Wenn Du mir per PN mal das Spider Passwort schicken würdest, könnte ich den Spider mal hier auf meinem PC starten und nachsehen was da nicht richtig läuft.

Gremlin
05.03.2008, 02:31
Ausserdem spiderst du nur 1 Kampagne gleichzeitig. Nehmen wir mal an das eine Kampagne 20 Sekunden aufenthalt hat dann braucht der Spider schonmal: 30 Sekunden (weil wir glaube 10 Sekunden toleranz drin hatten) für diese Kampagne um sie auf zu langsames Laden zu prüfen! Macht also pro Minute 2 Kampagnen (im Bestfalle, durch Virentest würde ich nochmal 5 Sekunden hinzurechnen da ich nicht weis wie lange der dauert) aber gehen wir mal weiterhin von 2 pro Minute aus ^^ das macht 120 in der Stunde.

Du hast in deinem Beispiel nun in 36 Minuten 35 Kampagnen getestet also circa 1 pro Minute. Vielleicht hat deine Seite einfach sehr viele Kampagnen mit hoher Aufenthaltsdauer drin. Bei diversen Seiten kursieren Banner mit 45 Sek. Aufenthalt rum vielleicht hast du hiervon welche drin.

Wenn du mehrere gleichzeitig testest geht das deutlich schneller.

Gruß
Gremlin

carlos99
05.03.2008, 10:56
Dann versuche mal den Vienscann auszuschalten, das beschleunigt den Spider auch deutlich.

Momentan habe ich keine Idee woran das wirklich liegen könnte.

*Edit*
Ich sehe gerade den Screen genauer an. Also der Spider ist ja nicht sehr schnell aber so langsam wie bei Dir sollte er definitiv nicht sein.

*Edit2*
Wenn Du mir per PN mal das Spider Passwort schicken würdest, könnte ich den Spider mal hier auf meinem PC starten und nachsehen was da nicht richtig läuft.

PN mit PW schicke ich Dir.
Ich habe es jetzt nochmal ohne Virenscan versucht, da kommt gleich am Anfang die "Spider-Client.exe hat ein Problem fest gestellt und muß beendet werden".

Ausserdem spiderst du nur 1 Kampagne gleichzeitig. Nehmen wir mal an das eine Kampagne 20 Sekunden aufenthalt hat dann braucht der Spider schonmal: 30 Sekunden (weil wir glaube 10 Sekunden toleranz drin hatten) für diese Kampagne um sie auf zu langsames Laden zu prüfen! Macht also pro Minute 2 Kampagnen (im Bestfalle, durch Virentest würde ich nochmal 5 Sekunden hinzurechnen da ich nicht weis wie lange der dauert) aber gehen wir mal weiterhin von 2 pro Minute aus ^^ das macht 120 in der Stunde.

Du hast in deinem Beispiel nun in 36 Minuten 35 Kampagnen getestet also circa 1 pro Minute. Vielleicht hat deine Seite einfach sehr viele Kampagnen mit hoher Aufenthaltsdauer drin. Bei diversen Seiten kursieren Banner mit 45 Sek. Aufenthalt rum vielleicht hast du hiervon welche drin.

Wenn du mehrere gleichzeitig testest geht das deutlich schneller.

Gruß
Gremlin

Das kam mir auch schon in den Sinn. :idea:Dann habe ich auf 6 Kampagnen gleichzeitig prüfen gestellt. Siehe da, es wurden dann pro Minute 6 Kampagnen geprüft. Mehr geht ja nicht!

Trotzdem ist ja noch das Problem, das er nach ca. 20 min sich selbst beendet.
Ich lasse jetzt nochmal einen Test laufen und melde mich dann.

*Edit*
Das wars dann auch schon, nach ca. 15 min war er wieder weg (beendet, abgebrochen?).

Worka
05.03.2008, 20:47
Hallo
Die PN habe ich bekommen, heute Abend werde ich mal nachsehen ob der Spider bei mir mit der Kampangenliste auch Probleme macht.

Wenn er wieder mit einer Fehlermeldung abstürzt, könntest Du dann mal die Zuätzlichen infos kopieren und mir schicken?
(Also in der Fehlermeldung auf "Für weitere Informationen zu diesem Fehler, klicken Sie hier" klicken)

Ich erkenne zwar kaum mehr als der normal user dadrin, aber immerhin kann es sein, dass man die Datei, die den Fehler verursacht dort findet und wenn es nicht der Spider selber ist (bzw der Spider alleine) , sonderen eine Datei die dem Spider beiliegt, kann man diese dann mal austauschen (gegen eine neuere Version).

Hardy
05.03.2008, 21:52
Also Worka ich muss dir hier mal sagen das ist wirklich eine TOP Arbeit von dir :thumbsup:
Der Spider funktioniert bei mir ohne Große Probleme...Das einzigste was mich ein wenig stört ist das er jedesmal von 0 anfängt wenn ich ihn starte so müsste ich den spider ja rund um die uhr laufen lassen damit er alle kampagnen abarbeitet...das ist aber leider nicht möglich da ich ja auch mal arbeiten und schlafen muss :nonod:

Ansonsten finde ich es klasse das du uns so ein tolles tool wofür man woanders bestimmt locker ein paar hundert euro auf den tisch legen muss einfach so kostenfrei zur verfügung stellst....das finde ich ganz große klasse von dir :thumbsup:

Worka
05.03.2008, 23:13
Danke für die Blumen!
Ich dachte mir, wenn ich schon keine Serverscripte coden kann und auch sonst nix Serverseitiges für das VMS, dann Versuche ich mal meine VB Kentnisse sinnvoll einzubringen.

Der Dank gebührt aber auch Gremlin, ohne Ihn wäre der Spider nur eine Idee.

Das mit dem von Anfang anfangen, könnte man vielleicht im Server regeln, so dass man z.B. immer nur 200 Kampangen ausgeben lässt.
Der Spider prüft die Kampangen und wenn er fertig ist, so fordert er eine neue Liste an.
Der Server könnte nun die nächsten 200 Kampangen ausgeben usw.

Aber da ich den Spider noch um ein paar Sinnvolle Optionen erweitern will, kann ich ja mal versuchen eine Option einzubauen, die es erlaubt, dem Spider eine Startposition in der Liste vorzugeben, oder die letzte position zu speichern und später dort weiterzuspidern.

Das erste was ich in Angriff nehmen möchte ist aber ein Zeitplaner, der den Spider dann zu vorgegebenen Zeiten startet und stoppt.

*Edit*
Ich werde die Tage eine neue Version an Gremlin schicken, die aber noch keine neuen Funktionen beinhaltet (nun doch ein paar), sondern erst mal kleinere Bugs behebt (z.B. Anzeige eines Unbekannten Fehlers, obwohl die Fehlerursache bekannt ist), sowie eine verbesserung des Ladezeit Tests.
Der Test sollte dann deutlich weniger abhängig von der eigenen Seitenperformance sein, was ihn zuverlässiger macht.

Hier mal eine Liste der Änderungen. Alle Änderungen werden gearde noch getestet und es ist möglich, dass ich einige Änderungen rückgängig mache, wenn Sie nicht richtig funktionieren.

-Bug fixed:
Javatestscript Offline wird nun erkannt
und als "Java Testscript: 404" angezeigt.

-Bug Fixed
Möglicher Absturz bei Verwendung der Option
"Bei Virenscan Fehler: Retry" behoben.

-Bug Fixed
Fehler behoben, der das Automatische beenden der
Meldungen der Internen Browser verhindert hat.

-Bug Fixed
Probleme beim VScan behoben

-Neu
Fehler 403 wird nun Erkannt und als
"Java Testscript: 403" angezeigt.

-Neu
Erkennung von Langsamladern ist nun weniger
von der eigenen Seitengeschwindigkeit abhängig.
Das bedeutet weniger Fehlmeldungen von
Countdownstoppern.

-Neu
Geschwindigkeit minimal verbessert.

-Neu
Option: "Spider beschleunigen"
Setzt bei allen eingelesenen Kampangen, deren
Aufenthaltszeit länger als 10 Sekunden ist,
die Aufenthaltszeit auf 10 Sekunden.

-Neu
Auswertung eines Weiteren Parameters
nach Viren Scan.

-Neu
Option: Pause/Resume
Stopt den Spider und Speichert die Liste in
eine Datei. Der Spider kann beendet werden und später
an der ursprünglichen Position der Liste weiterabarbeiten.

@carlos99
Das hier könnte für Dich interessant werden, leider ist die Option noch nicht getestet.
-Neu
Erstellung eines Bug Reports bei Absturz
(ich sehe schon klappt nicht so gut, aber ich lasse es mal drin)


...
kann man dies erweitern auf seamonkey da ich eher überwiegend mit seamonkey klicke...


Sorry dass die Antwort so lange auf sich warten liess.
Leider habe ich kein Control gefunden dass man einbauen könnte, so wie ich es gesehen habe, scheint das bei der Entwickelung auch nicht geplant.

Man könnte möglicherweise durch Header Manipulation den IE oder Mozilla als Seamonkey tarnen aber das würde dem Spider ja nichts nützen.

Xenon
06.03.2008, 15:39
Ich habe mal nachgeforscht und habe entdeckt das man vill doch den spider für seamonkey nutzen kann indem man in bei ff einschaltet also da einen hacken rein machen da seeamonkey zur der gleichen firma gehörtt

Hardy
06.03.2008, 18:04
Ich erhalte öffters folgende meldung:

The information you have entered is to be send over an enencrypted connection and could easily be read by a third party.
Are you sure you want to continue sending information?


Was kann ich dagegen machen?

Worka
06.03.2008, 19:12
Ich erhalte öffters folgende meldung:


Was kann ich dagegen machen?

Kannst Du davon mal einen Screen machen?
Eigentlich sollte der Spider alle Meldungen schliessen, die aus seinen Internen Browsern kommen.

Hardy
06.03.2008, 19:27
Jo
http://www.vms1.de/thumbs/unbenannth7d.jpg (http://www.vms1.de/?img=unbenannth7d.jpg)

Worka
06.03.2008, 19:37
Was passiert denn wenn Du die Checkbox "Alter me whenever I submit information that is not encrypted" wegklickst.

Aber ich wundere mich, das die Meldung überhaupt kommt, weil es ja bedeuten würde, dass da Informationen zu einer Webseite geschickt werden oder sehe ich das falsch?

Das kommt nicht zufälligerweise vor, sobald der Client eine neue Liste von Server anfordert?

Ich habe in der neuen Version mal eine Kleinigkeit verändert, vielleicht schafft das schon Abhilfe.

Übrigens:
Die neue Version enthält auch eine Option den Spider zu stoppen, wobei die Liste in eine Datei gespeichert wird.
Später kann man dann einfach Resumen und die Liste weiterabarbeiten.

Gremlin
06.03.2008, 19:38
@Worka
Ich gehe davon aus das dort irgendeine Firewall alarm schlägt weil der client Informationen zu den PHP Dateien vom Spider egal ob notify.php oder so schickt^^

Gruß
Gremlin

Hardy
06.03.2008, 19:40
Wenn ich den hacken weg mache dann kommt die meldung bis zum neustart des spiders nicht mehr.
Allerdings kann ich dir nicht sagen warum die meldung kommt und ob ereine liste anfordert.kommt halt immer so mittendrin beim spidern in unregelmäßigen abständen

Worka
06.03.2008, 21:33
Möglich das die Meldung tatsächlich von den internen Browsern verursacht wurde. Ich habe dort gerade noch einen kleinen Bug entdeckt, der verhindert dass Meldungen automatisch geschlossen werden.

Bin im Moment dabei das zu ändern (bzw. teste gerade ob meine Änderung funktioniert).

*Edit*
Soweit scheint alles zu funktionieren und der Spider lief bisher noch nie so zuverlässig wie im aktuellen Testlauf.

Die Option "Pause/Resume", teste ich noch ein bisschen (Prinzipiell funktioniert sie gut, muss nur mal ein paar "Sonderfälle" testen, dann bin ich fertig mit Version 1.0.0.1

*edit2*
Neue Version ist an Gremlin raus.

Worka
07.03.2008, 21:42
Mal eine Info zu der Änderung:

-Bug Fixed
Probleme beim VScan behoben

Der Spider hat einen Fehlgeschlagenen Virenscan sowohl als Virus interpretiert als auch als Fehler.
Schlug ein Virenscan fehl, so wurde die Kampange also als Virus gemeldet und zusätzlich die Fehlerbehandelung durchgeführt. (Ignore/Retry/Disable).

Der Fehler ist nun in Version 1.0.0.1 behoben.

Gremlin
07.03.2008, 22:03
Danke Worka für das Update, habe es im Downloadbereich aktualisiert. Damit ihr nicht das ganze Archiv runterladen müsst hier noch ein DL Link zur neuen .exe

http://www.designerscripte.net/vms/exe.zip

Gruß
Gremlin

Worka
07.03.2008, 23:29
Ein Bug und eine unzulänglichkeit sind mir noch aufgefallen.

1. Anzeige der abgearbeiteten und abzuarbeitenden Kampangen in % ist nicht richtig, bzw. funktioniert meisst nicht.

2. Beim Resume wird nicht automatisch die zugehörige Webseite ausgewählt, man kann also z.B. mit seiner 1. Webseite auf Pause gehen und dann die liste von Webseite 1 mit der 2. Webseite eingestellt weiterspidern.

Das werde ich noch beheben.

*edit*
Noch zwei Fehler:
3. Absturz wenn im Max Popup Feld nichts steht, also wenn man die Zahl dort löscht.

4. Eingabe einer negativen Anzahl an Max Popups möglich.

Habe die Fehler schon alle behoben, in Version 1.0.0.2 werden Sie dann nicht auftauchen.

5. Wenn man die Option "Spider beschleunigen" nutzt werden beim Pausieren des Spiders alle Kampangen mit 10 Sekunden Aufenthalt abgespeichert.
Das habe ich mal so geändert, dass der orginal Aufenthalt gespeichert wird.

Jetzt baue ich noch zwei einfache Timer ein, die den Spider nach Zeitplan arbeiten lassen. Da ich sowas noch nie gemacht habe, wird die Lösung nicht optimal aber ich werde immer mal dran arbeiten.

*Edit
Es fehlt nur noch das Auslesen der Timerdaten, wenn man welche gespeichert hat. (speichern kann man schon).
Möglicherweise kommt auch noch eine Veränderung am Serverscript, welche das auslesen der Liste aus der Serverausgabe verbessern soll.
Dabei geht da um Ausgaben, die z.B. von einigen Freewebspace Anbietern (IFRAMES) angehängt werden und welche den Spider iritieren.

Sicherheitshalber, falls das mal bei euch der Fall sein sollte und es sich um kein IFRAME sondern ein Popup handeln sollte, habe ich da auch mal verhindert, dass ein solches "aufpoppen" würde.

*Edit*
Mit Ausnahme der Serveränderung, ist jetzt alles fertig.
Ich denke es ist auch Userfreundlicher, die neue Version schon vor der Serveränderung zu veröffentlichen, da vielleicht nicht jeder User sein Serverscript uppdaten möchte.

Die neue Version (1.0.0.2) geht heute noch an Gremlin raus.

Hier noch mal die Änderungen:
1.0.0.2
-Bug fixed
Anzeige der abgearbeiteten und noch abzuarbeitenden
Kampangen in Prozent funktioniert nun richtig.

-Bug fixed
Eingabe einer negativen Anzahl von Max. Popups
ist nun nicht mehr möglich.

-Bug fixed
Absturz bei löschen des Feldes "Max. Popups" behoben.

-Bug fixed
Bei aktivierter Option "Spider beschleunigen" werden bei Pause
nun alle Kampangen mit ursprünglichem Aufenthalt abgespeichert

-Bug fixed
Fehler bei Erkennung von Langsamladern behoben.

-Bug fixed
Option Spider Beschleunigen war immer inaktiv.

-Neu
Option "+" bei "Spider beschleunigen".
Setzt die Aufenthaltszeit aller eingelesenen Kampangen
auf 5 Sekunden.

-Neu
Der Spider wählt bei Resume nun automatisch die richtige
Webseite.

-Neu
Client vorbereitet auf neue Listenausgabe der kommenden Serverversion

-Neu
Option: Timer

*Edit*
Ich habe die Serveränderung in den Clienten nun doch eingebaut, aber so dass der Client zwischen alter und neuer Version vom Serverscript unterscheiden kann und somit mit beiden laufen sollte.

*Edit*
Fehler bei der Erkennung von Langsamladern behoben. Die Änderung sollte den Spider auch minimal schneller machen.

Da ich die Änderung erst testen muss, geht der Spider erst heute Abend an Gremlin raus.

*Edit*
Ist raus.

*Edit*
Hatte noch einen Fehler, neue exe ist gestern an Gremlin raus.
Diese ist aber auch nicht Fehlerfrei. Ein Bug sorgt dafür, dass die Option "Spider bechleunigen" immer inaktiv ist, bzw. nicht beachtet wird.

Das habe ich behoben und der Spider kann nun sogar weiter bechleuningt werden, indem der Aufenthalt nun sogar auf 5 Sekunden verringert werden kann. (+ 11 Sekunden die der Spider jeder Kampange einräumt).

Auf einem vernünftigen Server und ohne Virenscann, sind nun so ca. 1000+ Kampangen pro Stunde drin (getestet in der Testarea, 1000 Kampangen pro Stunde wären 21,6 Sekunden pro Kampange, bei Verwendung von 6 Browsern).

Die neue exe schicke ich heute Abend noch an Gremlin.

*Edit*
So ist an Gremlin raus.

Ich plane noch eine Option einzubauen, die nach dem durchspidern einer Liste, in der Webseitenliste automatisch die nächste eingetragene URL wählt und dann diese Spidert und wenn diese Lise durchgespidert ist, wieder die nächste URL usw.

Da ich das wenn es fertig ist aber erst testen muss, wird dass dann in Version 1.0.0.3 kommen.
Da so viel Bugs gefixed wurden denke ich bringe ich die Version jetzt ohne die Option raus.

Da ich die Version 1.0.0.2 jetzt mal als erledigt betrachte Liste ich hier mal auf was ich dann noch in Version 1.0.0.3 einbaue. Da ich mich jetzt hauptsächlich noch um die Surfbar kümmern werde, wird es nicht sehr viel.

-Option
nach durchspidern einer Liste die URL zu wechseln (nächste URL in der Liste).
-Option
Automatisch nach start Timer aktivieren.
(Dann könnt Ihr das aktivieren und per Taskplaner die Spider-Client.exe starten und beenden.)

*Edit*
Das ist echt eine schwere Geburt.
Die exe hatte noch einen Bug. Die neue ist soeben an Gremlin raus. Sie enthält nun auch die beiden Optionen, die erst für die nächste Version geplant waren.

*Edit*
Noch schwerere Geburt. Am Timer habe ich gerade noch was geändert (verbessert).
Eine andere Änderung kommt vielleicht noch, aber da muss ich Gremlin erst mal fragen, weil er da das Serverscript ändern muss.

Insgesamt ist der Client deutlich schneller geworden!

*Edit*
Ist soeben an Gremlin raus.
Der Spider ist deutlich verlässlicher und schneller geworden. (auch deutlich schneller wenn die Beschleunigungsoptionen nicht aktiviert sind).

*Edit*
Und hatte wieder einen Fehler im Timer, der aber auch gefixed wurde.
Neue exe ist an Gremlin raus und ich sehe am besten nicht mehr in das Programm rein, ehe mir noch mehr Fehler auffallen, die das Tool verzögern ;-)

Sollte jetzt aber alles funktionieren.

Sebmaster
25.03.2008, 22:54
@worka: im neuen spider fragt er noch immer ob man das wirklich senden will...

das problem das hardliner auch hatte... scheint von mozilla zu kommen, weil ich grad nur mit dem spidere...

Mfg
Sebmaster

Worka
26.03.2008, 02:41
@Sebmaster
Wenn die Meldung bei Dir öfter erscheint, kannst Du mir mal per PN Dein Spider Passwort und deine Seiten URL schicken?

Ich würde gern versuchen die Meldung meinem Programm zuzuordnen und dann zu schliessen. (Schliessen ist kein Problem, aber das zuordnen zum Spider)

Dazu würde ich dann den Spider mit Deiner URL eingestellt bei mir laufen lassen auf die Meldung warten.

Ob sie erscheint, scheint von den Kampangen abzuhängen, weil in der Testarea tritt die Meldung nicht auf.

Wenn ich sie nur anhand ihres Titels identifiziere, dann würde der Spider die Meldung auch schliessen, wenn sie nicht vom Spider erzeugt würde, sondern von einem anderen Programm und das soll der Spider ja nicht machen.

Sebmaster
26.03.2008, 10:31
@Worka: ist raus...

//EDIT: ja liegt ziemlich sicher an den kampagnen... Die Meldung gibt es ja am anfang in jedem browser... einfach weggeklickt z.B. bei FF und se kommt nicht mehr...

Scheint dieselbe Meldung eben beim spider zu sein...

wumm33
02.04.2008, 20:35
kommt noch ne neue version zum laden?

Worka
02.04.2008, 22:41
Die Version 1.0.0.2 ist an Gremlin bereits raus.
Wer die neue Version gern schon haben möchte, kann sie aber auch von mir direkt bekommen.

Möglich, dass Gremlin am Serverscript noch was ändert, aber die neue Version ist auf diese Änderung bereits vorbereitet.

Also wer die neue Version gern haben möchte, kann entweder per PN seine Mailaddy senden, oder hier posten, dann verschicke ich den Clienten per mail. (.rar Archiv, exe einfach austauschen)

winni1
04.04.2008, 17:29
Wo sucht er die Kampangen raus nur aus vms_gebuchte_werbung oder auch vms_besuchertausch_seiten usw. ??

Gremlin
04.04.2008, 20:06
Nur _gebuchte_werbung alles andere ist nicht im Basisscript drin.

Freesnooze
05.04.2008, 17:26
ich kann die .exe nicht ausführen!
Run-time error*339*:
Componen 'mozctl.dll' or one of its dependencies not correctly registered: a file is missing or invalid