Squid grafisch auswerten

[Carpeventum]

Hallo zusammen,

bezüglich eines Einzelfalls würde mich interessieren, wie man die von Intranator generierten squid logs grafisch auswerten kann. Sawmill, ein Tool welches ich getestet habe, kann das syslog Format der Logdatei leider nicht erkennen und liefert ein leeres Ergebnis, es erkennt allerdings richtig, dass es sich um eine squid log handelt. Alternativ bietet es mehrere Formate zur manuellen Auswahl an, leider habe ich bisher noch nicht das richtige herausfinden können.
Sind andere ggf. kostenfreie Tools bekannt und in welchem Format sind die Intranator squid logs generiert?

Vielen Dank!

[Gerd von Egidy]

Hallo,

eigentlich brauchen Sie dafür kein externes Programm, der Intranator kann seit Version 5.1.0 die Proxy-Statistiken auswerten. Die Auswertungen finden Sie unter Information > Statistik > Proxy. Evtl. müssen Sie die Erzeugung von Proxy-Statistiken vorher unter Information > Statistik > Einstellungen aktivierten.

Herzliche Grüße,

v. Egidy

[Carpeventum]

Hallo Herr v. Egidy,

nachweislich zeigt diese Statistik nicht das an, was an anderer Stelle für den Intranator gemessen wurde. Zudem sind daraus Informationen über einen bestimmten Zeitbereich (z.B. 2-3h) nicht ersichtlich, daher die Frage nach so einem Tool.

Vielen Dank!

[Gerd von Egidy]

Hallo,

nachweislich zeigt diese Statistik nicht das an, was an anderer Stelle für den Intranator gemessen wurde.

Können Sie das etwas genauer beschreiben? Was und wie haben Sie gemessen und was ist dann beim Intranator anders gewesen?

Zudem sind daraus Informationen über einen bestimmten Zeitbereich (z.B. 2-3h) nicht ersichtlich, daher die Frage nach so einem Tool.

Die Statistik für einen Rechner oder einen Benutzer zeigt an, in welchem Zeitraum die Zugriffe stattgefunden haben. Sie können das bis auf Stundenebene genau ansehen. Dies können Sie auch noch auf die einzelnen Webseiten eingrenzen.

Herzliche Grüße,

v. Egidy

[Carpeventum]

Zwischen WAN und Intranator wurde gemessen, dass innerhalb von 24h der Proxy 1,6GB von ardownload.adobe.com heruntergeladen hat - dies wird z.B. in der Intranator-Statistik überhaupt nicht angezeigt.

[Gerd von Egidy]

Hallo,

das Proxy-Log des Intranators enthält nur Zugriffe, die entweder erfolgreich abgeschlossen oder vom Server mit einem Fehlercode beantwortet wurden. Wenn der Benutzer mitten im Transfer abbricht wird dies nicht protokolliert.

Mit dem Adobe Downloader hatten wir schon einigen Ärger, das Ding ist extrem aggressiv. Sobald auch nur für sehr kurze Zeit keine weiteren Daten kommen, bricht der den Download ab und startet einen neuen. Dadurch können in kürzester Zeit riesige Download-Volumen zusammenkommen sowie Leitungen und Server überlastet werden.

Die ganzen abgebrochenen Versuche erscheinen also nicht in den Proxylogs des Intranators. Sie können daher auch von keinem externem Log-Auswertungstool ausgewertet werden.

Bedanken Sie sich bei Adobe...

Herzliche Grüße,

v. Egidy

[Carpeventum]

Hallo Herr v. Egidy,

dann stellt sich mir als Administrator die Frage, warum diese nicht ganz unwichtige Information vom Intranator nicht mitprotokolliert wird - an anderer Stelle aber zusehen ist, wenn auch sehr umständlich und ohne hübsche Auswertung, dass der Proxy von dieser Seite geladen hat? Gibt es noch weitere Anwendungen mit typisch hohem Daten-Volumen, die bekannterweise nicht mitprotokolliert werden?

Wie sieht es mit Skype aus?


Vielen Dank!

[bjoerns]

Hallo,

mein Kollege hat diese Frage eigentlich schon implizit beantwortet. Der Proxy Server des Intranators, "squid" bringt in seiner Logdatei nur "Zugriffe, die entweder erfolgreich abgeschlossen oder vom Server mit einem Fehlercode beantwortet wurden." Die Statistik über das gesamte up/download Volumen wird von einem anderen Dienst abgefragt, der nicht mit dem Proxy interagiert. Deshalb ist das leider nicht möglich :-(.

MFG Björn

[Carpeventum]

Hallo,

die Zeile habe ich wohl gelesen, mich interessiert der technische Hintergrund, warum nur abgeschlossene Downloads geloggt werden - oder ich habe die Aussage Ihres Kollegen falsch verstanden.
Kann man den squid entsprechend anpassen? Wenn so eine Abhängigkeit einen gemessenen Wert um einige Hundert Megabyte ungenauer machen würde, dann wäre das ja nicht so schlimm, aber hier wurden in 24h 1,6GB "unterschlagen", das ist ja schon eine andere Hausnummer, die eben zu den genannten Problemen führen kann. Letztlich stellt man sich dann eben weitere Fragen darüber, was noch unbemerkt über den Proxy laufen könnte, ohne dass es in irgendeiner Log-Datei auftaucht - was technisch für einen Proxy eigentlich nicht sein sollte.

[Gerd von Egidy]

Hallo,

so, ich habe das Thema jetzt nochmal genauer recherchiert: nur beim Intranator vor Version 5.1.2 werden die abgebrochenen Downloads nicht protokolliert. Danach werden die abgebrochenen Downloads protokolliert, und zwar mit der Anzahl an Bytes, die zum Client übertragen wurden. Letzteres muß aber nicht unbedingt die Anzahl an Bytes sein, die der Proxy vom Server empfangen hat.

Jetzt kann es 3 Gründe geben, warum diese Diskrepanzen bei Ihnen auftreten:

1. Zum Zeitpunkt des Problems war Version 5.1.1 oder älter installiert

2. Die Adobe-Updater laufen nicht über den Intranator-Proxy sondern direkt

3. Sie haben den Web-Content-Filter oder Proxy-Antivirus aktiviert und die vielen Downloads haben diese Module überlastet. Dadurch wurden die Downloads zwar von Adobe gemacht, konnten aber nicht an den Squid weitergeleitet werden, da sich die Daten bei den vorgeschalteten Filter-Module gestaut haben. Die Protokollierung der Downloads für die Auswertung muß beim Squid stattfinden, da nur dieser den Client/Benutzer kennt, der den Download initiiert hat.

Herzliche Grüße,

v. Egidy

[Carpeventum]

Hallo Herr v. Egidy,

vielen Dank für die Erklärung des Hintergrundes.
Zum Zeitpunkt war bei uns die Version 5.1.3 im Betrieb und der Download kann nicht direkt erfolgt sein. Bleibt nach Ihrer Erklärung nur Punkt 3 als Möglichkeit. Generell wird die Seite adobe.com nicht als Downloadquelle gelistet - in so einem Falle wäre doch wahrscheinlich, dass wenigstens Fragmente oder vorherige Daten weggeschrieben wurden.