non-blocking sockets - HTTP - Client-Seitig

dachschaden

tntnet schrieb:

Möglichkeit 2: HTTP/1.1 mit Content-Size: Da steht tatsächlich die Anzahl der Bytes vom Body im Header. Dann kannst Du Dich darauf verlassen.

Nein, kannst du nicht. Sende ich zu wenig Bytes, blockiere ich damit zumindest den ~~Socket~~ Thread. Sende ich zu viele Bytes, kann ich bei mangelhafter Programmierung (die ich durch deine Aussage bereits in meinem Kopf inspiriert sehe) einen Overflow erzeugen.

Unabhängig davon kann es sein, dass du zu wenig Daten bekommst, weil gerade die Verbindung mies ist oder so. Oder der Server unterstützt Pipelining und sendet mehrere Antworten in einem Batch. Deswegen: NICHT verlassen. Nimm die Content-Length (nicht Content-Size!) als Hinweis darauf, wie viele Bytes da ankommen müssen, aber verlasse ich nicht darauf, exakt diese Menge zu bekommen. Sonst kommst du schneller in Teufels Küche, als uns allen lieb ist.

tntnet schrieb:

In keinem Fall brauchst Du not blocking Sockets.

Stimmt so auch nicht ganz. Gerade das select bei Linux ist radioaktive Ebola-Beulenpest in Tüten - da können fehlerhafte OOB-Daten ("Rauschen") die Funktion zurückkehren lassen, aber ein späterer read blockiert dann wieder. Wird so auch von den Kernel-Leuten verteidigt, der Geschwindigkeit wegen. Fix: mach doch einfach deinen Socket non-blocking!

Kommt halt darauf an, wie sehr du um eine kaputte Funktion rumarbeiten willst.

tntnet schrieb:

Außer Dein Client will auf Timeouts reagieren, also für den Fall vorbereitet sein, dass der Server aus irgendeinen Grund nicht antwortet.

Passiert auch so selten, wa?

tntnet schrieb:

Ich empfehle natürlich meine cxxtools. Kannst aber auch libcurl oder Poco oder was auch immer nehmen.

Habe mir mal den Code kurz angeschaut. Verwendet Streams zum Buffern, und die sind natürlich auch privat. Man kann also nicht eigenen Speicher angeben, der nach Möglichkeit noch erweitert werden kann. Relokation ist daher sehr wahrscheinlich auch mit einer Kopie verbunden.

deflate/gzip-Dekodierung wird nicht unterstützt? Denn de-chunken ohne weitere Kopie?

Also so ganz überzeugt bin ich ja nicht ...

tntnet

dachschaden schrieb:

deflate/gzip-Dekodierung wird nicht unterstützt? Denn de-chunken ohne weitere Kopie?

Also so ganz überzeugt bin ich ja nicht ...

Ist deine Muttersprache deutsch? :p

Na Dich muss ich ja nicht überzeugen Ich kann damit leben, dass Du mein Code nicht gut findest.

dachschaden

tntnet schrieb:

Ist deine Muttersprache deutsch? :p

In der Tat. Die Datenpakete bei "Transfer-Encoding: chunked" werden nun mal "Chunks" genannt, das Entfernen der Chunk-Header ist daher das "de-chunken".

Dass man sich auf irgendwelchen Werten nicht "basieren" sollte, habe ich allerdings noch nie gehört. Der korrekte Ausdruck wäre hier "festlegen" oder "vertrauen".

Und das "denn" leitet eine zweite Frage ein, wenn man die erste Frage negativ beantwortet erwartet.

tntnet schrieb:

Na Dich muss ich ja nicht überzeugen Ich kann damit leben, dass Du mein Code nicht gut findest.

Ja, ein Glück, dass das Runterschrauben der eigenen Ansprüche so leicht geht. Nicht auszudenken, wenn da ordentliche Arbeit hinterstehen würde.

tntnet

tntnet schrieb:

dachschaden schrieb:

deflate/gzip-Dekodierung wird nicht unterstützt? Denn de-chunken ohne weitere Kopie?

Also so ganz überzeugt bin ich ja nicht ...

Ist deine Muttersprache deutsch? :p

Wie wäre es, wenn Du ganze und möglicherweise sogar verständliche Sätze schreiben würdest? "Denn de-chunken ohne weitere Kopie?" verstehe ich als Satz schon gar nicht. Ich weiß echt nicht, was Du damit meinst.

Und wenn "Anspruch runter schrauben" bedeutet, dass ich ausgerechnet Dich nicht überzeugen muss, dann sei es so.

dachschaden

tntnet schrieb:

Wie wäre es, wenn Du ganze und möglicherweise sogar verständliche Sätze schreiben würdest?

Du bist der erste, der sich darüber beschwert hat. Ich gehe daher davon aus, dass es deine Deutschkenntnisse sind, die hier mangelhaft sind.

tntnet schrieb:

"Denn de-chunken ohne weitere Kopie?" verstehe ich als Satz schon gar nicht. Ich weiß echt nicht, was Du damit meinst.

Für den Fall, dass es am Deutsch hapert: siehe oben.

Für den Fall, dass dir der Umstand nur nicht bewusst ist: damit meine ich, ob dein Code es schafft, die Chunk-Header zu entfernen, ohne dass du dafür ein neues Feld alloziieren musst?

tntnet schrieb:

Und wenn "Anspruch runter schrauben" bedeutet, dass ich ausgerechnet Dich nicht überzeugen muss, dann sei es so.

Also, was denn jetzt? Wenn man eine eigene Library schreibt, die man dann noch anderen empfiehlt, dann muss diese mehrere objektive Voraussetzungen erfüllen:

1. Die Interfaces müssen offensichtlich sein.
2. Es muss einfacher sein, die APIs richtig zu benutzen, als sie falsch zu benutzen.
3. Die Implementation darf keine Zweifel lassen, dass "ich mach das mal schnell von Hand" keine Vorteile und nur Nachteile hat.
4. Insbesondere muss die Performance besser sein, als man das mal eben selber hingekriegt hätte.

Nummer 1 sehe ich hier nicht gegeben - was alleine der Konstruktor verbricht, habe ich bereits geschrieben.
2 - habe ich nicht geprüft, lasse ich also offen.
3 - auch hier wieder deine Konstruktoren. Wo ich sogar vor zwei Posts geschrieben habe, was man besser hätte machen können.
4 - und auch hier wieder, deine Konstruktoren. Was meinst du, warum ich die als Beispiel genommen habe?

Es gibt nur einen Grund, warum man deinen Code verwenden sollte, und der ist, dein Ego zu befriedigen. Und genau darum geht es hier - dein Ego, welches sich einredet, dass deine Library gut genug ist. Weil du auf halben Weg gesagt hast, dass es schon gut genug sein wird. Warum sonst lässt du diese Eiterbeulen da drin und empfiehlst sie dennoch?

Ich brauche deinen Code nicht. Dein Code ist mir komplett egal. Ich habe meinen eigenen, den ich aber nicht Leuten empfehle. Aber wenn du anfängst, anderen deinen Code zu empfehlen, und dann sind dieses Eiterbeulen da drin, dann hörst du den Donner von mir. Vor allem dann, wenn meine Kritik mit "es muss dir aber nicht reichen!1!!" beantwortet wird.

"Streamobjekte reiche ich derzeit nicht durch, könnte ich beizeiten mal einfügen" - bamm, bin ich schachmatt.
"Speicherallokationen in C++ sind scheiße, wenn man was ordentliches haben will, ist das halbes C und man wird dafür ausgebuht. Deswegen geht Relokation nur mit Kopie" - kann ich verstehen. Sogar gut. Hätte ich auch keine Munition gegen.
"Ich könnte den Speicher, in dem der Content drin ist, behalten und Chunk-Header einfach mit memmove überschreiben" - genau das mache ich auch. Keine weitere Kopie. Kann wahrscheinlich direkt im CPU-Cache gemacht werden und sollte rasendschnell gehen.

Stattdessen bekomme ich die Antwort, dass du dir "ist schon gut genug" herbeihalluzinierst. Aber dann anderen es empfehlen. Warum ich darauf so rumreite? Weil Anfänger keinen Plan davon haben, wie gut Code ist. Passiv anbieten - kann man machen. Aktiv empfehlen - nur dann, wenn die obigen Kriterien erfüllt sind.

Niemand geht los, um langsame Software zu schreiben. Aber auf dem Weg brechen viele Leute ab, weil ihnen gesagt wird, die Dinge seien "schnell genug". Oder weil sie es sich selbst sagen.

tntnet

dachschaden schrieb:

tntnet schrieb:

"Denn de-chunken ohne weitere Kopie?" verstehe ich als Satz schon gar nicht. Ich weiß echt nicht, was Du damit meinst.

Für den Fall, dass es am Deutsch hapert: siehe oben.

Für den Fall, dass dir der Umstand nur nicht bewusst ist: damit meine ich, ob dein Code es schafft, die Chunk-Header zu entfernen, ohne dass du dafür ein neues Feld alloziieren musst?

Also gut. Ein deutscher Satz besteht in der Regel aus einem Subjekt, Prädikat und Objekt.

"Denn de-chunken ohne weitere Kopie?"

Also "de-chunken" ist ein Verb. Das ist wohl das Prädikat. "ohne weitere Kopie" sieht aus, wie ein Objekt. Ach ich verstehe diesen Satz einfach nicht. Der ist mir wohl zu schwer. Na dann entschuldige ich mich für meine mangelnden Deutschkenntnisse. Und dafür, dass ich meine Library empfohlen habe.

cxxtools::http::Client client("www.tntnet.org", 80);
   std::string indexPage = client.get("/");

Ich habe mir Mühe gegeben, das Interface so einfach wie möglich zu gestalten. Ich weiß nicht, wie ich das vereinfachen könnte. Da fehlen mir wohl die Deutschkenntnisse.

Ich danke für Deine ausführliche Kritik an meinem Code. Ich werde es in meinen zukünftigen Projekten beachten. Insbesondere werde ich zukünftig nicht mehr einfach so unbedacht de-chunken.

dachschaden

tntnet schrieb:

Also gut. Ein deutscher Satz besteht in der Regel aus einem Subjekt, Prädikat und Objekt.

Ja, genau. Jetzt misch noch Haupt- und Nebensätze in einen Pott. Ist ja nicht so, dass sie einem im Deutschunterricht jede Woche eintrichtern, dass Nebensätze ohne auf sie referenzierende Hauptsätze nicht alleinstehen können. Dass du dies nicht weißt, ist ja nicht mal mit Abendschuldeutsch zu erklären; das muss komplette Arbeitsverweigerung gewesen sein.

Also, jetzt mal Deutsch für Hauptschüler: Der Hauptsatz ist hier:

"deflate/gzip-Dekodierung wird nicht unterstützt?"

, welcher außerdem eine Frage ist. Präsenz Passiv, "unterstützen" ist das Verb hier.

Der Nebensatz ist:

"Denn de-chunken ohne weitere Kopie?"

Würde man ihn in seinen eigenen Hauptsatz umwandeln, wäre dieser:

"Wird denn de-chunken ohne weitere Kopie unterstützt?"

Wenn man kein Sprachgefühl besitzt, dann stört es einen natürlich nicht, dass das gleiche Verb in zwei aufeinanderfolgenden Sätzen verwendet wird, ohne dass hierbei eine rhetorische Wirkung beabsichtigt ist:

"deflate/gzip-Dekodierung wird nicht unterstützt? Wird denn de-chunken ohne weitere Kopie unterstützt?"

Und ich verstehe auch, dass es eine Doktorarbeit in fortgeschrittener Germanistik benötigt, um zu begreifen, dass man Konjugationen im Deutschen weglassen kann, solange die Relation von Haupt- und Nebensatz deutlich ist. Mit einer Konjugation wäre diese:

"deflate/gzip-Dekodierung wird nicht unterstützt, genauso wie de-chunken ohne weitere Kopie?"

Aber anscheinend kann bei dir der Fokus des Hauptsatzes nicht erhalten werden, wenn es einen Punkt zwischen beiden Sätzen gibt. Aber selbst Abendschulverweigerer sollten erkennen, dass Haupt- und Nebensätze getrennt sein können, solange nur der Nebensatz auf den Hauptsatz referenziert:

"deflate/gzip-Dekodierung wird nicht unterstützt? Genauso wie de-chunken ohne weitere Kopie?"

Die besondere Ironie ist, dass ich des öfteren Rechtsschreibfehler tippe. Auf diesen hättest du, zwar ein wenig kleinlich, aber wenigstens berechtigt rumreiten können. Aber wer nie ein ordentliches Sprachgefühl entwickelt hat, der würde diese wahrscheinlich auch gar nicht erkennen.

tntnet schrieb:

cxxtools::http::Client client("www.tntnet.org", 80);
   std::string indexPage = client.get("/");

Wo gebe ich den Buffer für das HTTP-Header-Array? Werden die Header vordefiniert? Kann ich zwei Arrays angeben, einmal mit den Namen, dann mit den Werten, die beim HTTP-Request gesendet werden sollen? Habe ich präzise Kontrolle darüber, in welcher Reihenfolge welche Header in den Socket geschrieben werden (wichtig für Fingerprints von Browsern)?

Was ist, wenn ich mich mit einem Host verbinden will, der mehrere virtuelle Hosts beherbergt? Wo ist das obligatorische Statusobjekt, in dem die Daten des Sockets reingeschrieben werden? Kann ich eine maximale Responsegröße anlegen? Warum muss ich Domain und Port beim Konstruktor angeben? Was, wenn das Objekt nicht angelegt werden konnte, weil z.B. gerade keine Verbindung besteht? Exceptions? Ernsthaft? Also Objekt auf dem Heap erstellen, Stack rewinden, Objekt auflösen?

Was ist mit mehreren Namenstabellen? Wenn ich jetzt zum Beispiel will, dass mehrere Clients sich die gleichen Auflösungen teilen? Wenn das OS intelligent ist, wird gecacht, aber getaddrinfo ist sehr kaputt (benötigt freeaddrinfo ... ernsthaft jetzt?).

Wie steht es mit deinem de-gzipper aus? Werden Daten größer als 4 GiB unterstützt?

Was ist mit dynamischen HTTP-Header-Daten? Sagen wir mal, wenn du Content-Disposition[c] baust. Oder [c]Content-Length . Heap, wahrscheinlich, oder? Ohne Möglichkeit, meinen eigenen Buffer zwischenzuklemmen?

Was, wenn ich über einen transparenten Proxy reingehen will/muss? Kann ich ein Protokoll angeben, über das versucht wird, mit dem Proxy zu reden? Kann ich auch meinen eigenen Socket verwenden lassen? Wie steht's mit Pipelining? Wie oft verwendest du komplett unnötig new und delete ?

Was ist, wenn du Daten (Plural von Datum) schreiben musst? strftime oder eine Funktion, die sie abkapselt?

tntnet schrieb:

Ich habe mir Mühe gegeben, das Interface so einfach wie möglich zu gestalten.

Du hast die Funktionalität stark eingeschränkt, um das Interface einfach halten zu können, ohne viel Arbeit reinzustecken. Wenn du auch nur bei 50% meiner Fragen sagen kannst, dass das von dir exportierte Interface diese Sachen einfach und intuitiv erlaubt, dann fresse ich einen Besen.

tntnet schrieb:

Ich weiß nicht, wie ich das vereinfachen könnte. Da fehlen mir wohl die Deutschkenntnisse.

Nee, die fehlen dir noch dazu.

tntnet

Dann sage ich das mal so: Ich war früher recht aktiv hier im Forum. Es hat mir Spaß gemacht. Aber wegen solchen Kommentaren habe ich Abstand davon genommen.

Ich habe versucht, den Fragesteller eine einfache Antwort zu liefern, womit er eventuell etwas anfangen kann. Aus seiner Frage entnehme ich, dass er nicht der Vollprofi ist, der sich mit Allokationen und was auch immer auskennt.

Leider bekommt er als Reaktion eine Frage, ob er denn überhaupt ausreichend Deutschkenntnisse halt. Schade. Das wird ihn wohl nicht wirklich motivieren.

Ich bekomme auf meinen Kommentar mit dem unbedachten Hinweis, dass ich so was schon mal gemacht habe und meine Lösung auch einsehbar ist die nächste Breitseite. Mein Code wäre schlecht.

Du erwartest jetzt wirklich, dass ich da anfange, meinen Code zu verteidigen? Wenn jemand echtes Interesse an meinem Code zeigt, bin ich gerne bereit, darüber zu diskutieren. Aber wenn ich so angegriffen werde, dass das doch alles sehr dürftig ist, dann lass ich es eben.

Ich könnte die eine oder andere Frage von Dir beantworten. Ich lasse es lieber, da Du nicht den Eindruck machst, als hättest Du echtes Interesse.

Wenn Du meinen Code richtig schlecht findest, dann ist das eben so. Das ist völlig in Ordnung. Wenn Du meine Deutschkenntnisse bemängelst, dann ist das auch ok. Ich komme hier mit meinen Deutschkenntnissen gut zurecht. Übrigens ist meine Muttersprache tatsächlich nicht deutsch, aber das ist egal.

Und jetzt denke ich, sollten wir es dabei belassen. Das hat schon lange nichts mit Linux zu tun.

Ja chillt doch mal eure Nippel.

Meine Frage wurde an sich beantwortet, ich muss entweder mit Timeouts arbeiten oder ich parse die Response Stück für Stück und hör halt dann auf, wenn alles angekommen ist.

Auf die Content-Length darf man sich nicht basieren, die muss nicht mitgeschickt werden und hab auch schon erlebt, dass die um einige Bytes ungenau war.

Eigentlich bin ich recht zufrieden mit curl und Boost.Asio, ich dacht mir doch bloß, dass ich meinen Penis mal etwas tiefer in Sachen Netzwerkeln dippe und selbst was bau.

Aber ich bleib dann doch noch lieber bei Boost.Asio, weil mich das mit dem State-Objekt bis jetzt noch ein wenig verwirrt, bzw. noch nicht so richtig darauf gekommen bin eine Parsing-Routine einfach mal so in der Mitte zu pausen und sie danach - wenn mehr Daten da sind - genau an der selben Stelle wieder weiterzuparsen. Also zumindest was der Response-Body angeht (das, was nach dem Header kommt).

tntnet, ich hab mir die Lib nicht angesehen, aber mit den zwei Zeilen kommt man ja schon ziemlich schnell an sein Ziel. Was du noch machen könntest, wäre weiter zu abstrahieren. Mach aus deinem Client ein "HttpRequest" und leite dann weitere Klassen ab, die spezifischer sind (GetRequest, PostRequest, HeadRequest, etc.).

Dann würde ich noch ein Template daraus machen, damit du einen Aggregat des Response-Buffers in deiner Client-Klasse hast. Dann musst du dir halt noch einige Helfer-Funktionen schreiben, die das direkt vom char* aus in die gewünschte Struktur kloppt. Spezialisierte Funktoren würde ich da verweden. Eine Kopie damits zur richtigen Struktur geformt wird, wird man ja wohl noch machen dürfen.

Wie wärs mit... *reinpfusch*:

std::string buffer;
cxxtools::http::get_request<std::string> request(buffer, url, port);
request.rattern();
std::cout << "pluff: " << buffer;

dachschaden

tntnet schrieb:

Dann sage ich das mal so: Ich war früher recht aktiv hier im Forum. Es hat mir Spaß gemacht. Aber wegen solchen Kommentaren habe ich Abstand davon genommen.

Du meinst, weil Leute einen nicht mehr mit jedem Scheiß davonkommen lassen? Ja, traurig. Weil Kritik ja auch auf keinen Fall anregen kann, es besser zu machen ...

Außerdem verstehe ich den Wert eines Fachforums durch seine Größe nicht. Wenn man Größe dadurch erkauft, dass keine Kritik mehr geäußert werden kann, dann bleibe ich lieber ganz weg.

Sorry, da hättest du deinen Post genauso gut mit "Aber meine Gefühle ..." beginnen können. Dann wäre es wenigstens offensichtlich gewesen.

tntnet schrieb:

Leider bekommt er als Reaktion eine Frage, ob er denn überhaupt ausreichend Deutschkenntnisse halt. Schade. Das wird ihn wohl nicht wirklich motivieren.

Was glaubst du, wie egal mir das ist?

Es ist nichts schlimmes daran, kein Muttersprachler zu sein. Nur ein Hinweis am Anfang wäre schön gewesen, damit man weiß, dass man hier tatsächlich Nachsicht üben kann.

Und wenn er tatsächlich Muttersprachler ist, dann ist das ein Wink mit dem Zaunpfahl, dass er keine Wörter verwenden soll, die er nicht kennt. Letztens erst hier jemanden gesehen, der realloc verwenden wollte, aber "implementieren" schrieb. Und wenn du den Leuten nicht unmissverständlich klar machst, dass das Blödsinn ist, dann machen die das wieder hier.

Wenn sie dann abhauen, dann machen sie das vielleicht wieder - aber zumindest nicht hier. In beiden Fällen gewinne ich. Ganz einfach.

tntnet schrieb:

Ich bekomme auf meinen Kommentar mit dem unbedachten Hinweis, dass ich so was schon mal gemacht habe und meine Lösung auch einsehbar ist die nächste Breitseite. Mein Code wäre schlecht.

Das habe ich nicht geschrieben.

Da mache ich mir die Mühe, lade deinen Code runter, schaue ihn mir ein bisschen an und mache Anmerkungen. Ich stelle Fragen. Das "Also so ganz überzeugt bin ich ja nicht ..." wäre die ideale Einleitung für dich gewesen - du schließt sie für dich ab mit einem Gefühlstrip. Anstatt darauf einzugehen - oder einfach nur zu sagen: "Ja, hast recht" - implizierst du, dass subjektive Kriterien wichtiger sind als objektive.

Geht's noch?

tntnet schrieb:

Du erwartest jetzt wirklich, dass ich da anfange, meinen Code zu verteidigen?

Nicht mehr. Die echte Chance dazu hattest du. Wegen deinem Ego-Trip hast du sie verspielt.

tntnet schrieb:

Wenn jemand echtes Interesse an meinem Code zeigt, bin ich gerne bereit, darüber zu diskutieren. Aber wenn ich so angegriffen werde, dass das doch alles sehr dürftig ist, dann lass ich es eben.

Manchmal denke ich mir: so oft, wie du bei anderen Halluzinationen siehst - kann das nicht sein, dass du ihnen auch unterliegst?

Aber das Gute an einem Forum ist, dass die Sachen da niedergeschrieben sind. Da kann man verlinken. Zitieren. Man kann noch mal seine eigenen Worte durchlesen.

Also, ja, du halluzinierst gerade. Fett.

tntnet schrieb:

Ich könnte die eine oder andere Frage von Dir beantworten. Ich lasse es lieber, da Du nicht den Eindruck machst, als hättest Du echtes Interesse.

In der Sekundarstufe würde ich sowas mit "Renn' heim zu Mutti!" kommentieren.

Aber wir sind ja erwachsen. Also, Hände auf den Tisch: ich habe echtes Interesse daran, was dein Interface so kann. Beantworte die Fragen. Ich werde sie mir durchlesen.

tntnet schrieb:

Wenn Du meinen Code richtig schlecht findest, dann ist das eben so. Das ist völlig in Ordnung.

Und wieder, Halluzinationen.

Wo habe ich geschrieben, dass ein Code schlecht ist? Was ich geschrieben habe, war:

dachschaden schrieb:

Ja, ein Glück, dass das Runterschrauben der eigenen Ansprüche so leicht geht. Nicht auszudenken, wenn da ordentliche Arbeit hinterstehen würde.

Das hat per se nichts damit zu tun, was ich vom Code halte, sondern von der Arbeitseinstellung, die ich bei diesem Code zu sehen geglaubt habe. Und bei dieser Arbeitseinstellung würdest du auch zögern, das einfach mal so zu verwenden ... wenn man meine (zugegebenermaßen hohe) Erwartungshaltung mit der tatsächlichen Codequalität proportional verringern würde.

tntnet schrieb:

Wenn Du meine Deutschkenntnisse bemängelst, dann ist das auch ok. Ich komme hier mit meinen Deutschkenntnissen gut zurecht. Übrigens ist meine Muttersprache tatsächlich nicht deutsch, aber das ist egal.

Dann hoffe ich, dass du durch meine (übertriebenen) Post etwas gelernt hast. Dennoch tut mir der letzte Post Leid. Du wusstest nicht, dass ich Muttersprachler bin, und ich wusste nicht, dass du's nicht bist.

Nun erstmal back to topic ...

Blockade schrieb:

Meine Frage wurde an sich beantwortet, ich muss entweder mit Timeouts arbeiten oder ich parse die Response Stück für Stück und hör halt dann auf, wenn alles angekommen ist.

Nein! Du musst beides machen:

dachschaden schrieb:

An der Syntaxprüfung kommst du nicht vorbei. An der Syntaxprüfung kommst du nicht vorbei! Musst du machen. Also zuerst ENAPI, damit du bei zu langen Durststrecken abbrechen kannst, und dann Syntaxprüfung, damit du weißt, wann die andere Seite tatsächlich nix mehr zu sagen hat.

Und nach diesem Absatz - wie hätte ich das noch genauer formulieren sollen? Oder gilt hier nur: "Aus den Augen, aus dem Sinn", und ich hätte ich es in deinen Bildschirm brennen sollen?

Blockade schrieb:

Auf die Content-Length darf man sich nicht basieren

OK, jetzt bist du nur ein lernunwilliger Ignorant. Schönes Wochenende noch.

Dude wo ist dein Scheißproblem.

Du hast selbst all die Nachteile der Content-Length aufgelistet.

Dass die Antwort vom Server geparst werden muss ist hier jedem klar. Wie man das gleichzeitig anstellt (Chunk empfangen -> Parse-Routine wieder zum leben erwecken -> wiederhole) war hier die Frage.

dachschaden

Blockade schrieb:

Dude wo ist dein Scheißproblem.

Dein Duktus, dein Textverständnis oder deine Lernunwilligkeit. Eines von den Dreien. Such's dir aus.

Blockade schrieb:

Du hast selbst all die Nachteile der Content-Length aufgelistet.

... was?

Es geht hier doch nicht um Chunked-Transfer vs. Content-Length. In der Hinsicht ist Chunked-Transfer noch um einige Ecken beschissener als Content-Length, weil du bei Chunked-Transfer Daten nicht einfach so dumpen kannst. Wenn ich bspw. einen HTTP-File-Server schreiben wollen würde, dann würde ich der Einfachheit und Schnelligkeit wegen sendfile (Linux) / TransmitFile (Windows) verwenden, weil ich mir so die Kopie von Kernelspace in Userspace (Lesen der Datei) und die Kopie von Userspace in Kernelspace (Schreiben der Datei in den Socket) spare.

Glaubst du, bei Chunked-Transfer kommen die HTTP-Daten genauso rein, wie die Chunks aufgeteilt werden? Der erste read/recv also die HTTP-Header, und dann jedes Mal einen Chunk? Oder in der Richtung? Probier's aus. Würde mich sehr stark wundern, wenn das klappen sollte - dazu bräuchte der Kernel nämlich einen HTTP-Parser (und ja, ich weiß, dass MS ihren Parser bei IIS in den Kernel getan hat).

Wenn ich sage, du sollst dich nicht auf Content-Length verlassen, dann aus den gleichen Gründen, aus denen du dich nicht auf die Länge in den Chunk-Headern verlassen solltest. Weil auch mal zu wenig oder zu viel ankommen kann. Warum, habe ich bereits erläutert. Das Prinzip ist vergleichbar bei Heartbleed gewesen - der Ping dort konnte größer sein als der Payload, und der Pong konnte dann (1 << 16) - 1 Bytes an Fremddaten beinhalten. Wenn du genug hast, breche ab. Sag recv nicht, wie viel HTTP-Daten du noch erwartest, sondern wie viel du noch speichern kannst.

Blockade schrieb:

Dass die Antwort vom Server geparst werden muss ist hier jedem klar.

Ach?

Blockade schrieb:

ich muss entweder mit Timeouts arbeiten oder ich parse die Response Stück für Stück und hör halt dann auf, wenn alles angekommen ist.

Hört sich für mich so an, als ob du nur eines machen wolltest, während ich gesagt habe, dass du beides machen musst.

Blockade schrieb:

Wie man das gleichzeitig anstellt (Chunk empfangen -> Parse-Routine wieder zum leben erwecken -> wiederhole) war hier die Frage.

my_result_code mrc;

do
{
    /*Syntaxüberprüfung für Pipelining.*/
    mrc = my_http_syntax_checker();

    if(mrc == MY_RESULT_CODE_ERROR)
    {
        /*Muss abgebrochen werden.*/
    }

    if(mrc == MY_RESULT_CODE_OK)
    {
        /*Muss anders abgebrochen werden, ohne Rollback.*/
    }

    /*Sieht gut aus, wir können weitermachen.
    **Prüfe, ob wir Daten haben über select.*/
    if(select() == NO_DATA) /*Oder so, schau dir die Doku an.*/
    {
        /*Timeoutbehandlung/Abbruch*/
    }

    /*Jetzt können wir endlich vom Socket lesen*/
    recv();
}
while(1);

my_http_syntax_checker muss dann natürlich allerhand prüfen. Und weil das blöd ist, packst du bei jedem Call ein Cache-Objekt rein, über das my_http_syntax_checker dann weiß, welche Teile bereits überspringen werden können.

HTTP ordentlich zu parsen ist halt leider nicht trivial.

tntnet

dachschaden schrieb:

tntnet schrieb:

Ich bekomme auf meinen Kommentar mit dem unbedachten Hinweis, dass ich so was schon mal gemacht habe und meine Lösung auch einsehbar ist die nächste Breitseite. Mein Code wäre schlecht.

Das habe ich nicht geschrieben.

Da mache ich mir die Mühe, lade deinen Code runter, schaue ihn mir ein bisschen an und mache Anmerkungen. Ich stelle Fragen. Das "Also so ganz überzeugt bin ich ja nicht ..." wäre die ideale Einleitung für dich gewesen - du schließt sie für dich ab mit einem Gefühlstrip. Anstatt darauf einzugehen - oder einfach nur zu sagen: "Ja, hast recht" - implizierst du, dass subjektive Kriterien wichtiger sind als objektive.

Geht's noch?

tntnet schrieb:

Du erwartest jetzt wirklich, dass ich da anfange, meinen Code zu verteidigen?

Nicht mehr. Die echte Chance dazu hattest du. Wegen deinem Ego-Trip hast du sie verspielt.

tntnet schrieb:

Wenn jemand echtes Interesse an meinem Code zeigt, bin ich gerne bereit, darüber zu diskutieren. Aber wenn ich so angegriffen werde, dass das doch alles sehr dürftig ist, dann lass ich es eben.

Manchmal denke ich mir: so oft, wie du bei anderen Halluzinationen siehst - kann das nicht sein, dass du ihnen auch unterliegst?

Aber das Gute an einem Forum ist, dass die Sachen da niedergeschrieben sind. Da kann man verlinken. Zitieren. Man kann noch mal seine eigenen Worte durchlesen.

Also, ja, du halluzinierst gerade. Fett.

Eine Beleidigung nach der anderen. Du fängst gleich damit an, dem Originalposter zu fragen, ob er Muttersprachler ist. Damit wirfst Du ihm vor, er würde schlechtes Deutsch schreiben. Und dann kommt dieses "deflate/gzip-Dekodierung wird nicht unterstützt? Denn de-chunken ohne weitere Kopie? ", welches völlig falsches Deutsch ist. So falsch, dass man es nicht mehr versteht. Anstatt zu sagen: "ach ja - war in der Hektik unverständlich formuliert", verteidigst Du das noch. Das nenne ich Ego-Trip.

dachschaden schrieb:

Habe mir mal den Code kurz angeschaut. Verwendet Streams zum Buffern, und die sind natürlich auch privat. Man kann also nicht eigenen Speicher angeben, der nach Möglichkeit noch erweitert werden kann. Relokation ist daher sehr wahrscheinlich auch mit einer Kopie verbunden.

Das ist keine Frage, sondern eine Annahme, dass man keinen eigenen Speicher angeben kann, was Du offensichtlich für unabdingbar hälst. Das unterstützt den Eindruck, dass Du den Code offensichtlich nicht gut findest.

Das sind keine interessierten Fragen und keine konstruktive Kritik sondern einfach nur Kritik oder Nörgelei.

Der Satz "Also so ganz überzeugt bin ich ja nicht ..." ist keine ideale Einleitung sondern eine Herausforderung. Du hoffst, dass ich ein so großes Ego habe, dass ich da drauf springen muss.

Ich reagiere nicht, indem ich mich verzweifelt erkläre, wie man es bei einem Ego-Trip machen würde, sondern lasse es einfach so stehen und akzeptiere das. Also genau das Gegenteil vom Ego-Trip, den Du mir vorwirfst.

Du wirfst mir eine schlechte Arbeitseinstellung vor. Auch wieder offensichtlich mit dem Ziel, mich zu beleidigen. Das sieht wirklich nicht nach Interesse aus.

Ok - Dann nehme ich mal an, Du willst wirklich wissen, was cxxtools so kann.

Ja, es kann chunked decoding ohne Kopien. Es kann non blocking http requests über eine Event loop. Es prüft alle Fehlercodes von Systemaufrufen und reagiert darauf. Es reagiert anständig auf alle möglichen Fehlerzustände. Es kann reconnect. Es kann mit Servern umgehen, die sich nicht an Standards halten. Es geht selbst sehr pingelig mit Standards um. Du kannst beliebige Header setzen und auch im Result alle Header auslesen. Das Codebeispiel ist nur die einfachste Möglichkeit, einen HTTP-Request auszuführen. Will ich mehr, wird es natürlich ein wenig komplizierter. Das liegt in der Natur der Sache. Aber auch diese Interfaces sind keine Rocket-Science. Die Funktionalität ist also nicht, wie Du es annimmst "stark eingeschränkt".

Alle Möglichkeiten aufzulisten würde hier zu weit gehen. Ach ja - gzip-Komprimierung kann er tatsächlich nicht. Das ist dann tatsächlich eine Einschränkung.

Es gibt außerdem noch higher level interfaces wie z.B. xmlrpc, welches auch asyncron arbeiten kann. So kann ich in einer Eventloop mehrere xmlrpc-Request parallel ausführen oder in der gleichen Event loop noch einen (oder mehrere) xmlrpc-Server laufen lassen.

Ach ja, und noch was: was ist an getaddrinfo Kaputt? Du schreibst so, als wüsste es jeder. Und was sind "Namenstabellen"?

dachschaden

tntnet schrieb:

Eine Beleidigung nach der anderen.

Nee, du weißt einfach nur nicht, was eine Beleidigung ist. Jemandem zu sagen, er halluziniert, ist keine Beleidigung - das ist normales, menschliches Verhalten. Ironischerweise sind gerade Leute mit einem großen Ego nicht in der Lage, dies zu akzeptieren - der Stolz verbietet es.

"Hey, du riechst aus dem Mund!" - ist das eine Beleidigung? Nein, das passiert bei Menschen nun mal. Genau wie Halluzinationen. Jemand hat sich heute schon lächerlich gemacht, indem er mir unterstellt hat, dass Geisteskrankheit und Halluzination das gleiche sind. Geisteskrankheit bestimmt, wie du Sachen interpretiert. Halluzinationen beeinflussen, was für Sachen du siehst. Erste bestimmen die Verarbeitung, letztere die Eingabe. Und das gemeine ist, dass du es nicht mal sehen kannst. Die Chance ist ziemlich groß, dass du dir jetzt "Was für ein Unsinn!" sagen wirst - und dass du direkt in die Halluzination reinfällst. Für dich komplett logisch, aber von außen fragt man sich halt, was das soll.

tntnet schrieb:

Du fängst gleich damit an, dem Originalposter zu fragen, ob er Muttersprachler ist. Damit wirfst Du ihm vor, er würde schlechtes Deutsch schreiben.

Ist das nicht evident? Oder soll das wieder eine Beleidigung sein?

Auch hier wieder Halluzination. Du siehst etwas, weil dein Ego es sehen will. Er verwendet einen Begriff, der da nicht reingehört. Von dem er nicht weiß, was er bedeutet. Warum tut er das nicht? Ist er Muttersprachler oder nicht? Soll ich Nachsicht haben oder nicht?

Meinen Onkel hat man mal gefragt, ob er überhaupt der deutschen Sprache mächtig ist. Er ist ebenfalls Muttersprachler. In der Frage ist keine Beleidigung drin, sondern höchstens die Aufforderung, dass man deutlicheres Deutsch sprechen könnte. Da das Ego aber einen halluzinieren lässt, ignoriert man diese Aufforderung, und interpretiert die Ehrverletzung als Beleidigung.

Ist es das, worum es dir geht? Dass ich für dich Nichtmuttersprachler geschliffenes Deutsch schreiben soll? Das kann ich ja machen. Aber dann hör auf, zu behaupten, dass das völlig falsches Deutsch sein soll. Ist es nicht. Der Post mit Hauptsatz und Nebensatz ist zwar stilistisch übertrieben, aber dennoch faktisch korrekt. Wenn du es nicht verstehen solltest, dann sag es doch, und dann verwende ich vollständig ausgeschriebene Sätze. Oder wir können direkt in Englisch kommunizieren. Ich habe da keine Ängste.

tntnet schrieb:

Das nenne ich Ego-Trip.

Weißt du, das könnte man annehmen - wenn ich von dir jemals Argumente gehört hätte, die über ein "Du hast aber unrecht!!1!" hinausgehen würden. Ich habe bereits auf Haupt- und Nebensätze verwiesen und erklärt, wieso das Verb im Nebensatz fehlen darf. Wenn das falsch sein sollte, dann widerlege sie bitte.

Was du mir wohl vorwerfen kannst, ist, dass ich nicht den offiziellen Namen "Satzwertige Ausdrücke" verwendet habe. Aber das ist weit von "in der Hektik unverständlich formuliert" entfernt.

tntnet schrieb:

Das ist keine Frage, sondern eine Annahme, dass man keinen eigenen Speicher angeben kann, was Du offensichtlich für unabdingbar hälst.

1. Hältst.
2. Habe ich das bereits auch geschrieben:

dachschaden schrieb:

Da mache ich mir die Mühe, lade deinen Code runter, schaue ihn mir ein bisschen an und mache Anmerkungen.

Natürlich sind das Annahmen. Sind sie falsch? Ich habe bisher noch nicht weitergelesen. Was ich sehe, sind die Konstruktoraufrufe der Objekte.

Unabdingbar ist die Angabe von eigenem Speicher nicht. Es ist lediglich ein Qualitätsmerkmal, welches du selbst in der C-Standardlib findest (dass man also einen Buffer mitgeben kann/soll, in den reingeschrieben wird). Meine persönliche Erfahrung war, dass ich als Anfänger gar nicht verstanden habe, warum man immer Speicher angeben soll. Das soll die Sprache doch für mich machen!!1!

Erst mit der Zeit ist mir aufgefallen, dass die Leute hinter dem Interface ein paar Sachen wussten, die ich nicht wusste. Z.B. dass Speicherreservierung teuer ist. Dass man mir die Chance geben will, meinen eigenen Speicher anzugeben, weil die Programmierer mich für schlau genug halten, dass ich weiß, was ich tue. Und das ist die Philosophie von C - dass ich weiß, was ich tue. Wenn ich's nicht tue, soll ich eine andere Sprache verwenden. Die Schnittstelle wurde so gebaut, dass ich mündig mit ihr arbeiten kann, anstatt dass ich unmündig davor sitze, weil alles für mich ohne meinen Willen erledigt wird. Ja, es ist im Grunde ein Kampf um die eigene Aufklärung. Ich will einen Default, aber immer die Möglichkeit haben, einzugreifen.´

Und wenn du diese Möglichkeit nicht bietest, dann aus drei Gründen:

1. du möchtest bewusst nicht, dass der Programmierer aufgeklärt ist (Friss oder stirb!).
2. du möchtest dir nicht die Mühe machen.
3. du erkennst die Problematik nicht.

Ich unterstelle dir keine Böswilligkeit, deswegen würde ich für 2 und/oder 3 plädieren - aber das Problem wird ja dadurch auch nicht gelöst.

tntnet schrieb:

Der Satz "Also so ganz überzeugt bin ich ja nicht ..." ist keine ideale Einleitung sondern eine Herausforderung. Du hoffst, dass ich ein so großes Ego habe, dass ich da drauf springen muss.

Hoffnung war dabei, aber eher darauf, selbst etwas bei lernen zu können.

tntnet schrieb:

Ich reagiere nicht, indem ich mich verzweifelt erkläre, wie man es bei einem Ego-Trip machen würde, sondern lasse es einfach so stehen und akzeptiere das. Also genau das Gegenteil vom Ego-Trip, den Du mir vorwirfst.

Und hier ist sie wieder, die Halluzination.

Egos können sich auf mehrere Arten manifestieren. Entweder, indem man sämtliche Kritik nicht an sich heranlässt (was du getan hast - oder zumindest hast du so gewirkt), oder indem man den anderen niedermacht, mit oder ohne Beispiele:

"Dummkopf. Du hast keine Ahnung, wovon du redest. Schau dir xxx.cpp, Zeile 23 - 42. Da hast du dann de-chunken ohne Kopie! Einen solchen Analphabeten habe ich ja noch nie getroffen."

Was ich erwartet hätte? Ganz ehrlich?

"http_state.c. Da werden die Sachen geparst. Studium überlasse ich dir."

Nix Ego. Keine Herabsetzung. Hier sind die Fakten, bamm, bamm, bamm, keine Zeit für irgendeinen Blödsinn. Nur weil du nicht auf der anderen Seite des Spektrums warst, heißt das nicht, dass du in der Mitte warst.

tntnet schrieb:

Du wirfst mir eine schlechte Arbeitseinstellung vor.

Noch einmal, soll ich von Böswilligkeit ausgehen?

tntnet schrieb:

Auch wieder offensichtlich mit dem Ziel, mich zu beleidigen. Das sieht wirklich nicht nach Interesse aus.

Also ist es dir lieber, das Evil Genius zu sein?

tntnet schrieb:

Es reagiert anständig auf alle möglichen Fehlerzustände.

Was ist "anständig"?

tntnet schrieb:

Aber auch diese Interfaces sind keine Rocket-Science. Die Funktionalität ist also nicht, wie Du es annimmst "stark eingeschränkt".

OK, nehmen wir mal an, dass ich den gleichen Speicher für den temporären HTTP-Request-String und den schlussendlichen Response verwenden möchte, wie ich schon beim Durchgehen der Prozessliste und dem Einladen einer Konfigurationsdatei verwendet habe? In der Regel habe ich bei sowas bereits vier 2-MiB-Pages reserviert, die ich gerne weiterverwenden würde. Und wenn noch mehr Speicher zum Schreiben der Daten verwendet wird, soll sich der Speicher noch weiter erhöhen können.

Das sind kein konstruierter Fall - das habe ich schon öfter schreiben müssen. Vielleicht habe ich hier nur hohe Standards, aber wenn ich das nicht ohne Verrenkungen machen kann, dann ist das Interface für mich nun mal stark eingeschränkt.

tntnet schrieb:

Ach ja, und noch was: was ist an getaddrinfo Kaputt? Du schreibst so, als wüsste es jeder. Und was sind "Namenstabellen"?

1. Sagen wir mal, ich möchte nur einen, oder zwei, oder drei Hosts maximal haben. Mein naives C-Gehirn sagt mir, dass ich dafür (für das Abspeichern) drei Parameter brauche:

- den Buffer, in dem die Objekte geschrieben werden.
- Anzahl an Elemente, die maximal reingeschrieben werden können.
- Zeiger auf eine Variable, die die Anzahl aller geschriebenen Elemente erhält.

(den ganzen anderen Quatsch mit den hints und node und so weiter lassen wir mal komplett außer Acht. Den dritten Parameter könnte man in einen In-Out-Parameter verwandeln - sprich, er muss gesetzt sein, und wird dann selbst von der Funktion neu gesetzt, aber das empfand ich immer als hässlich. Da kann man aber drüber streiten).

So - mit dieser Art der Namensauflösung habe ich einen Funktionsaufruf, und kann selbst entscheiden, was mit dem Speicher passieren soll. Verwende ich ihn wieder? Liegt er nur auf dem Stack rum und wird gleich eh wieder entfernt?
Durch die Elemente kann ich wie durch ein Array iterieren, und weil die Elemente nebeneinanderliegen, erhalte ich außerdem Cache-Lokalität.

Oh, aber was ist, wenn es noch ganz viele mehr mögliche Adressen für den Namen gibt?

Meine "spontane" Lösung dafür ist nicht optimal, aber OK: eine andere Funktion schaut im DNS-Cache nach oder macht noch mal einen Lookup, und dann sind sie auch im Cache. Und dann gibt sie mir die Anzahl der Einträge zurück, die sie gefunden hat.

Und dann kann ich wieder selbstständig Speicher reservieren und verwalten, anstatt das an eine mir unbekannte Funktion zu delegieren.

2. Sagen wir mal, ich verwalte zwei HTTP-Objekt - wie in Perl User Agents oder so änlich - und beide haben ein bestimmtes Set von Requestdaten (andere Methode, Header, Version, egal). Sie haben auch eine Reihe von aufgelößten Namen, mitunter sogar noch verbundene Sockets, auf verschiedenen Ports, mit verschiedenen Protokollen.

Naiv würde ich diese Daten in ein privates Array oder Vektor oder so tun (auch hier kann ich wieder mit dem Speicher rumspielen, aber halten wir's mal einfach).

Jetzt will ich mit einem User Agent einen Request an einen Host schicken, der bereits bei einem anderen User Agent bekannt ist. Ich weiß sogar, welcher User Agent das ist. Ich kann jetzt manuell zwischen den beiden vermitteln, aber lieber wäre mir, wenn sie ihre Namenstabellen (oder Verbindungslisten, oder wie du sie auch nennen willst) teilen und synchronisieren würden. Dann müsste ich nicht mal mehr einen Round-Trip zum DNS-Cache auf mich nehmen, sondern könnte mich einfach darauf verlassen, dass die User Agents so viel wie möglich wiederverwerten.

camper

dachschaden schrieb:

tntnet schrieb:

Eine Beleidigung nach der anderen.

Nee, du weißt einfach nur nicht, was eine Beleidigung ist.

Warum schlägst du es nicht mal nach und lenkst nicht durch Anderes ab? Weil du ja Wikipedia so magst Beleidigung (Psychologie) (die Argumentation funktioniert im Wesentlichen auch, wenn wir den juristischen Begriff zugrundelegen würden, der ist aber u.U. zu eng gefasst, um als Grundlage sozialer Normen (Netiquette) geeignet zu sein):

Eine Beleidigung ist eine Aussage oder Handlung eines Senders, die das Ego bzw. den Stolz eines Empfängers mit negativen Emotionen assoziiert – der Kränkung – und somit herabwürdigt.

Das Erste, was auffallen muss, ist, dass es auf den Wahrheitsgehalt der Aussage nicht ankommt. Das Wie, Warum und Wann (Kontext!) kann erheblich wichtiger sein. Das Beleidigung kann sich auch aus dem, was nicht gesagt aber impliziert wird, ergeben. Auch muss die Beleidigung nicht unbedingt in der Absicht des Senders liegen, sondern kann auf einem Missverständnis beruhen.

dachschaden schrieb:

Jemandem zu sagen, er halluziniert, ist keine Beleidigung

Es kann eine Beleidigung sein. Insbesondere (aber nicht ausschlieslich, s.o.) dann, wenn diese Behauptung nicht durch durch entsprechende Beobachtungen gedeckt sind.

dachschaden schrieb:

"Hey, du riechst aus dem Mund!" - ist das eine Beleidigung? Nein, das passiert bei Menschen nun mal.

Ja, das passiert, und wenn das Arzt sagt oder eine andere Person im Vertraulichen kann das völlig in Ordnung sein. Wenn aber jemand mit dem Megafon durch die Strassen geht und so etwas von sich gibt, sieht die Sache eben ein bisschen anders aus.

dachschaden schrieb:

Jemand hat sich heute schon lächerlich gemacht, indem er mir unterstellt hat, dass Geisteskrankheit und Halluzination das gleiche sind.

Nenn doch ruhig Namen, wenn du meinst, das wäre so gewesen und müsste hier unbedingt nochmal ausgebreitet werden. Aber vielleicht bist du auch selbst gar nicht davon überzeugt, brauchst es um dein Ego zu streicheln, möchtest aber nicht, dass sich jemand die Mühe macht, und nachschaut, ob das tatsächlich gesagt wurde.

Falls das zu schwer war, nehme ich es nochmal für dich auseinander:
Jemandem hier in einer Antwort - ohne erhebliche Evidenz in dieser Hinsicht - zu unterstellen, er würde halluzinieren, muss beleidigend wirken. Denn die bloße Äußerung impliziert, dass diese Evidenz in dessen vorheriger Aussage zu finden ist. Diese vorherige Aussage ist aber nicht das direkte Resultat der Sinneswahrnehmungen des Authors, sondern ein Produkt seine Geistes, und weil ja das Halluzinieren des Authors angeblich so offensichtlich ist, kann es um dessen Geistesverfassung nicht so gut gestellt sein, schliesslich bedeutet das sinnliche Wahrnehmen von Dingen, die nicht existieren, nicht zwingend, dass man sich dieser Täuschung nicht rational bewusst werden kann.
Nun ist halluzinieren ein Wort mit einer recht klar umrissenen Bedeutung, die auf ein bestimmtes klinisches Erscheinigungbild verweist. Das bedeutet umgekehrt, dass die Verwendung eine starke Abwertung bedeutet in einem Kontext wie etwa diesem Forum, in dem nur ein sehr oberflächlicher Kontakt - und somit keine gesicherte Diagnose - möglich ist. Dabei gibt es ja durchaus Synonyme, wie etwa irren oder täuschen, die diese extreme Abwertung nicht enthalten. Da du dich trotzdem auf diese Vokabel festlegst (mangelnde Sprachkenntnis scheint ja nicht das Problem zu sein), schlussfolgere ich, dass die Beleidigung tatsächlich auch bewusst und gewollt ist.

Nebenbei bemerkt war mein vorheriger Beitrag, auf den der Halluzinationsvorwurf erfolgt, primär ein Werturteil und damit (mangels absoluten Wahrheitsgehaltes, da abhängig von Wertmaßstäben) nicht mal abstrakt geeignet, Halluzinationen zu belegen. Es sei denn, du bist tatsächlich der Ansicht, dein Verhalten könnte unter keinen Umständen oder Maßstäben kritikwürdig sein. In diesem Fall entbehrte der Halluzinationsvorwurf nicht einer gewissen Ironie.

SeppJ warum greifst du hier komischerweise nicht ein?

tntnet

camper schrieb:

...

Danke. Mehr sage ich dazu nicht mehr.

Und jetzt zum Thema. Ich gehe mal weiterhin davon aus, dass die Verarbeitung von HTTP-Requests interessant ist.

Erst mal: der Parser ist in der Datei src/http/parser.cpp zu finden.

Dieses Vorgeben von Speicher halte ich nicht für die richtige Lösung. In aller Regel benötige ich die Daten, die vom Server kommen eben nicht vollständig aufeinanderfolgend im Speicher. Idealerweise schreibe ich einen stateful Parser, welcher Byte für Byte vom Server liest und darauf durch Zustandsübergänge reagiert. Dadurch brauche ich zu keinem Zeitpunkt den vollständigen Request im Speicher zu halten.

Dafür ist std::streambuf gedacht. Da kann ich Byteweise lesen und wenn ich das nächste Byte brauche, bekomme ich es entweder aus dem Puffer oder der Streambuf holst sich den nächsten Block.

Im Falle von cxxtools bedeutet das je nach http reply, dass die nächsten Daten entweder direkt vom Socket gelesen werden oder dass noch ein chunkedreader (src/http/chunkedreader.cpp) noch dazwischen ist, der eben genau so arbeitet.

So kann sich beispielsweise der xmlrpc client in cxxtools ganz darauf konzentrieren, den xmlrpc Request zu parsen und braucht sich nicht darum zu kümmern, dass die Daten möglicherweise nicht am Stück kommen.

Oder will ich den Reply body auf std::cout ausgeben, ist das ok, wenn ich immer Stückchenweise lese und auf cout ausgebe. Das ist nicht so schwer und kommt vollständig mit kleinen Puffern aus ohne dass zwischendurch Allokationen statt finden.

Ich habe jetzt verstanden, dass Du (Dachschaden, keine Beleidigung ) getaddrinfo für unglücklich hälst. Ja im prinzip ist immer das Problem, dass es kein asyncrones Interface to getaddrinfo gibt. Ich glaube, dass an dieser Stelle cachelokalität gar nicht so ins Gewicht fällt, da hier andere Dinge deutlich teuerer sind.

Im Falle von cxxtools gibt es eine Trennung zwischen client und request. Idealerweise habe ich ein Client-Objekt, welches ich länger halte. Dadurch wird der Verbindungsaufbau inklusive Namensauflösung nur ein mal gemacht. Die Verbindung wird dann für mehrere Request wieder verwendet.

Du hast auch noch erwähnt, dass chunked encoding schlecht ist, weil man dadurch kein sendfile verwenden kann. Das schöne ist, dass der Server entscheiden kann, was für den Anwendungsfall geeignet ist. Liegen die Daten im Dateisystem, kann einfach ein Content-Length gesendet werden und dann mit sendfile die Daten. Werden die Daten so nach und nach produziert, kann der Server sich dagegen für chunked encoding entscheiden, so dass er am Anfang nicht wissen muss, wie viele Daten noch kommen.

Du wolltest noch wissen, was es in cxxtools bedeutet, "anständig" auf Fehler zu reagieren. cxxtools wirft im Falle von Fehlern exceptions. Ich könnte jetzt noch darüber schreiben, wie praktisch Exceptions sind und wie elegant man damit robuste Programme schreiben kann, aber darüber wurde schon so viel geschrieben.

Und noch was @Blockade (wieder keine Beleidigung sondern der Originalposter ): Auf Content-Length kann man sich doch verlassen. Das gehört zum Protokoll. Wenn der Server weniger Daten schickt, dann ist der Reply noch nicht vollständig. Wird dann der Socket geschlossen, dann ist das eben ein Fehler. Schickt er mehr, dann gehören die folgenden Daten eben nicht zum reply sondern sind eventuell schon der nächste reply wenn ich mehrere Requests gleichzeitig geschickt habe.

tntnet schrieb:

Und noch was @Blockade (wieder keine Beleidigung sondern der Originalposter ): Auf Content-Length kann man sich doch verlassen. Das gehört zum Protokoll. Wenn der Server weniger Daten schickt, dann ist der Reply noch nicht vollständig. Wird dann der Socket geschlossen, dann ist das eben ein Fehler. Schickt er mehr, dann gehören die folgenden Daten eben nicht zum reply sondern sind eventuell schon der nächste reply wenn ich mehrere Requests gleichzeitig geschickt habe.

Jo, kann man drüber streiten.

Du gehst halt davon aus, dass der Server verdammt ehrlich mit dir ist, und dass du seinen Headern traust. Erfahrungsgemäß kann ich aber sagen, dass 1. die Content-Length nicht dabei sein musst (wobei du dann Fallunterscheiden musst und die Response auf nem Umweg kriegen musst) oder die Content-Length einfach nicht korrekt ist und du dann nicht alles oder zu viel empfängst (was bei zu viel+blocking dann in einem Block-Call enden würde).

Content-Length's find ich gut für Ladebalken und so. Da kanns ruhig um einen Byte ungenau sein oder so. Aber sonst will ich mich doch eher auf meinen eigenen Code verlassen, als auf die Header der Antwort vom Server.

dachschaden

Offtopic-Bullshit, mein zweiter Post ist wieder on-topic:

camper schrieb:

Warum schlägst du es nicht mal nach und lenkst nicht durch Anderes ab?

In deinem Fall würde dann die "Beleidigung" umschlagen in eine Situation, in der sich die "Linken" (sowohl Deutschland als auch die U.S.A.) über einzelne Wörter echauffieren. "Did you just assume my gender?" hört sich erst mal wie ein netter Scherz an, bis man sich vergegenwärtigt, dass es Leute gibt, die bereits dadurch beleidigt sind, dass man ihr physikalisches Geschlecht benannt hat.

Und für so 'ne Kinderkacke habe ich wieder Zeit noch Bock. Wenn mir jemand sagt, da und da stinkt mein Code, dann danke ich ihm - wenn die Vorwürfe stimmen. Wenn mir jemand sagt, ich stinke aus dem Mund, dann entschuldige ich mich und versuche, den Geruch zu entfernen/übertünchen. Vielleicht mag es bei dir angebracht sein, den Boten zu erschießen - aber ich mache das nur dann, wenn der Bote Unsinn erzählt.

camper schrieb:

Das Erste, was auffallen muss, ist, dass es auf den Wahrheitsgehalt der Aussage nicht ankommt. Das Wie, Warum und Wann (Kontext!) kann erheblich wichtiger sein.

Viele Menschen ordnen das so ein, ja.

Viele Menschen leben auch in einer Blase, in der Sachverhalte schön konsistent bleiben. Und wenn neue Sachverhalte reinkommen, die die alten invalidieren, dann wird zurückgefeuert. Backfire-Effekt, halt.

Mit sowas halte ich mich nicht auf, sorry. Wenn du dadurch beleidigt wirst, dass ich deinem Code ein negatives, aber objektiv nachvollziehbares Attribut zuweise, welches nicht nur darauf abzielt, die Person anzugreifen ("Was für ein undurchsichtiger Scheißcode"), dann solltest du künftig keinen Code mehr veröffentlichen. Das ist das Beste für uns und für dein Ego.

camper schrieb:

Das Beleidigung kann sich auch aus dem, was nicht gesagt aber impliziert wird, ergeben. Auch muss die Beleidigung nicht unbedingt in der Absicht des Senders liegen, sondern kann auf einem Missverständnis beruhen.

Deswegen gibt es das Konzept der Nachfrage.

camper schrieb:

Es kann eine Beleidigung sein. Insbesondere (aber nicht ausschlieslich, s.o.) dann, wenn diese Behauptung nicht durch durch entsprechende Beobachtungen gedeckt sind.

OK, dann denk' dir mal folgenden Sachverhalt:

- ich sage "X".
- du sagst, ich hätte "XYZ" gesagt.
- ich sage, du halluzinierst.

Jetzt kann es natürlich sein, dass ich nur halluziniert hätte, dass du "XYZ" gesagt hast - aber wenn das so ist, warum hast du dann bisher kein konkretes Beispiel benannt? In diesem Thread oder in dem anderen? Stattdessen geht es hier um Meinungen. Meinungen kann man in der "Jenseits der Programmierung"-Sektion loswerden. Gib mir harte Fakten.

Juristisch ist nämlich Beleidigung definiert:

Die Beleidigung trotz Wahrheitsbeweis: Eine solche liegt vor, wenn trotz einer Kundgabe wahrer Tatsachen gegenüber Dritten den Betroffenen gewissermaßen "an den Pranger stellen" würde, d.h. bei der Behauptung inhaltlich ein besonders herabwürdigender Tonfall oder eine besonders gehässige Einkleidung feststellbar wäre.

Im Grunde also, wenn ich eine systematische Rufschädigung betreibe. Alles andere ist Verleumdung (bewusstes Verbreiten der Unwahrheit) oder üble Nachrede (Verbreiten von Informationen, die sich später als falsch herausgestellt haben).

Stelle ich hier Leute an den Pranger? Nee, die Leute stellen sich selbst an den Pranger, schließlich ist das hier ein öffentliches Forum. Ich verwalte hier keine Liste oder dergleichen, ich stelle hier nicht die Unwahrheit da. Was ich mache, sind potentielle Ehrverletzungen, basierend auf Tatsachen.

Jetzt kommen wir mal zu:

camper schrieb:

Ja, das passiert, und wenn das Arzt sagt oder eine andere Person im Vertraulichen kann das völlig in Ordnung sein. Wenn aber jemand mit dem Megafon durch die Strassen geht und so etwas von sich gibt, sieht die Sache eben ein bisschen anders aus.

Siehe oben. Megafon wäre Pranger. In der Öffentlichkeit neben jemandem zu sitzen und zu sagen, dass er aus dem Mund riecht, ist allerhöchstens ehrverletzend. Offence is taken, not given.

camper schrieb:

Nenn doch ruhig Namen, wenn du meinst, das wäre so gewesen und müsste hier unbedingt nochmal ausgebreitet werden.

Ne, das wäre ja Leute an den Pranger stellen. Das tue ich nicht.

camper schrieb:

Aber vielleicht bist du auch selbst gar nicht davon überzeugt, brauchst es um dein Ego zu streicheln, möchtest aber nicht, dass sich jemand die Mühe macht, und nachschaut, ob das tatsächlich gesagt wurde.

Es gibt da unter dem Benutzernamen bei jedem Post einen Link, der nennt sich "Benutzerprofil". Da kannst du draufklicken, und in dem Formular gibt es dann die Funktion "Alle Beiträge von dachschaden anzeigen".

Wenn jemand es rausfinden wollen würde, dann tut er dies auch. Ist ja schließlich öffentlich hier. Nochmal: dass ich hier nicht Leute an den Pranger stelle, ist die Voraussetzung dafür, dass keine Beleidigung im Spiel ist.

camper schrieb:

Falls das zu schwer war, nehme ich es nochmal für dich auseinander:
Jemandem hier in einer Antwort - ohne erhebliche Evidenz in dieser Hinsicht - zu unterstellen, er würde halluzinieren, muss beleidigend wirken.

Falls das zu schwer war, nehmen ich es nochmal für dich auseinander:
Zitierung auf zuvor getätigte Aussagen, die in starkem Kontrast zu einer Rekapitulation sind, sind "erhebliche Evidenz" und sollten zumindest einer Rechtfertigung oder einer Erklärung folgen. Wenn dies nicht geschieht, ist das kein Fall von Beleidigung, sondern lediglich kognitive Dissonanz, weil ich dich darauf hingewiesen habe, dass dein Selbstbild nicht mit den Tatsachen übereinstimmt.

Keine Beleidigung.
Keine Verleumdung.
Keine üble Nachrede.

Zu behaupten, dass da keine Evidenz wäre, ist keine Evidenz. Das ist wiederum eine Halluzination.

camper schrieb:

Denn die bloße Äußerung impliziert, dass diese Evidenz in dessen vorheriger Aussage zu finden ist.

Hast du dir überhaupt mal den Thread durchgelesen? Was glaubst du, warum ich immer die Aussagen zitiere, auf die ich mich beziehe? Sogar mit Fettdruck?

camper schrieb:

Diese vorherige Aussage ist aber nicht das direkte Resultat der Sinneswahrnehmungen des Authors, sondern ein Produkt seine Geistes, und weil ja das Halluzinieren des Authors angeblich so offensichtlich ist, kann es um dessen Geistesverfassung nicht so gut gestellt sein, schliesslich bedeutet das sinnliche Wahrnehmen von Dingen, die nicht existieren, nicht zwingend, dass man sich dieser Täuschung nicht rational bewusst werden kann.

Es ist zugegebenermaßen schwer, Müll in der Ausgabe daran zu erkennen, ob nur die Eingabe Müll war, oder ob die Verarbeitung kaputt ist. Wenn es allerdings ein Log (Forumsbeiträge) darüber gibt, welche Eingaben getätigt wurden, und dies in Verbindung zu den geäußerten Eindrücken setzt, dann erkennt man, dass (innerhalb der Eingabe) die Handlung des Autors rational ist. Wenn man zu "Statement 1, Statement 2, dein Code überzeugt mich nicht wirklich" ein "Dein Code ist schlecht" macht, dann wird klar, warum der Autor so handelt, wie er handelt.

Nur dass sich der Autor halt mit falschen Informationen füttert. Müll rein => Müll raus.

camper schrieb:

Nun ist halluzinieren ein Wort mit einer recht klar umrissenen Bedeutung, die auf ein bestimmtes klinisches Erscheinigungbild verweist. Das bedeutet umgekehrt, dass die Verwendung eine starke Abwertung bedeutet in einem Kontext wie etwa diesem Forum, in dem nur ein sehr oberflächlicher Kontakt - und somit keine gesicherte Diagnose - möglich ist.

Warum hast du hier nicht mal die Wikipedia-Seite konsultiert, bevor du Schwarm verbreitest?

Wikipedia schrieb:

Unter Halluzination versteht man eine Wahrnehmung, ohne dass eine nachweisbare externe Reizgrundlage vorliegt. Solche Wahrnehmungen können in jedem Sinnesgebiet auftreten. Das bedeutet zum Beispiel, dass physikalisch nicht nachweisbare Objekte gesehen oder Stimmen gehört werden, ohne dass jemand spricht. [...] Von der Halluzination zu unterscheiden ist die Wahnwahrnehmung. Dabei wird einer realen, also auch von anderen nachzuvollziehenden Wahrnehmung eine wahnhafte Bedeutung zugemessen. Ein Beispiel hierfür wäre, wenn jemand fest davon überzeugt ist, dass das zufällige Läuten einer Kirchenglocke ein Signal an seine Verfolger darstellt, ihn jetzt zu ergreifen.

Ich habe nicht gesagt, "du bist wahnsinnig" - ich habe gesagt "du halluzinierst". Weil man für eine solche Diagnose die ursprüngliche Aussage und das, was beim Empfänger angekommen ist, nebeneinander benötigt. Das hat tntnet getan. Case closed, es sei denn, du hast Belege dafür, dass ich wiederum halluziniere.

Wikipedia schrieb:

Dabei gibt es ja durchaus Synonyme, wie etwa irren oder täuschen, die diese extreme Abwertung nicht enthalten.

Irrtum befasst sich meines Verständnisses nach eher mit der Verarbeitung aufgrund von falschen Informationen, wie auch die Wikipedia-Seite aufzeigt:

Wikipedia schrieb:

Der Irrtum bezeichnet im engeren Sinne eine falsche Annahme oder Meinung oder einen falschen Glauben, wobei der Behauptende, Meinende oder Glaubende jeweils das Falsche für richtig hält. Im Gegensatz zu einer Lüge, bei der die Wahrheit bewusst verfälscht worden ist, entsteht ein Irrtum unabsichtlich aus falschen Informationen oder Fehlschlüssen.

Im weiteren Sinne wird der Begriff des Irrtums auch auf falsche Behauptungen und andere fehlerhafte Handlungen angewandt, die aus einer irrigen Annahme oder einem falschen Glauben resultieren.

Ich will mich allerdings auf die Wahrnehmung an sich beziehen, nicht die falschen Schlüsse (Irrtümer), die dadurch entstehen. Ursache und Symptom. Leicht zu unterscheiden.

camper schrieb:

Nebenbei bemerkt war mein vorheriger Beitrag, auf den der Halluzinationsvorwurf erfolgt, primär ein Werturteil und damit (mangels absoluten Wahrheitsgehaltes, da abhängig von Wertmaßstäben) nicht mal abstrakt geeignet, Halluzinationen zu belegen.

Ist in Ordnung. Red' dir das ruhig ein. Was immer dich besser schlafen lässt.

dachschaden

tntnet schrieb:

Erst mal: der Parser ist in der Datei src/http/parser.cpp zu finden.

Hm.

chartoprint erstellt ein Stringobjekt - warum ich das nicht gut finde, habe ich bereits erläutert.

Die Prüfungsfunktionen ( istokenchar , isHexDigit ...) in http zu packen finde ich merkwürdig. Bei mir habe ich die in einem "zentralerem" Modul.

Dein Stil macht bei mir irgendwie den Eindruck, als ob du mit der Grammatik haderst - hier mal ein Beispiel:

void HeaderParser::state_qparam(char ch)
{
    if (ch == ' ' || ch == '\t')
    {
        log_debug("queryString=" << token);
        ev.onUrlParam(token);
        token.clear();
        token.reserve(32);
        state = &HeaderParser::state_protocol0;
        return;
    }
    else
    {
        token += ch;
        return;
    }
}

Warum machst du da nicht direkt:

void HeaderParser::state_qparam(char ch)
{
    if (ch != ' ' && ch != '\t')
    {
        token += ch;
        return;
    }

    log_debug("queryString=" << token);
    ev.onUrlParam(token);
    token.clear();
    token.reserve(32);
    state = &HeaderParser::state_protocol0;
}

Nur mal so als Beispiel.

Den Stateful-Ansatz verstehe ich zwar, ich frage mich aber, wie lang die CPU damit beschäftigt ist, Funktionen zur Prüfung von einzelnen Buchstaben aufzurufen. Wie oft rufst du token.reserve(32) auf? Kann man das nicht zentralisieren? Ist das das zentrale Token oder nicht? Man erzählt sich immer, dass Kontextwechsel zwischen Userspace und Kernel-Space teuer sind, aber unnötige Wechsel zwischen Funktionen, in denen auch immer wieder Prolog und Epilog teuer sind, ist auch blöd.

Byte-weises Lesen und Schreiben ist echt langsam. Lesen noch schlimmer, weil Linux kein memmem mit Boyer-Moore-Algorithmus unterstützt. Mit reserve reduzierst du halt den Bloat des Allokators, aber zumindest das zeichenweise Schreiben in den Token Buffer könnte man vektorisieren ( memcpy ist zumindest auf Linux rasend schnell, ich habe einige Zeit versucht, es zu schlagen, und nur mit einem Assembler-Hack, den mir hustbaer gezeigt hat, auf Windows gesiegt.

Ich kann dir ein memmem geben. Das ist zwar derzeit ein bisschen kaputt, weil ich keine gecachte Jumptable, die zur Needle gehört, angeben kann, aber eigentlich ist das trivial. Der Grund, warum ich das noch nicht getan habe, ist weil ich noch am nachdenken bin, wie ich diese Tabellen am schönsten statisch generieren lasse.

tntnet schrieb:

Dieses Vorgeben von Speicher halte ich nicht für die richtige Lösung. In aller Regel benötige ich die Daten, die vom Server kommen eben nicht vollständig aufeinanderfolgend im Speicher. Idealerweise schreibe ich einen stateful Parser, welcher Byte für Byte vom Server liest und darauf durch Zustandsübergänge reagiert. Dadurch brauche ich zu keinem Zeitpunkt den vollständigen Request im Speicher zu halten.

Was?

Du ließt vom Server(-socket), und dann bist du der Client, und liest einen Response. Einen Request zu lesen tut man (in der Regel), wenn man selbst der Server ist, und dann muss man nicht von einem selbst lesen.

Bei Responses machst du das aber nicht, oder? Weil die Dinger wesentlich größer werden können.

Hm. Mag ich auch nicht besonders. Mir ist es recht, wenn die Bibliothek nur irgendwas vom Socket liest, was nach HTTP aussieht. Es sei denn natürlich, der Nutzer merkt explizit an, dass er nur Requests oder nur Responses empfangen will, dann kann er schon, nachdem die Statuszeile durchkommt, einen EPROTO zurückgeben. Und deswegen habe ich die Codebasen für Requests und Responses auch zusammengelegt.

Wobei dein Ansatz natürlich cache-lokaler ist als meiner, das will ich dir lassen.

tntnet schrieb:

Im Falle von cxxtools bedeutet das je nach http reply, dass die nächsten Daten entweder direkt vom Socket gelesen werden oder dass noch ein chunkedreader (src/http/chunkedreader.cpp) noch dazwischen ist, der eben genau so arbeitet.

Erkläre mir mal, wie ChunkedReader::onData zero-copy ist. Für mich ist das nicht direkt ersichtlich:

www.cplusplus.com schrieb:

Retrieves characters from the controlled input sequence and stores them in the array pointed by s, until either n characters have been extracted or the end of the sequence is reached.

tntnet schrieb:

Ich habe jetzt verstanden, dass Du (Dachschaden, keine Beleidigung ) getaddrinfo für unglücklich hälst.

Hältst.

tntnet schrieb:

Ja im prinzip ist immer das Problem, dass es kein asyncrones Interface to getaddrinfo gibt. Ich glaube, dass an dieser Stelle cachelokalität gar nicht so ins Gewicht fällt, da hier andere Dinge deutlich teuerer sind.

Wieso? Der Sinn und Zweck von Caches sind, dass man Kopien in Speicher hält, der schneller zugreifbar ist. Der normale DNS-Cache des OS (oder deines Nameservers oder whatever) ist schneller als ein Roundtrip zum nächsten DNS-Server, aber immer noch langsamer, als bereits aufgelöste DNS-Daten in einer sauberen Tabelle zu haben. Du weißt nicht, was da noch für ein Rattenschwanz am DNS-Cache hängt. Diese Unsicherheit hätte ich gerne auch noch eliminiert.

tntnet schrieb:

Im Falle von cxxtools gibt es eine Trennung zwischen client und request. Idealerweise habe ich ein Client-Objekt, welches ich länger halte. Dadurch wird der Verbindungsaufbau inklusive Namensauflösung nur ein mal gemacht. Die Verbindung wird dann für mehrere Request wieder verwendet.

Bei mir wird es auch aufgeteilt - wobei der Nutzer sich jetzt nicht mit der Wiederverwendung von Sockets und dergleichen rumschlagen muss.

tntnet schrieb:

Du hast auch noch erwähnt, dass chunked encoding schlecht ist, weil man dadurch kein sendfile verwenden kann. Das schöne ist, dass der Server entscheiden kann, was für den Anwendungsfall geeignet ist.

Ich meinte das jetzt mehr auf den Client bezogen. Hat sich für mich so angehört, als ob der OP für seine Implementierung nur chunked-transfer unterstützen will, weil Content-Length nicht vertrauenswürdig ist.

tntnet schrieb:

cxxtools wirft im Falle von Fehlern exceptions. Ich könnte jetzt noch darüber schreiben, wie praktisch Exceptions sind und wie elegant man damit robuste Programme schreiben kann, aber darüber wurde schon so viel geschrieben.

Das Gleiche könnte ich über Forward-Goto schreiben, mit dem Unterschied, dass ich nicht den Heap ansprechen muss, um mir ein Fehlerobjekt zu erstellen. Aber egal.