Sockets und das HTTP-Protokoll

Hallo,

ich connecte zu einer Website und kann mit SendAll eine Request machen und mit GetLine das Ergebniss auslesen. Die erste Request klappt. Wenn ich nochmals das gleiche Sende mit SendAll erhalte ich eine Leere Antwort. Beim dritten Versuch erhalte ich schlieslich beim Senden den Error Code 10053.

Muss ich für jeden neuen Http-Request nochmals den socket closen und connecten?

string request = "HEAD /index.php HTTP/1.1\r\nHost: www.google.de \r\n\r\n";
std::stringstream line;
SendAll(socket, request.c_str(), request.size());
GetLine(socket, line);
std::cout << line.str() << std::endl //klappt

SendAll(socket, request.c_str(), request.size());
GetLine(socket, line);
std::cout << line.str() << std::endl; //leere Antowrt

SendAll(socket, request.c_str(), request.size()); //fehler beim senden
GetLine(socket, line);
std::cout << line.str() << std::endl; 

void SendAll(int socket, const char* const buf, const int size)
{
    int bytesSent = 0; // Anzahl Bytes die wir bereits vom Buffer gesendet haben
    do
    {
        int result = send(socket, buf + bytesSent, size - bytesSent, 0);
        if(result < 0) // Wenn send einen Wert < 0 zurück gibt deutet dies auf einen Fehler hin.
        {
			std::cout << WSAGetLastError();
        }
        bytesSent += result;
    } while(bytesSent < size);
}

// Liest eine Zeile des Sockets in einen stringstream
void GetLine(int socket, std::stringstream& line)
{
    for(char c; recv(socket, &c, sizeof(c), 0) > 0; line << c)
    {

    }
   // throw CreateSocketError();
return;
}

Hier der komplette Code, der eigentlich dreimal die Zeit messen soll.

// socket.cpp: Hauptprojektdatei.
#include "stdafx.h"
#include <iostream>
#include <time.h>
#include <fstream>
#include <stdexcept> // runtime_error
#include <sstream>
#include <winsock2.h>

void SendAll(int socket, const char* const buf, const int size)
{
    int bytesSent = 0; // Anzahl Bytes die wir bereits vom Buffer gesendet haben
    do
    {
        int result = send(socket, buf + bytesSent, size - bytesSent, 0);
        if(result < 0) // Wenn send einen Wert < 0 zurück gibt deutet dies auf einen Fehler hin.
        {
			std::cout << WSAGetLastError();
        }
        bytesSent += result;
    } while(bytesSent < size);
}

// Liest eine Zeile des Sockets in einen stringstream
void GetLine(int socket, std::stringstream& line)
{
    for(char c; recv(socket, &c, sizeof(c), 0) > 0; line << c)
    {
		if (c=='\n'){
			return;}
    }
   // throw CreateSocketError();
return;
}

float StopTime(int socket, std::string request){
	float sec;
    clock_t tvor;
	tvor=clock();
    SendAll(socket, request.c_str(), request.size());
	std::stringstream line;
		GetLine(socket, line);
		std::cout << line.str() << std::endl;

	sec=(static_cast<float>(clock()-tvor))/CLOCKS_PER_SEC;
	return sec;
}

int main()
{
    using namespace std;

#ifndef linux
    WSADATA w;
    if(int result = WSAStartup(MAKEWORD(2,2), &w) != 0)
    {
        cout << "Winsock 2 konnte nicht gestartet werden! Error #" << result << endl;
        return 1;
    }
#endif

    hostent* phe = gethostbyname("www.google.de");

    if(phe == NULL)
    {
        cout << "Host konnte nicht aufgeloest werden!" << endl;
        return 1;
    }

    if(phe->h_addrtype != AF_INET)
    {
        cout << "Ungueltiger Adresstyp!" << endl;
        return 1;
    }

    if(phe->h_length != 4)
    {
        cout << "Ungueltiger IP-Typ!" << endl;
        return 1;
    }

    int Socket = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP);
    if(Socket == -1)
    {
        cout << "Socket konnte nicht erstellt werden!" << endl;
        return 1;
    }

    sockaddr_in service;
    service.sin_family = AF_INET;
    service.sin_port = htons(80); // Das HTTP-Protokoll benutzt Port 80

    char** p = phe->h_addr_list; // p mit erstem Listenelement initialisieren
    int result; // Ergebnis von connect
    do
    {
        if(*p == NULL) // Ende der Liste
        {
            cout << "Verbindung fehlgschlagen!" << endl;
            return 1;
        }

        service.sin_addr.s_addr = *reinterpret_cast<unsigned long*>(*p);
        ++p;
        result = connect(Socket, reinterpret_cast<sockaddr*>(&service), sizeof(service));
    }
    while(result == -1);

    cout << "Verbindung erfolgreich!" << endl;
	std::cin.ignore();
    string request = "HEAD /index.php HTTP/1.1\r\nHost: www.google.de \r\n\r\n";
    string ein;
		cout << StopTime(Socket,request);
		cin.ignore()
		cout << StopTime(Socket,request);
		cin.ignore();
		cout << StopTime(Socket,request);
		cin.ignore();
    closesocket(Socket);
}

Anlex

Hallo allerseits! Ich bin momentan noch auf der ersten Seite dieses Threads und arbeite mich da so langsam durch. Habe aber folgendes Problem:

Bei dem "Selfmade nslookup" funktioniert bei mir die Anzeige der Aliases nicht. Wenn ich das nslookup des Terminals benutze, erhalte ich Aliases, die ich mit dem Code aus diesem Thread nicht bekomme (scheine mit dem hiesigen Code GAR KEINE Aliases angezeigt zu bekommen).

Dazu sei noch gesagt, dass ich das ganze für den linuxartigen Teil des Codes mit g++ unter Cygwin kompilieren lasse.

Weiß jemand Rat?

hallo,
hab den quelltext mit vielen Seiten probiert, aber eine Seite funktioniert nicht.
www.die-staemme.de
kann das jemand anderes mal ausprobieren? Da kommt immer Verbingung erfolgreich und dann nichts mehr... Warum ist das so? Wie kann das umgehen?

Vielleicht irgendein Bot Schutz ?

"Schutz gegen Cheater"

bot schrieb:

Vielleicht irgendein Bot Schutz ?

"Schutz gegen Cheater"

Ja, eventuell wird der User-Agent im Header überprüft oder ähnliches, so das Computerprogramme ausgeschlossen werden. Könnte mir das sehr gut vorstellen.

*MOP*

Wenn ich die ganze Server-Response in einem std::string x habe, wie extrahiere ich draus den header?

jan1985 schrieb:

Hallo, ich benutze Microsoft Visual Studio und habe Standard C/C++ Kenntnisse, jedoch komme einfach nicht an diesen Linker Fehlermeldungen vorbei:

Fehler 2 error LNK2019: Verweis auf nicht aufgelöstes externes Symbol "__imp__connect@12" in Funktion "_main". main.obj
Fehler 3 error LNK2019: Verweis auf nicht aufgelöstes externes Symbol "__imp__inet_addr@4" in Funktion "_main". main.obj
Fehler 4 error LNK2019: Verweis auf nicht aufgelöstes externes Symbol "__imp__htons@4" in Funktion "_main". main.obj
Fehler 5 error LNK2019: Verweis auf nicht aufgelöstes externes Symbol "__imp__socket@12" in Funktion "_main". main.obj
Fehler 6 error LNK2019: Verweis auf nicht aufgelöstes externes Symbol "__imp__WSAStartup@8" in Funktion "_main". main.obj
Fehler 7 fatal error LNK1120: 6 nicht aufgelöste externe Verweise. C:\Users\Jan\msvc\Sockets\Debug\Sockets.exe

Mein Code sieht so aus:
#include <iostream>
#include <winsock2.h>
using namespace std;

#define IP "79.233.22.28"
#define PORT 80

int main() {
	WSADATA wsa;
	int s;
	sockaddr_in service;
	int result;

	if(result = WSAStartup(MAKEWORD(2,2), &wsa) != 0) {
		cout << "WinSock Library couldn't be loaded!" << endl;
		cout << "Error: " << result << endl;
		return 1;
	}

	s = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

	if(s == -1) {
		cout << "Socket couldn't be set up!" << endl;
		return 1;
	}

	service.sin_family = AF_INET;
	service.sin_port = htons(PORT);
	service.sin_addr.s_addr = inet_addr(IP);
	result = connect(s, reinterpret_cast<sockaddr*>(&service), sizeof(service));

	if(result == -1) {
		cout << "Connection couldn't be established!" << endl;
		return 1;
	}
	cout << "Connection established!" << endl;
	closesocket(s);
}
Kann mir damit jemand weiterhelfen?
Vielen Dank schon mal im voraus!

EOP

Entsprechende lib einbinden!
wsock32.lib oder ws2_32.lib - hab vergessen wie die heisst.

EOP schrieb:

Entsprechende lib einbinden!
wsock32.lib oder ws2_32.lib - hab vergessen wie die heisst.

Letztere.

Artchi schrieb:

Die Kompressionsrate des JPEGs ist nur zu hoch. Man kann deshalb fast nichts erkennen. Ansonst hat das Bild irgendwie einen gewissen Charme.

Für eine derartige Grafik ist JPEG völlig ungeeignet. Am besten PNG.

Hab nochmal nachgeschaut, es ist schon, wie es sich gehört, ein PNG.

Weiß jemand warum bei mir die recv Funktion nicht ganz geht? Also besser gesagt will ich das das er die While schleife verlässt wenn ein bestimmtes Zeichen im String vorliegt... das letzte Zeichen beim empfangen endet mit "]", dennoch läuft die schleife weiter auch wenn ich (c == ']') in den Funktion schreibe. Die Text Datei wird ohne Zeichen einfach weiter gefüllt da recv nicht gestoppt wird. Weiß jemand woran das liegt oder wie ich am besten aus der while schleife raus komme wenn das letzte zeichen ein "]" ist, so das mein Programm nach empfangen aller Daten weiter laufen kann?

Fake oder Echt

empfängst und sendest du die daten zeichenweise oder als string ?
und normalerweise läuft recv nicht einfach weiter, es sei denn du sendest halt immer wieder was neu oder du hast iwo ein speicher problem, alles in allem wär der entsprechende code ganz interessant

DaRe

PlanloserCoder schrieb:

Weiß jemand warum bei mir die recv Funktion nicht ganz geht?

Also ich hoffe doch mal sehr, dass recv geht. Immerhin ist das keine Funktion die man so am Rande nutzt.

PlanloserCoder schrieb:

Also besser gesagt will ich das das er die While schleife verlässt wenn ein bestimmtes Zeichen im String vorliegt... das letzte Zeichen beim empfangen endet mit "]", dennoch läuft die schleife weiter auch wenn ich (c == ']') in den Funktion schreibe. Die Text Datei wird ohne Zeichen einfach weiter gefüllt da recv nicht gestoppt wird. Weiß jemand woran das liegt oder wie ich am besten aus der while schleife raus komme wenn das letzte zeichen ein "]" ist, so das mein Programm nach empfangen aller Daten weiter laufen kann?

-> Ist der TCP Socket blockierend(bin mir selbst nicht sicher, aber wenn der non-blocking ist, müsste recv einfach durchlaufen und einen Fehler returnen geben, wenn keine Daten anliegen)? Ich geh mal von TCP aus, wenn du dich bei HTTP meldest.

-> Was ist denn die genaue Rückgabe von recv?

-> Unter Linux kannst du recv ebenfalls nicht blockierend einstellen. Ist das MSG_DONTWAIT Flag in recv gesetzt?

Am besten du lässt mal ein bisschen Code sehen, dann kann ich mir auch ein besseres Bild machen.

Skylax

Der Artikel ist zwar jetzt schon ziemlich alt und ich weiß nicht ob das noch jemanden interessiert, aber die letzte Version des Programms (07.cpp, Link im Schlusswort) hat einen Bug im "Chunked download" Teil. Hier wird zunächst die Chunksize mit der GetLine Funktion ausgelesen (welche in den globalBuffer schreibt), um dann mit Recv den html text zu empfangen. Wenn das Ende des Chunks erreicht ist wird mit zweimaligem Aufruf von recv noch das verbleibende CRLF (\r\n) entsorgt (sowie im Artikel beschrieben). Die gemischte Verwendung der lowlevel 'recv' Funktion und high level 'Recv' Funktion ist hier aber problematisch. Ist der Chunk nämlich kleiner als die in GetLine verwendete Puffergröße, so ist das verbleibenden CRLF schon im globalBuffer, die recv löscht dann Zeichen die erst später kommen, während \r\n im globalBuffer verbleibt. Beim nächsten GetLine Aufruf wird dann \r in den sstream geschrieben und die falsche Chunksize ausgelesen, so dass das Programm fälschlicherweise abbricht. Entweder man ersetzt die for-schleife durch Recv(socker, &temp, 2,0) oder man macht es wie folgt:

cout << "Downloading... (Chunked)" << endl;
while(true)
{
    stringstream sstream;
    GetLine(Socket, sstream);
    //weiter Zeile auslesen, falls ein \r\n vorliegt:
    if(sstream.str() == "\r")   
    {
       GetLine(Socket, sstream);
    }
    int chunkSize = -1;
    sstream >> hex >> chunkSize; // Größe des nächsten Parts einlesen
    if(chunkSize <= 0)
    {
       break;
    }
    cout << "Downloading Part (" << chunkSize << " Bytes)... " << endl;
    recvSize = 0; // Vor jeder Schleife wieder auf 0 setzen
    while(recvSize < chunkSize)
    {
          int bytesToRecv = chunkSize - recvSize;
          if((bytesRecv = Recv(Socket, buf, bytesToRecv > sizeof(buf)?sizeof(buf) : bytesToRecv, 0)) <= 0)
          {
              throw CreateSocketError();
          }
          recvSize += bytesRecv;
          fout.write(buf, bytesRecv);
          cout << "\r" << recvSize * 100 / chunkSize << "%" << flush;
     }
     cout << endl;     
}

wobei ich die for-schleife weggelassen und durch einen bedingten GetLine Aufruf ersetzt habe.

huhu,
erstmal vielen Dank für das gute Tutorial hat mir stark weitergeholfen!
Kann es allerdings sein das sich etwas geändert hat?

an dieser Stelle:

std::runtime_error CreateSocketError()
{
    std::ostringstream temp;
#ifdef linux
    temp << "Socket-Fehler #" << errno << ": " << strerror(errno);
#else
    int error = WSAGetLastError();
    temp << "Socket-Fehler #" << error;
    char* msg;
    if(FormatMessage(FORMAT_MESSAGE_ALLOCATE_BUFFER | FORMAT_MESSAGE_FROM_SYSTEM,
                     NULL, error, MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT),
                     reinterpret_cast<char*>(&msg), 0, NULL))
    {
        try
        {
            temp << ": " << msg;
            LocalFree(msg);
        }
        catch(...)
        {
            LocalFree(msg);
            throw;
        }
    }
#endif
    return std::runtime_error(temp.str());
}

Den Fehler:
IntelliSense: Das Argument vom Typ ""char *"" ist mit dem Parameter vom Typ ""LPWSTR"" inkompatibel.

&

Fehler 1 error C2664: 'DWORD FormatMessageW(DWORD,LPCVOID,DWORD,DWORD,LPWSTR,DWORD,va_list *)' : Konvertierung von Argument 5 von 'char *' in 'LPWSTR' nicht möglich

Kann mir da jmd weiterhelfen?

Grüße

unskilled

FormatMessageA statt FormatMessage

Damit behandelst du nur das Symptom, aber nicht die Ursache. Sofern du Visual Studio nutzt, solltest du von Unicode auf Multibyte umstellen. Damit werden automatisch die Funktionen mit Endung A aufgerufen.