schneller Downloader[Theorie]

Keksman

Hallo,

ich habe schon seit längerem eine Idee im Kopf. Dabei handelt es sich um einen Downloader, den es nach meinen Infos noch gar nicht gibt. Folgendes Szenario:
Man möchte eine 10 Gb große Datei von einem Server herunterladen und man hat selber eine 50000 i-net Leitung. Der Server gibt einem aber nur 50 kb/s. Bei einem Download würde man seine eigene Leitung also nur sehr wenig benutzen.
Wie wäre es wenn man einen Downloader schreiben würde der sich mit mehren Proxys verbinden. Z.B 10 Proxys. Und man dann dem ersten Proxy sagt das er die ersten 10% der Datei laden soll. Der zweite proxy soll ebenfalls 10% der Datei laden. (Natürlich nicht die gleichen Pakete die auch Proxy eins lädt.) Die anderen Proxys laden somit die restlich 80%. Der Server gibt jedem Proxy volle 50 kb/s, da es für ihn ja so aussieht als wären jetzt 10 User diese Datei am laden. Bei mit kommen dann 10 * 50 kb/s = 500 kb/s an. Wenn alle Proxys fertig sind mit laden, werden die 10 Parts zusammengefügt, sodass man nun die fertige Datei hat.
Ist das eurer Meinung nach möglich? Ich kenne mich noch nicht so mit Netzwerkprogrammierung aus. Wenn es so ein Programm wirklich geben würde, würde es auf Dauer nicht gut gehen, weil dann jeder dieses Programm hat und jeder versucht die Download Geschwindigkeit zu erhöhen?
Was haltet ihr davon?

SG1

Ersetze Proxy durch Mirror, und das ganze ist ein alter Hut.

Keksman

kennt jemand denn ein Programm dafür? Mit DownThemall funktioniert es nicht so wie gewünscht.
Stellt euch doch mal vor man würde so ein Programm für das Onion Netzwerk schreiben. Dann hätte man selber eine extreme hohe Geschwindigkeit. Wenn aber andere diese Programm auch haben, nutzen sie es ebenfalls und die Geschwindigkeit geht wieder auf "normal" zurück. Es würde einem doch nur selber etwas bringen. Möglich wäre es meines erachtens. So ein Programm kann es doch also gar nicht Öffentlich geben

nman

Wenn der Server in Wirklichkeit mehr Bandbreite hat und dich nur per IP drosselt, dann könnte sowas wohl funktionieren, ja.

Ich persönlich würde aber vorher mal versuchen, ob nicht einfach pro Verbindung gedrosselt wird, dh. einfach mal mehrere Verbindungen aufmachen.

aria2 ist dafür ganz praktisch und kann auch ein File von mehreren Servern gleichzeitig herunterladen.
http://aria2.sourceforge.net/manual/en/html/aria2c.html#example

Multi-Proxy-Support für einen einzelnen Download hat aria2 soweit ich weiß nicht; könntest du aber evtl. mit ein paar SSH-Tunnels und URLs der Form "localhost:1234/pfad/zu/deinem/file" lösen.

volkard

Keksman schrieb:

Der Server gibt einem aber nur 50 kb/s.

Das machten früher manche Server; deshalb hatten wir früher solche Downloader benutzt.

nman

Editiere doch bitte nicht deine Beiträge vollkommen um, das ist wirklich lästig wenn man gerade antwortet und der beantwortete Beitrag dann gar nicht mehr da ist.

Keksman schrieb:

So ein Programm kann es doch also gar nicht Öffentlich geben

Siehe oben. Natürlich gibt es sowas. Kann aber auch nicht Tor auf magische Weise schnell machen.

Mechanics

Bin mir nicht sicher, obs sowas tatsächlich schon, dürfte eigentlich nichts besonderes sein. Das kriegt man denk ich mit einem kleinen Wrapper Script in einer beliebigen Sprache um wget oder so.
Dürfte aber auch ziemlich uninteressant sein für Endanwender. Der Aufwand ist zu hoch. Es gibt doch kaum riesige interessante Dateien, die nur auf einem bestimmten Server liegen, der auch noch die Bandbreite reduziert.

nman

Mechanics schrieb:

Bin mir nicht sicher, obs sowas tatsächlich schon, dürfte eigentlich nichts besonderes sein.

Wie gesagt, aria2. Und vmtl. eine Menge anderer Tools.

Das kriegt man denk ich mit einem kleinen Wrapper Script in einer beliebigen Sprache um wget oder so.

Nein, wget unterstützt keine Range-Angaben. curl(1) kann das IIRC aber.

Keksman

Es gibt doch kaum riesige interessante Dateien, die nur auf einem bestimmten Server liegen, der auch noch die Bandbreite reduziert.

Was ist mit och's? Wenn ich jetzt von uploaded.net eine Datei runterladen möchte wird der Download ohne Premium gedrosselt. Logischerweise werden hier auch parallele Downloads gesperrt.
Ich konnte aria2c auf Debian im Moment nicht compilieren.
Hier die letzten Zeilen der Ausgabe nach dem Befehl make:

make[3]: Entering directory `/home/joshua/Downloads/aria2c/aria2-1.18.5/src'
  CXX      LibgnutlsTLSSession.lo
LibgnutlsTLSSession.cc: In member function 'virtual int aria2::GnuTLSSession::init(int)':
LibgnutlsTLSSession.cc:86:40: error: invalid conversion from 'unsigned int' to 'gnutls_connection_end_t' [-fpermissive]
In file included from LibgnutlsTLSSession.h:40:0,
                 from LibgnutlsTLSSession.cc:35:
/usr/include/gnutls/gnutls.h:680:7: error:   initializing argument 2 of 'int gnutls_init(gnutls_session_int**, gnutls_connection_end_t)' [-fpermissive]
make[3]: *** [LibgnutlsTLSSession.lo] Fehler 1
make[3]: Leaving directory `/home/joshua/Downloads/aria2c/aria2-1.18.5/src'
make[2]: *** [all-recursive] Fehler 1
make[2]: Leaving directory `/home/joshua/Downloads/aria2c/aria2-1.18.5/src'
make[1]: *** [all-recursive] Fehler 1
make[1]: Leaving directory `/home/joshua/Downloads/aria2c/aria2-1.18.5'
make: *** [all] Fehler 2
joshua@jo-desktop:~/Downloads/aria2c/aria2-1.18.5$

libgnutls-dev ist aber installiert. Ne binary gibt's ja soweit ich weiß nicht für Debian. Ich werde es morgen mal auf dem Windows Rechner ausprobieren.

Mechanics

Keksman schrieb:

Wenn ich jetzt von uploaded.net eine Datei runterladen möchte wird der Download ohne Premium gedrosselt.

Hab mir schon gedacht, dass es um sowas geht. Mit sowas bist du dann mindestens in der Grauzone. Aber wie gesagt, der Aufwand ist auch für sowas viel zu hoch. Bevor ich mir irgendwelche Umstände mit Proxies usw. mache, hol ich mir notfalls einen Premium Account für paar Euro und hab meine Ruhe.

Wenn es um OCHs geht braucht man sich aber auch keine Gedanken um das splitting zu machen da die Dateien ja schon pakettiert sind. Außerdem geht das mit Proxys ja auch heute schon. Nur ist das natürlich Betrug weil du diese Bandbreitensperre umgehst und ein Schnorrer bist du auch noch. Da bietet dir jemand etwas kostenloses an, doch DIR reicht das natürlich nicht, du willst ALLES haben. Das ist armselig. Und auch bei anderen Diensten, wenn die Bandbreite so berechnet worden ist geht dich das nichts an. Mach dir mal Gedanken wer das bezahlt und warum dir das nicht reicht und du, mit krimineller Energie, auch noch versuchst ein kostenloses Angebot für dich upzugraden.

Keksman

Mit sowas bist du dann mindestens in der Grauzone

Ich hab nicht geschrieben das ich etwas illegales downloaden möchte. Aber uploaded.net ist ja quasi dafür bekannt.

Bevor ich mir irgendwelche Umstände mit Proxies usw. mache

Wenn ich alles über tor laufen lasse sollten die keine probleme machen.

der Aufwand ist auch für sowas viel zu hoch

Wenn du eine bessere Idee hast, lass es mich wissen. Torrent wäre zu unsicher und mit Tor wieder zu langsam.

nman

Keksman schrieb:

Ne binary gibt's ja soweit ich weiß nicht für Debian.

Wie kommst du denn darauf?
https://packages.debian.org/wheezy/aria2

Wenn du eine bessere Idee hast, lass es mich wissen.

Deine Idee löst deine Probleme mit uploaded.net ja – wie du schon selbst festgestellt hast – auch nicht, bzw. nur extrem mühsam. Die Lösung wurde ebenfalls schon genannt: Gib eben die paar Euro für den Pro-Account aus und fertig.

Keksman

Nur ist das natürlich Betrug weil du diese Bandbreitensperre umgehst und ein Schnorrer bist du auch noch. Da bietet dir jemand etwas kostenloses an, doch DIR reicht das natürlich nicht, du willst ALLES haben. Das ist armselig. Und auch bei anderen Diensten, wenn die Bandbreite so berechnet worden ist geht dich das nichts an.

Da gebe ich dir vollkommen Recht. Das war mir ja auch von Anfang an klar ,dass dieses Vorgehen nicht gerade gut für den Betreiber des Servers wäre. Ich suchte damit nur einen Server der mir den Traffic beschränkt. Wenn man das ganze auf das Tor Netzwerk überträgt, könnte man schnell und anonym im Internet surfen.

nman

Keksman schrieb:

Wenn man das ganze auf das Tor Netzwerk überträgt, könnte man schnell und anonym im Internet surfen.

Tor hat nicht primär ein Problem mit dem Datendurchsatz, sondern eher mit der Latenz und der oft miesen Qualität der Relays. Die würden so auch nicht besser.