Surge - Filesharing zu 100% dezentral und frei von Abmahnungen?


Kommentare zu folgendem Beitrag: Surge – Filesharing zu 100% dezentral und frei von Abmahnungen?

1 „Gefällt mir“

Hey zusammen!
Ich mache hier mal den Anfang und kann nur das im Artikel geschriebene wiederholen: Gebt uns gerne Feedback soviel ihr könnt. Ich bin einer der „3 Dudes“, die Surge seit etwa 2 Jahren entwickelt und denke, dass Surge eine Lösung ist, die viele Probleme des heutigen Filesharings lösen kann.

Ich persönlich betrachte Surge aktuell als „Proof of Concept“ - daher suchen wir auch dringend Leute, die uns „Disproofen“ wollen und können! Funktionen können immer hinzugebaut werden.

Darum fragt mich hier gerne alles, was ihr wissen wollt!

@wizardofcodez finde die Oberfläche schön sauber und übersichtlich.
Gibt es denn schon eine Channel Liste irgendwo? Habe bisher nix gefunden.

LG
der Mitleser.

Danke schon mal für die Blumen :slight_smile:
Eine Channel-Liste gibt es (noch) nicht. Zwar kann man diese aus der Blockchain ziehen, jedoch wollten wir das sharen von Channeln erst einmal auf anderen Wegen tun.

Wir haben aber einen Channel „Tarnkappe“ laufen, bei dem ihr mal die Geschwindigkeiten testen könnt.

1 „Gefällt mir“

Die Animation für den Transefer ist genial gemacht. Übrigens sehr intuitiv, einfach den Channel Namen einzugeben und schon ist man eingeschrieben. Find ich wirklich gelungen.
Genug der Blümchen vorerst.


Eine Frage zum File Hash - dieser wird einzigartig vergeben oder? Werden damit identische Dateien von allen verfügbaren Nodes gezogen? Oder gibt es trotzdem das Problem des duplicated content?

Ich bin gespannt wohin sich dieses Projekt entwickelt.

Dann stelle ich die Blumen mal in eine Vase und beantworte deine Frage:

Der Filehash ist ein sha256 hash, der auf die Datei angewendet wird - ich glaube BTT nutzt die gleiche Technik. (Für Code: https://github.com/rule110-io/surge/blob/development/backend/io.go#L179-L207)

Heißt: Gleiche Hashe werden aggregiert und können somit von allen verfügbaren Hosts gezogen werden. Ist „duplicated content“ etwas, was man in diesem Szenario adressieren muss?

Mich freut auch, dass dein Speed sehr gut ist: 1.6 MB/s mit zwei Seedern über ein dezentrales Knotennetz mit 5 Hops erfreut immer mein Gemüt :smiley:

3 „Gefällt mir“

Bei unseren Tests lag die durchschnittliche Übertragungsgeschwindigkeit bei über n=5 Hops bei 25 bis 30 Mbit, was ebenso eine Verwendung von Streaming in Surge ermöglichen kann.

Das wäre ein vielfaches schneller als Tribler mit nur 3 Hops… Das Projekt klingt interessant. Bisher war anonymisierendes P2P ja eher wenig Praktikabel denn wer will schon einen legalen Linux Film in 4K mit 50KB/S runterladen ? 30 Mbit wären da ja schon sehr praktikabel und machbar.

Ich würde dennoch dazu raten zusätzlich ein VPN hinzu zu schalten.

Außerdem müssten die Abmahner sowohl die Entry- als auch die Exit-Node kontrollieren, um an die IP-Adresse der Filesharer zu gelangen.

Das würde aber auch bedeuten das die dort DPI betreiben müssten, was bei E2E Verschlüsselung eher schwierig sein dürfte und wohl auch kaum legal nach derzeitiger DSGVO.

2 „Gefällt mir“

sogar per VPN :slight_smile:

1 „Gefällt mir“

Kleine Info noch hierzu: In unserem kleinen Kämmerlein bekommen wir mit der Geschwindigkeit sogar ein dezentrales Streaming hin! Es gibt also noch viel Potential nach oben.

Das kontrollieren der Entry- UND Exit-Node ist auch einfacher gesagt als getan. Da das Routing immer dynamisch ist und die Dateien in Chunks gesendet werden musst du für eine klare Rückverfolgbarkeit ALLE Chunks protokollieren - die Topologie des NKN Netzwerks ändert sich aber stetig.

Heißt im Umkehrschluss - du musst mehr als 50% der Netzwerkknoten besitzen um überhaupt eine Chance zu haben. 60.000 Knoten zu betreiben ist jetzt nicht unbedingt ein Leichtes würde ich behaupten.

1 „Gefällt mir“

Frage: Wurde der bbb eben verschoben? Ist bei mir unter #Tarnkappe nicht mehr zu finden - habe jedoch auch die original Datei vom Blender Projekt geladen und in meinen eigenen Kanal hochgeladen. Feature oder bug? Oder hab ich einfach etwas übersehen?

Klingt nach Bug und würde auch Sinn machen - nehme ich mal mit auf in unser Board

Wer betreibt denn derzeit die ganzen Knoten ? Sind da größere Serverkapazitäten mit hinzugebucht oder sind die derzeit vorhandenen Peers alle dezentral verbunden ?

Wäre es technisch Möglich Exit Relays wie bei Tribler zu betreiben so das auch „normale“ Torrents gedownloaded und im Surge Netzwerk reseeded werden können ?

Muss man Channels abboniert haben um Dateien zu finden oder kann man auch das gesamte Netzwerk einfach so durchsuchen ?

Werden file Transfers über TCP oder UDP abgewickelt ? (Falls TCP verwendet wird könnte man Surge ja bei Bedarf mit Whonix noch zusätzlich über TOR laufen lassen. Wäre für Whistleblower mit mehr Sicherheitsbedarf sicherlich sehr interessant).

1 „Gefällt mir“

Scheinbar kein Bug. Die Datei wird einfach nicht mehr im Channel Tarnkappe dargestellt, sondern in meinem eigenen.

Folgendes habe ich getan:

  1. Neue Instanz auf einem anderen PC gestartet
  2. Chan Tarnkappe abonniert
  3. Programm neugestartet
    4 > Datei bbb_sunflower vorhanden unter #Tarnkappe
  4. eigenen Channel abonniert
  5. Progamm neugestartet
  6. Datei in eigenem Channel vorhanden, jedoch bei #Tarnkappe ausgeblendet.
    8 = It’s a feature what will be described soon :slight_smile:
2 „Gefällt mir“

Vielen Dank für das Feedback. Das ist echt klasse! Wir haben uns mit dem Artikel wirklich viel Mühe gegeben, eben damit genau das passiert. Umso mehr Rückmeldungen und Bug-Reports die Jungs kriegen, umso besser!

2 „Gefällt mir“

image

Ist über NKN eine spätere Kommerzialisierung geplant ? Wie würde diese bei Surge aussehen ?

Also etwa so wer nicht zahlt bekommt langsamere Downloads und wer Zahlt bekommt die Daten priorisiert ausgespielt ? (Wäre ja durchaus interessant um Power Seeder anzulocken die so Coins minen wollen).

BTT hat nur noch einen kleinen Vorsprung…
BTT baut auf dem weltweit größte dezentrale Peer-to-Peer-Netzwerk mit über 90 Millionen aktiven Benutzern und einer installierten Basis von insgesamt über 2 Milliarden Clients auf!!
Als integraler Bestandteil des BitTorrent-Ökosystems verfügt BTTOLD jedoch über einen Gesamtvorrat von nur 990 Milliarden Token mit durchschnittlich 11.000 Token pro aktivem Benutzer und durchschnittlich weniger als 500 Token pro Kunde - deshalb dann das:

Unter Beibehaltung der aktuellen Marktkapitalisierung werden die alten BTT-Token umbenannt und mit den neuen BTT-Token im Verhältnis 1:1000 getauscht. In der Zwischenzeit wird das Gesamtangebot an BTT-Token von 990.000.000.000 auf 990.000.000.000.000 erhöht.
Aber ja, ich stimme dir zu:

:wink: :grinning:

Wer betreibt denn derzeit die ganzen Knoten ? Sind da größere Serverkapazitäten mit hinzugebucht oder sind die derzeit vorhandenen Peers alle dezentral verbunden ?

Aktuell sind das Privatpersonen, die bereits Server für andere Dinge betreiben und ihre übriggebliebene Bandbreite mit dem NKN Netzwerk teilen wollen und Heimanwender, die technisch versiert sind. Dafür bekommen sie Rewards in Form von NKN Tokens, die sie dann auf Tauschbörsen in FIAT Geld umtauschen können um Kosten zu decken. Der NKN Client an sich braucht sehr wenige Ressourcen und ich habe meinen Knoten z.B. zu Hause auf einem Raspberry Pi laufen.

Wäre es technisch Möglich Exit Relays wie bei Tribler zu betreiben so das auch „normale“ Torrents gedownloaded und im Surge Netzwerk reseeded werden können ?

Technisch möglich definitiv!

Muss man Channels abboniert haben um Dateien zu finden oder kann man auch das gesamte Netzwerk einfach so durchsuchen ?

Ja, muss man abboniert haben. Ein komplettes Crawling auf Client-Seite wäre möglich aber Ressourcentechnisch nicht effektiv. Besser wäre hier imo ein Crawler-Dienst, der alle geteilten Dateien und Channel auf einer Webseite aggregiert und eine Suchoberfläche bietet (SurgeBay?!)

Werden file Transfers über TCP oder UDP abgewickelt ? (Falls TCP verwendet wird könnte man Surge ja bei Bedarf mit Whonix noch zusätzlich über TOR laufen lassen. Wäre für Whistleblower mit mehr Sicherheitsbedarf sicherlich sehr interessant).

Surge an sich nutzt den TCP Stack des NKN Netzwerkes - NKN hat aber auch einen UDP-Stack soweit mir bekannt. Die verwendete Library kommt direkt von NKN https://github.com/nknorg/nkn-sdk-go

Generell kann man also sagen:

  • NKN ist das P2P Netzwerk und liefert die Infrastruktur
  • Surge ist das File-Sharing Protokoll, was NKN Services nutzt
2 „Gefällt mir“

Hm… Kann man da nicht eine dezentrale Datenbank mit allen Filenames aufbauen die im NKN Netz abgelegt ist und dann von den Peers durchsucht werden kann ? Wäre evtl DAU freundlicher von der Usability her gesehen…

Ansonsten müsste man ja die Channels von 10.000 Usern abonieren um alle freigegebenen Dateien im Netz finden zu können.

Tribler hat ja auch eine dezentrale Suche, evtl könnte man das Prinzip ja auch für Surge portieren.

3 „Gefällt mir“

Ist über NKN eine spätere Kommerzialisierung geplant ? Wie würde diese bei Surge aussehen ?

Klare Aussage vom Team: NEIN. NKN Labs verdient sein Geld mit Lösungen auf ihrer eigenen Infrastruktur und hat vor allem den B2B Bereich im Blick. Ich gehöre aber nicht zum Core-Team. Daher meine Aussagen auch so behandeln. Wir können die Jungs aber auch bestimmt dazu bewegen hier mal Rede und Antwort zu stehen.

Also etwa so wer nicht zahlt bekommt langsamere Downloads und wer Zahlt bekommt die Daten priorisiert ausgespielt ? (Wäre ja durchaus interessant um Power Seeder anzulocken die so Coins minen wollen).

Hier kann ich aktuell nur sagen, dass das NKN Netzwerk dauerhaft unterbelastet ist. Aber das Ökosystem hier soll selbstregulierend sein (da dezentral). Ein paar Beispiele:

  • Bei Überlastung des Netzwerkes kann man einfach fees nutzen, damit Datenpakete priorisiert werden. Das kommt dann wieder den Knotenbetreibern zu Gute.
  • Für alle Services (DNS, PubSub) gilt das gleiche Fee-Prinzip
  • NKN arbeitet aktuell ebenso an Smart Contracts. Das ermöglicht dann, dass Seeder für Files Gebühren erheben können

NKN ist zwar für die Datenablage nicht geeignet aber eine Channel-Liste mit allen geteilten Files ist über die Blockchain zugänglich. Daher kann eine solche „Vollindexierung“ auch in Surge als „opt-in“ Funktion ergänzt werden.
Manche wollen ihre Dateien online suchen, manche direkt in Surge - daher würde so eine opt-in Funktion sogar Sinn machen!

2 „Gefällt mir“