Dies ist die Linux-App namens Smallpond, deren neueste Version als smallpondv0.15.0sourcecode.zip heruntergeladen werden kann. Sie kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Smallpond mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
Kleiner Teich
BESCHREIBUNG
smallpond ist ein leichtgewichtiges, verteiltes Datenverarbeitungs-Framework von DeepSeek, das die Skalierung von DuckDB-Workloads über Cluster mithilfe des 3FS-Backends (Fire-Flyer File System) ermöglicht. Die Idee dahinter ist, die schnelle Analyse-Engine von DuckDB beizubehalten, sie aber von Einzelknoten- auf Mehrknoten-Konfigurationen zu erweitern. So können Sie große Datensätze (z. B. im Petabyte-Bereich) verarbeiten, ohne auf ein schwergewichtiges System wie Spark umsteigen zu müssen. Benutzer schreiben Python-ähnlichen Code (über DataFrame-APIs oder SQL-Strings), um ihre Transformationen auszudrücken. Im Hintergrund werden Aufgaben geplant (oft über Ray) und in DuckDB-Instanzen übertragen, die partitionierte Daten verarbeiten. Da die Speicherebene (3FS) für wahlfreien Zugriff und hohen Durchsatz optimiert ist, kann smallpond Daten mischen, neu partitionieren und Zwischenergebnisse über Knoten hinweg verwalten.
Eigenschaften
- Verteilte Erweiterung von DuckDB: Unterstützung für die Ausführung von SQL-/DataFrame-Operationen über Knoten hinweg
- Verwendet 3FS als gemeinsames Daten-Backend zur Verwaltung der Datenspeicherung und Shuffle-Vorgänge
- APIs für Transformationen über SQL-Strings oder Python-Funktionen (map, partial_sql)
- Unterstützung für die Neupartitionierung nach Anzahl der Partitionen, Zeilenanzahl oder Hash einer Spalte
- Zwei Ausführungsmodi: dynamische Graphausführung auf hoher Ebene (Ray-basiert) und statische Graphausführung auf niedriger Ebene
- Optimiert für große Arbeitslasten (Benchmark: ~100 TiB Sortierung)
Programmiersprache
Python
Kategorien
Diese Anwendung kann auch von https://sourceforge.net/projects/smallpond.mirror/ heruntergeladen werden. Sie wurde in OnWorks gehostet, um sie auf einfachste Weise online von einem unserer kostenlosen Betriebssysteme aus ausführen zu können.
