Dit is de Windows-app Text Generation Inference, waarvan de nieuwste versie kan worden gedownload als v3.3.2sourcecode.zip. Deze kan online worden uitgevoerd via de gratis hostingprovider OnWorks voor werkstations.
Download en gebruik online gratis deze app genaamd Text Generation Inference met OnWorks.
Volg deze instructies om deze app uit te voeren:
- 1. Download deze applicatie op uw pc.
- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.
- 3. Upload deze applicatie in zo'n bestandsbeheerder.
- 4. Start een OS OnWorks online emulator vanaf deze website, maar een betere Windows online emulator.
- 5. Ga vanuit het OnWorks Windows-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.
- 6. Download de applicatie en installeer deze.
- 7. Download Wine van de softwarebronnen voor Linux-distributies. Eenmaal geïnstalleerd, kunt u vervolgens dubbelklikken op de app om ze met Wine uit te voeren. Je kunt ook PlayOnLinux proberen, een mooie interface via Wine waarmee je populaire Windows-programma's en -games kunt installeren.
Wine is een manier om Windows-software op Linux uit te voeren, maar zonder dat Windows vereist is. Wine is een open-source Windows-compatibiliteitslaag die Windows-programma's rechtstreeks op elke Linux-desktop kan uitvoeren. In wezen probeert Wine genoeg van Windows opnieuw te implementeren, zodat het al die Windows-applicaties kan draaien zonder Windows echt nodig te hebben.
SCHERMSCHERMEN:
Inferentie voor het genereren van tekst
BESCHRIJVING:
Text Generation Inference is een krachtige inferentieserver voor tekstgeneratiemodellen, geoptimaliseerd voor Hugging Face's Transformers. Het is ontworpen om grote taalmodellen efficiënt te bedienen met optimalisaties voor prestaties en schaalbaarheid.
Kenmerken
- Geoptimaliseerd voor het bedienen van grote taalmodellen (LLM's)
- Ondersteunt batching en parallelisme voor een hoge doorvoer
- Kwantiseringsondersteuning voor verbeterde prestaties
- API-gebaseerde implementatie voor eenvoudige integratie
- GPU-versnelling en multi-node-schaling
- Ingebouwde tokenstreaming voor realtime-reacties
Programmeertaal
Python
Categorieën
Deze applicatie kan ook worden gedownload van https://sourceforge.net/projects/text-generation-infer.mirror/. Deze is gehost in OnWorks, zodat deze eenvoudig online kan worden uitgevoerd via een van onze gratis besturingssystemen.