Rulare AI local pe Windows Server cu Microsoft Foundry Local – alternativa nativă la Ollama (NPU/GPU/CPU automat)
Ollama este o soluție solidă pentru rulare de LLM-uri locale, dar nu este optimizată nativ pentru Windows: nu folosește automat NPU-ul (pe serverele/laptopurile cu acceleratoare AI), nu se integrează cu Windows Update/drivere, și nu oferă un SDK oficial Microsoft pentru aplicații de producție.
Microsoft Foundry Local este soluția oficială Microsoft de inferență AI locală, ajunsă la disponibilitate generală (GA) în aprilie 2026. Rulează pe Windows, macOS și Linux, folosește ONNX Runtime, alege automat cel mai bun hardware disponibil (NPU → GPU → CPU) și expune un API compatibil OpenAI — deci orice cod scris pentru OpenAI/Ollama poate fi adaptat rapid.
[mai mult...]
