Microsoft Foundry a Foundry Local: Kde by měla běžet vaše AI aplikace?

Microsoft Foundry a Foundry Local tyto otázky řeší dvěma různými způsoby. Microsoft Foundry poskytuje cloudovou platformu pro tvorbu a správu AI aplikací. Foundry Local naopak umožňuje používání AI přímo na zařízení uživatele. Díky tomu lze vytvářet aplikace s cloudovou, lokální i hybridní architekturou.

Proč začíná být lokální AI důležitá

Pro mnoho aplikací je cloud stále přirozenou volbou. Cloudové modely jsou výkonné, škálovatelné a snadno dostupné bez nutnosti starat se o infrastrukturu.

Nicméně se ukazuje, že ne každý úkol potřebuje nebo by měl používat cloudový model. Lokální modely najdou využití, pokud vývojáři chtějí rychle testovat a porovnávat modely, prototypovat aplikace a neplatit za používání cloudových modelů, či vyvíjet AI aplikace, i když mají omezený přístup ke cloudovým službám nebo jsou limitování kredity.

Zákazníci mohou mít také obavy o soukromí a bezpečnost, pokud se citlivá data odesílají do cloudu. Lokální modely mohou být vhodnější pro scénáře, kde je důležité uchovávat důvěrné informace na zařízení, vyvíjet offline při omezené konektivitě nebo snížit latenci odpovědi.

To vše nutí vývojáře přemýšlet nad tím, kdy je vhodnější použít cloudovou AI a kdy lokální.

Co je to Microsoft Foundry?

Microsoft Foundry je platforma pro tvorbu, provoz a správu AI aplikací a agentů.

Online katalog obsahuje více než 1900 modelů od Microsoftu, OpenAI, Anthropicu, Mistralu, xAI, Meta, DeepSeek, Hugging Face a dalších providerů. Vývojáři tak mohou experimentovat s různými modely.

Nejenže můžete používat samotné modely, ale zároveň můžete vytvářet agenty, kteří mají přístup k modelům a toolům, disponují znalostmi, pamětí, či bezpečnostními a kontrolními mechanismy. SDK podporuje C#, JavaScript, Python nebo Rust.

Součásně Foundry podporuje tracing, monitoring, identity management, role-based access control, policies, networking, security a compliance.

Náklady na použití

Náklady AI aplikace neurčuje pouze zvolený model. Náklady závisí na tom, jakým způsobem je model hostovaný, a na zvolené architektuře.

U modelů hostovaných v Azure se účtování obvykle provádí prostřednictvím předplatného Azure. Patří sem modely Azure OpenAI a vybrané partnerské modely, za které se běžně platí podle míry využití - pay-as-you-go.

Foundry může sloužit také jako vývojová a orchestrační vrstva, kdy aplikace volá externího poskytovatele. V tomto případě je cena dána smluvními podmínkami s externím poskytovatelem.

Další náklady mohou účtované za používání dalších Azure služeb, pokud vaše AI aplikace budou využívat nějakou storage, vyhledávání, monitorování apod. To znamená, že se cena bude odvíjet od celkové architektury aplikace, nikoli jen od toho, jaký model používáte.

Foundry Local

Foundry Local je runtime pro interakci s AI, která běží přímo na uživatelském zařízení. Prompty se zpracovávají na přímo na lokálním hardwaru a žádná data se nemusí odesílat do cloudu.

Výhody tohoto přístupu:

• Data privacy: Text, zvuk, obrázky, prompty a generované výstupy zůstanou na zařízení.

• Offline provoz: Po stažení runtime a modelů aplikace fungují i v prostředí s omezeným připojením na internet.

• Nižší latence: Model běží lokálně, takže odezva je rychlejší.

• Nižší náklady na AI v cloudu: Některé úlohy se zpracují lokálně, a tím se ušetří náklady na cloud.

Lokální AI má ale stále svá omezení. Její výkon závisí na dostupném CPU, GPU nebo NPU, dále také na paměti a úložišti.

Jak funguje lokální runtime

Komunikace aplikace s lokálním modelem probíhá přes Foundry Local SDK. SDK volá Foundry Local Core API, které řídí životní cyklus modelů, sessions a abstrakci hardwaru.

Samotné spouštění modelu zajišťuje ONNX Runtime. Tento open source engine dokáže spouštět modely ve formátu ONNX nezávisle na frameworku, ve kterém byly natrénovány.

ONNX Runtime používá různé optimalizace a dokáže použít nejlepší dostupný hardware jako GPU nebo NPU, přičemž CPU je k dispozici jako krajní záloha.

Foundry katalog poskytuje modely v různých verzích a variantách optimalizovaných pro konkrétní hardware. Modely se stáhnou do lokální mezipaměti, a poté mohou běžet rovnou z disku.

Vývojové workflow

Pomocí Foundry CLI si můžete otestovat lokální AI ještě předtím, než ji integrujete do aplikace.

Na Windows se Foundry Local instaluje pomocí:

winget install Microsoft.FoundryLocal

Na macOS:

brew install foundrylocal

Ověření instalace a zobrazení dostupných příkazů:

foundry --version
foundry --help

Procházení a testování modelů:

foundry model list
foundry model info phi-4-mini
foundry model run phi-4-mini

Kontrola nacachovaných modelů a stav lokální služby:

foundry cache list
foundry cache location
foundry service status

Celé to vede k vývojovému cyklu: najít model, prozkoumat ho, spustit prompt, vyhodnotit jeho chování a teprve potom ho integrovat do aplikace.

Cloudový, lokální nebo hybridní přístup?

Každý přístup má svoje silné stránky.

Hybridní architektura je často nejpraktičtější. Aplikace může používat lokální model, protože je rychlý a citlivá data jsou v bezpečí. Složitější požadavky se následně zpracovávají cloudovým modelem.

Například aplikace pro práci s dokumenty může citlivý obsah zpracovat lokálně a cloudový model použít pro složitější úkol, který vyžaduje větší přemýšlení.

Routing může být na základě:

• Citlivosti dat
• Složitosti úkolu
• Dostupném hardwaru
• Dostupnosti sítě
• Požadavků na rychlost odezvy
• Limitů na náklady AI
• Firemních zásad

Showcase: Hybridní AI v praxi

Jak by mohla vypadat aplikace, která využívá cloudovu, lokální a hybridní AI? Představte si aplikaci pro zpracování poznámek z meetingů. Zápisky mohou obsahovat důvěrné informace a zároveň se může lišit jejich délka.

Jak je z dema patrné, je zvolen hybridní přístup, kdy se lokálním modelem zpracovávají zápisky, které obsahují citlivé informace. Cloudový model se použil pro sumarizaci zápisků, které citlivé informace neobsahovaly. Routing je řešen podle toho, jestli data obsahují citlivé informace, případně podle délky zápisků.