Inference Bridge: Browserbrug voor lokale en cloud LLM-toegang
Inference Bridge, gebouwd door samsamskies (SamSamskies), is een Chrome-extensie die de experimentele Inference Provider API implementeert om web-apps en LLM's te verbinden. Het injecteert een gestandaardiseerd window.inference-object zodat pagina's AI-antwoorden rechtstreeks via de browser kunnen aanvragen, met ondersteuning voor streamingtekst via window.inference.request() en routering naar OpenAI met een opgeslagen sleutel of naar lokale Ollama-instanties. Gericht op webontwikkelaars, AI-onderzoekers en privacy-bewuste gebruikers, houdt het API-sleutels binnen de extensie en biedt het per-oorsprong toestemmingscontroles voor veiligere modeltoegang.
Hoe het een standaard AI-interface aan webpagina's blootstelt
Voegt een browserzijde API toe door een window.inference object te bieden dat pagina's direct kunnen aanroepen. De extensie ondersteunt gestreamde tekstchat via window.inference.request(), zodat web-apps tokens kunnen consumeren zodra ze binnenkomen. Verzoeken worden gevalideerd binnen de extensie voordat er netwerkactiviteit plaatsvindt, wat voorkomt dat pagina's willekeurige payloads doorsturen. Deze aanpak laat webinterfaces fungeren als LLM-clients zonder providerreferenties in paginascripts in te voegen.
Hoe het referenties scheidt en toegang controleert
Per-oorsprong toestemming prompts vragen gebruikers om Toestaan, Weigeren of Onthouden van toegang voor elke provider en model, wat fijne controle per site biedt. API-sleutels worden opgeslagen in de service worker van de extensie, zodat paginascripts nooit referenties zien. De extensie verwijdert ook Origin- en Referer-headers om lokale verbindingen te vergemakkelijken, en het beperkt injectie tot veilige top-level contexten om de blootstelling aan onveilige pagina's te verminderen.
Waar lokale modellen en cloud-sleutels elkaar ontmoeten
Geünificeerde API-oppervlakte ondersteunt zowel lokale Ollama-servers als een breng-je-eigen-sleutel OpenAI-optie, zodat ontwikkelaars met beide providers kunnen prototypen. De extensie behandelt headerverwijdering en lokale routering om veelvoorkomende CORS-barrières voor lokale inferentie te omzeilen, waardoor de noodzaak voor een extra proxy tijdens het testen vervalt. Streamingondersteuning en een enkele interface zorgen ervoor dat prototype-integraties consistent functioneren over provider types.
Praktische limieten waar ontwikkelaars rekening mee moeten houden
Gebouwd als een experimentele referentie, beperkt de extensie injectie tot top-level frames en werkt niet op file: pagina's of in sub-frames, zodat integraties die afhankelijk zijn van ingesloten frames alternatieve ontwerpen nodig hebben. Het richt zich alleen op Chromium-gebaseerde browsers, en de ontwikkelaar positioneert het als de officiële referentie-implementatie voor het voorstel van de Inference Provider API, zodat teams het hulpmiddel als een startpunt moeten beschouwen in plaats van een afgewerkt productiecomponent.
Een pragmatische, ontwikkelaar-gerichte brug met experimentele afwegingen
De extensie is een pragmatische optie voor ontwikkelaars en onderzoekers die prototypes van browser-naar-LLM workflows maken en experimentele tools en integratiewerk accepteren. Verwacht dat je applicatiecode moet aanpassen en tests in gecontroleerde omgevingen moet uitvoeren. Als praktische tip, beperk de onthouden machtigingen tot ontwikkelingshosts en houd model-eindpunten op geïsoleerde netwerken tijdens het testen. De tool dient als een werkreferentie voor het implementeren van de voorgestelde browser API.
