Tłumaczenie z użyciem lokalnego LLM

Wstrzyknij lokalnie hostowany LLM (np. przez Ollama) jako dostawcę tłumaczeń do dyrektywy @strTranslate, aby tłumaczyć wartość pola na dowolny wybrany język.

Opis

Udostępnij lokalnie hostowany LLM jako dostawcę tłumaczeń w dyrektywie @strTranslate.

Dodaj dyrektywę @strTranslate do dowolnego pola typu String, aby przetłumaczyć je na wybrany język.

Na przykład, to query tłumaczy pola title i content wpisu z angielskiego na francuski przy użyciu lokalnie hostowanego LLM:

{
  posts {
    title @strTranslate(
      from: "en",
      to: "fr",
      provider: self_hosted_llm
    )
    
    content @strTranslate(
      from: "en",
      to: "fr",
      provider: self_hosted_llm
    )
  }
}

Autoryzacja

Jeśli hostujesz LLM na własnym serwerze, nie będziesz potrzebować klucza API.

Jeśli używasz lokalnie hostowanego LLM w chmurze (np. korzystając z Ollama Cloud), może być konieczne podanie klucza API za pośrednictwem zakładki Plugin Management > Self-Hosted LLM Translation na stronie Ustawień.

Następnie skorzystaj z jednej z poniższych metod, aby wprowadzić wartość.

Przez Ustawienia

Wprowadź klucz API w odpowiednich polach na stronie Ustawień i kliknij "Save Changes (All)":

W `wp-config.php`

Dodaj stałą GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_API_KEY w wp-config.php:

define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_API_KEY', '{your API key}' );

Przez zmienną środowiskową

Zdefiniuj zmienną środowiskową SELF_HOSTED_LLM_TRANSLATION_SERVICES_API_KEY.

Konfiguracja LLM

Musisz skonfigurować następujące wartości:

Endpoint URL: Adres URL endpointu HTTP dla Twojego lokalnie hostowanego modelu LLM. Np.:
- http://localhost:11434/v1/chat/completions przy użyciu formatu ChatGPT i hostowaniu modelu LLM na własnym serwerze za pomocą Ollama
- http://localhost:11434/v1/messages przy użyciu formatu Claude i hostowaniu modelu LLM na własnym serwerze za pomocą Ollama
- https://ollama.com/v1/chat/completions przy użyciu formatu ChatGPT i Ollama Cloud
- https://ollama.com/v1/messages przy użyciu formatu Claude i Ollama Cloud
Compatible with API endpoint from: Z którym dostawcą usług AI Twój niestandardowy endpoint jest kompatybilny — dostępne opcje to ChatGPT i Claude
Model: Nazwa lokalnie hostowanego modelu LLM używanego do tłumaczenia treści.
Max tokens: Maksymalna liczba tokenów, jaką model może wygenerować w odpowiedzi. Pozostaw puste, aby nie ustawiać limitu dla ChatGPT, lub użyj wartości domyślnej dla Claude.

Skorzystaj z jednej z poniższych metod, aby wprowadzić wartości.

Przez Ustawienia

Wprowadź model w odpowiednim polu na stronie Ustawień i kliknij "Save Changes (All)":

W `wp-config.php`

Dodaj stałe w wp-config.php:

GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_URL
GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_FORMAT_PROVIDER
GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_MODEL
GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_MAX_TOKENS

define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_URL', 'http://localhost:11434/v1/chat/completions' );
define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_FORMAT_PROVIDER', 'chatgpt' );
define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_MODEL', 'translategemma' );
define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_MAX_TOKENS', '128000' );

Przez zmienne środowiskowe

Zdefiniuj zmienne środowiskowe:

SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_URL
SELF_HOSTED_LLM_TRANSLATION_SERVICES_ENDPOINT_FORMAT_PROVIDER
SELF_HOSTED_LLM_TRANSLATION_SERVICES_MODEL
SELF_HOSTED_LLM_TRANSLATION_SERVICES_MAX_TOKENS

define( 'GATOGRAPHQL_SELF_HOSTED_LLM_TRANSLATION_SERVICES_PROMPT_TEMPLATE', 'Please translate strings from {$sourceLang} to {$targetLang}' );

Przez zmienną środowiskową

Zdefiniuj zmienną środowiskową SELF_HOSTED_LLM_TRANSLATION_SERVICES_PROMPT_TEMPLATE.