Kategoria: CRM i obsługa leadów

Asystent AI na stronie generuje koszty — jak ustawić limity?

CRM dla firm · Kacper Bernecki

Czat na portfolio działa, ale każde pytanie kosztuje, a publiczny endpoint może być wywoływany wielokrotnie.

Dlaczego problem występuje?

Bez limitów liczby żądań, budżetu i długości kontekstu pojedynczy użytkownik lub bot może zużyć znaczną część środków.

Diagnostyka i rozwiązanie

1. Ustal miesięczny limit wydatków i maksymalny koszt jednej rozmowy.

2. Wprowadź rate limiting na serwerze z uwzględnieniem adresów i sesji, bez nadmiernej identyfikacji użytkowników.

3. Ogranicz długość historii oraz maksymalne tokeny odpowiedzi.

4. Zastosuj timeouty, obsługę 429 i kontrolowane fallbacki dla niedostępnego modelu.

5. Monitoruj zużycie dzienne, alarmy progowe i jakość udzielanych odpowiedzi.

Jak sprawdzić i czego unikać?

Testy dużej liczby żądań uruchamiają limity, a pojedyncza awaria dostawcy nie zawiesza strony.

Samo ukrycie przycisku czatu nie chroni publicznego endpointu API.