Asystent AI na stronie generuje koszty — jak ustawić limity?
CRM dla firm · Kacper Bernecki
Czat na portfolio działa, ale każde pytanie kosztuje, a publiczny endpoint może być wywoływany wielokrotnie.
Dlaczego problem występuje?
Bez limitów liczby żądań, budżetu i długości kontekstu pojedynczy użytkownik lub bot może zużyć znaczną część środków.
Diagnostyka i rozwiązanie
1. Ustal miesięczny limit wydatków i maksymalny koszt jednej rozmowy.
2. Wprowadź rate limiting na serwerze z uwzględnieniem adresów i sesji, bez nadmiernej identyfikacji użytkowników.
3. Ogranicz długość historii oraz maksymalne tokeny odpowiedzi.
4. Zastosuj timeouty, obsługę 429 i kontrolowane fallbacki dla niedostępnego modelu.
5. Monitoruj zużycie dzienne, alarmy progowe i jakość udzielanych odpowiedzi.
Jak sprawdzić i czego unikać?
Testy dużej liczby żądań uruchamiają limity, a pojedyncza awaria dostawcy nie zawiesza strony.
Samo ukrycie przycisku czatu nie chroni publicznego endpointu API.