Postawienie agenta na produkcji jest trudniejsze niż pojedyncze wywołanie LLM, bo agent to pętla z pomnożoną powierzchnią awarii — i musisz zarazem ograniczyć go w czasie wykonania i mierzyć go w czasie. Deep-dive o dwóch dyscyplinach, które czynią agentów produkcyjnych godnymi zaufania: barierach ograniczających, co agent może zrobić, i evalach testujących całą trajektorię, nie pojedyncze wyjście.
Nie możesz asertować dokładnej równości na wyjściu, które za każdym razem jest inne — więc jak w ogóle testować funkcję LLM? Deep-dive o evalach: budowaniu reprezentatywnego zbioru testowego, ocenianiu właściwości zamiast łańcuchów, łapaniu regresji i traktowaniu ewaluacji jako siatki bezpieczeństwa, która pozwala zmieniać prompty z pewnością.
Pipeline CI jest użyteczny tylko, jeśli mu ufasz — a flakujący jest gorszy niż żaden, bo uczy zespół ignorować czerwone. Przewodnik po budowie pipeline'ów, które są szybkie, deterministyczne i godne zaufania, aż do deployu.
Cucumber jest albo mostem do twoich ekspertów domeny, albo kosztowną warstwą pośrednią — a to, który, zależy w całości od tego, jak go piszesz. Oto gdzie się opłaca, gdzie nie i jakie reguły stosujemy.
Twój zestaw testów działa na jednym rdzeniu, a pozostałe trzy stoją bezczynnie. Rzetelny przewodnik po rozdzielaniu RSpec na procesy z parallel_tests — osobne bazy, grupy balansowane czasem, błędy izolacji, które ujawnia, i skalowanie na węzły CI.