De ce 99% dintre agențiile de AI vând chatboți — și de ce pierd
Diferența reală dintre a înveli un API și a construi infrastructură AI privată. Când e suficient un LLM generic și când ai nevoie de RAG și orchestrare de agenți pe hardware dedicat.
De ce 99% dintre agențiile de AI vând chatboți — și de ce pierd
Publicat de ThinkFlow · Timp de citire: ~10 min · Pentru: CTO, fondatori de agenții
Dacă ai primit cel puțin un pitch în ultimele 12 luni de la o „agenție de AI” care promite să-ți transforme afacerea cu un chatbot, nu ești singurul.
În toată Europa de Est și nu numai, sute de companii au lipit cuvântul „AI” pe brandul lor, au înfipt un widget GPT pe site-ul unui client și au numit asta „soluție AI enterprise”.
Nu e fraudă. E mai rău de atât. E o neînțelegere fundamentală a ceea ce înseamnă AI în producție.
Iar tu, ca CTO, ca fondator, ca technical lead, plătești prețul: costuri recurente opace, vendor lock-in deghizat în „integrare” și un produs care funcționează impecabil în demo și se prăbușește în prima săptămână de producție reală.
Ce vinde de fapt o agenție de AI în 2026
Să fim direcți.
Când o agenție de AI îți prezintă o „soluție custom”, ce se întâmplă tehnic în 99% din cazuri arată așa:
[Frontend UI] → [API call to OpenAI / Anthropic / Gemini] → [response] → [Frontend UI]
Uneori există un strat de „memorie”: un system prompt care injectează câteva rânduri de context. Ocazional apare un fine-tuning superficial pe date generice. Rezultatul: un chatbot cu logo, vândut drept „platformă AI proprietară”.
Prețul? Undeva între 3,000 EUR și 50,000 EUR în avans, plus un abonament lunar de „mentenanță și optimizare”, care în practică acoperă costul de API pe care l-ai putea plăti direct, plus un markup consistent.
Asta nu e infrastructură AI. E revânzare deghizată în consultanță.
Când un LLM generic e suficient — și nu trebuie să complici lucrurile
Ca să fim corecți: există scenarii în care un API wrapper e exact ce ai nevoie.
Un LLM generic funcționează bine când:
- Ai nevoie de generare simplă de text: emailuri, rezumate, sugestii de conținut
- Datele tale sunt publice și statice — fără proprietate intelectuală sensibilă implicată
- Volumul e mic — câteva sute de cereri pe zi, fără cerințe critice de latență
- Proof of concept — validezi o idee înainte de a te angaja la infrastructură
- Echipa ta nu are expertiză MLOps și nu are planuri să o dezvolte
În aceste cazuri, ChatGPT cu un prompt solid sau Claude prin API te duc exact unde trebuie. Fără costuri de infrastructură, fără overhead operațional, fără ingineri dedicați.
Agenția care te convinge de contrariu îți vinde aer.
Când ai nevoie de altceva — și ce înseamnă de fapt „altceva”
Problema începe când organizația ta are nevoi care depășesc ce poate livra responsabil un model generic.
Semne că te afli deja în acest teritoriu:
1. Datele tale sunt proprietare și sensibile
O firmă de avocatură nu poate trimite contractele clienților la OpenAI. Un spital privat nu poate procesa fișele pacienților prin API-uri publice găzduite în SUA. O instituție financiară nu poate expune fluxurile interne de decizie unui model care rulează în afara jurisdicției UE.
GDPR nu e o formalitate. E un motiv tehnic și legal concret pentru care ai nevoie de un LLM care rulează pe hardware pe care îl controlezi.
2. Ai nevoie de răspunsuri ancorate în cunoștințele tale interne
LLM-urile generice știu ce știa internetul în 2025. Nu știu:
- Procedurile tale interne de onboarding
- Catalogul tău de produse cu specificații tehnice
- Politicile tale comerciale și excepțiile lor
- Istoricul conversațiilor cu clienții tăi
Fără RAG (Retrieval-Augmented Generation) implementat corect, modelul halucinează. Nu uneori. Constant. Iar într-un context enterprise, o halucinație livrată unui client sau angajat costă mult mai mult decât un chatbot de 30,000 EUR.
3. Ai nevoie de acțiuni, nu doar de răspunsuri
Un chatbot răspunde. Un agent execută.
Diferența nu e semantică. E arhitecturală. Un sistem de orchestrare a agenților înseamnă că modelul poate:
- Interoga baze de date în timp real
- Declanșa fluxuri în CRM-ul tău
- Trimite emailuri, crea tichete, actualiza documente
- Lua decizii condiționate pe baza unor reguli pe care le definești
- Escalada către un operator uman când încrederea e scăzută
Asta se numește agentic AI. Și nu se construiește cu un widget ChatGPT.
RAG + orchestrare de agenți pe hardware dedicat — cum arată de fapt
Dacă ai ajuns în punctul în care ai nevoie de infrastructură reală, arhitectura arată fundamental diferit:
[Data sources: PDFs, DB, APIs]
|
[Ingestion pipeline + chunking]
|
[Embedding model — local: nomic-embed, e5-mistral]
|
[Vector store: Qdrant / Weaviate — self-hosted]
|
[Query → Retrieval → Re-ranking via CrossEncoder]
|
[Local LLM: Llama 3.1, Mistral, Qwen — on dedicated GPU]
|
[Agent orchestrator: LangGraph / custom]
|
[Verifiable response + action]
Fiecare componentă din acest stack rulează pe serverele tale, în cadrul infrastructurii tale, sub politicile tale de securitate.
Datele nu ies din perimetrul tău. Fără costuri per-token care explodează odată cu volumul. Fără dimineți în care OpenAI schimbă un model și comportamentul aplicației tale se schimbă peste noapte.
Asta e diferența dintre a cumpăra o soluție și a construi un activ.
Ce spun de fapt cifrele
Am testat un pipeline RAG self-hosted pe Ollama cu Qwen2.5 32B împotriva GPT-4 cu RAG naiv (top-k, fără re-ranking) pe un corpus de 500 de documente juridice românești — contracte, clauze, acte adiționale. Rezultate evaluate cu RAGAS:
| Configurație | Acuratețe retrieval | Rată de halucinație | Cost per 1,000 interogări | |---|---|---|---| | GPT-4 + RAG naiv | 78% | 14% | ~$4.20 | | Qwen2.5 32B local + re-ranking CrossEncoder | 94% | 3% | ~$0.11 |
Diferența de acuratețe nu vine din model. Vine din re-ranking și dintr-o strategie de chunking adaptată tipului de document. GPT-4 nu e slab. E aplicat greșit.
Ăsta e tipul de benchmark pe care ar trebui să-l ceri de la orice furnizor, pe datele tale reale, înainte de a semna orice.
De ce agențiile care vând doar chatboți pierd
Ironia e că nu pierd din cauza clienților. Pierd din cauza propriului plafon tehnic.
Când un client enterprise începe să pună întrebările potrivite despre izolarea datelor, latența în producție, SLA-uri garantate sau auditabilitatea deciziilor modelului, agenția de chatboți nu are răspunsuri.
Așa că fie:
- Mint — promit lucruri pe care nu le pot livra
- Pierd contractul în fața unui competitor cu competență reală în MLOps
- Externalizează tot ce nu înțeleg, distrugându-și marja și controlul calității
Piața enterprise se maturizează rapid. CTO-ii din bănci mari, retail și companii din healthcare au văzut deja primul val de eșecuri ale chatboților. Acum cer demonstrații tehnice reale, nu slide-uri despre „puterea AI-ului”.
Cum arată un contract serios vs. ce primești de fapt
Un Statement of Work serios pentru o soluție AI enterprise include:
- SLA de latență cu specificații concrete: „P95 sub 2 secunde pentru interogări de până la 5,000 de tokeni” — nu „funcționează în general bine”
- Drepturi de audit: dreptul tău de a inspecta arhitectura, log-urile de acces la date și comportamentul modelului oricând, fără preaviz
- Plan de exit fără costuri de exit: datele tale, vectorii tăi, modelul tău fine-tuned îți aparțin și le poți lua într-un format portabil
- Clauză de proprietate asupra datelor de antrenare: orice fine-tuning sau embeddings generate pe datele tale nu pot fi refolosite de furnizor pentru alți clienți
- Procedură de rollback definită: dacă o actualizare de model degradează performanța, revenirea la versiunea anterioară se face în maximum 4 ore
Ce primești de obicei: un PDF de 3 pagini care spune „ne angajăm să oferim servicii de calitate” și o clauză de reziliere care cere preaviz de 3 luni plus 6 luni de taxe preplătite.
Asta e diferența dintre un partener tehnic și un furnizor.
Ce să întrebi înainte să semnezi orice
Înainte de orice contract cu o agenție de AI, pune aceste întrebări:
- „Unde rulează fizic modelul?” Dacă răspunsul e „în cloud-ul OpenAI”, știi cu ce ai de-a face.
- „Cum izolați datele noastre de ale altor clienți?” — Multi-tenancy fără izolare e un risc real.
- „Explică-mi pas cu pas pipeline-ul vostru de RAG.” Dacă nu știu ce e re-ranking-ul, conversația s-a terminat.
- „Ce se întâmplă dacă OpenAI schimbă modelul sau API-ul?” — Un răspuns neclar înseamnă dependență totală de un terț.
- „Putem face un audit tehnic al arhitecturii?” Orice furnizor serios acceptă asta imediat.
Răspunsurile îți vor spune tot ce trebuie să știi.
Concluzia: AI nu e un produs. E infrastructură.
Chatboții nu sunt răi prin natura lor. Sunt doar insuficienți pentru probleme complexe.
Diferența dintre o agenție care vinde un widget și un partener tehnic real nu ține de branding. Ține de arhitectură, responsabilitate și competență operațională.
Dacă organizația ta gestionează date sensibile, are nevoie de răspunsuri precise și ancorate în realitate, sau vrea să automatizeze procese cu consecințe reale — ai nevoie de un sistem construit corect, nu de un API cu un prompt frumos în față.
La ThinkFlow, construim exact asta: infrastructură AI privată, cu RAG implementat corect și orchestrare de agenți pe hardware dedicat — pentru organizații care nu-și permit să experimenteze.
Dacă vrei o evaluare tehnică a setup-ului tău actual sau o demonstrație live cu datele tale reale, hai să vorbim
ThinkFlow · București, România · thinkflow.ro
Dezvăluire de Afiliere
Unele linkuri din acest articol sunt linkuri de afiliere. Dacă faci o achiziție prin ele, putem primi un comision fără costuri suplimentare pentru tine. Vezi dezvăluirea completă.
Daniel Burcea
Arhitect de Sisteme AI. Construiește infrastructură AI privată din 2025.Citește mai mult →