Symbolická lingvistika a pravidla
Raná fáze NLP byla založena na explicitních gramatických pravidlech definovaných lingvisty. Systémy využívaly lexikální analýzu a syntaktické stromy k dekonstrukci vět, což fungovalo v uzavřených doménách, ale selhávalo při kontaktu s neformálním jazykem.
Tento přístup vyžadoval manuální kódování tisíců výjimek. Omezená flexibilita vedla k přechodu na metody popsané v sekci Metody strojového učení.
Statistické zpracování (1990–2010)
Nástup statistických metod znamenal posun od deterministických pravidel k pravděpodobnostním výpočtům. Modely jako Hidden Markov Models (HMM) umožnily strojům odhadovat pravděpodobnost výskytu následujícího slova na základě korpusu dat.
Klíčovým omezením byla neschopnost zachytit dlouhodobé závislosti v textu. Tento problém byl později adresován vývojem v oblasti neuronových sítí.
Architektura Transformer
Mechanismus "Attention" (pozornost) umožnil modelu paralelně zpracovávat celé sekvence textu. Tím byla odstraněna sekvenční bariéra starších architektur RNN, což vedlo k drastickému zrychlení trénování na velkých datech.
Historie vývoje →Velké jazykové modely (LLM)
Moderní LLM využívají miliardy parametrů k predikci tokenů. Tato evoluce vedla k emergentním schopnostem, jako je programování, překlad a logické uvažování, které nebyly do systému explicitně naprogramovány.
Datová infrastruktura →