Formal grammar

G = (N, Σ, P, S)

• N – konečná množina neterminálů
• Σ – konečná množina terminálů, disjunktní s N
• P – přepisovací pravidla, obecně ve tvaru (Σ ∪ N)* N (Σ ∪ N)* → (Σ ∪ N)*
• S ∈ N – startovací symbol

Podle tvaru P se rozlišují třídy gramatik.

Formal language

• Konkatenace (zřetězení): L₁ · L₂ = {xy | x ∈ L₁, y ∈ L₂}
• Iterace a pozitivní iterace:
  • L⁰ = {ε}
  • Lⁿ = L · Lⁿ⁻¹ pro n ≥ 1
  • L* = ∪ Lⁿ pro pro n ≥ 0
  • L⁺ = ∪ Lⁿ pro pro n ≥ 1
• Doplněk: L′ = Σ* \ L
• Průnik: L₁ ∩ L₂ = {w | w ∈ L₁ ∧ w ∈ L₂}
• Sjednocení: L₁ ∪ L₂ = {w | w ∈ L₁ ∨ w ∈ L₂}

Regular language

Regular grammar

Viz gramatika.

Rozlišujeme pravou a levou lineární, podle pozice neterminálu na pravé straně pravidel (v příkladu je pravá):

• A → xB; A, B ∈ N, x ∈ Σ*
• A → x; x ∈ Σ*

Rozlišujeme pravou a levou regulární:

• A → xB; A, B ∈ N, x ∈ Σ
• A → x; x ∈ Σ
• S → ε, pokud se S neobjevuje na pravé straně žádného pravidla

Finite-state machine

M = (Q, Σ, δ, q₀, F)

• Q – konečná množina stavů
• Σ – konečná vstupní abeceda
• δ – přechodová funkce ve tvaru δ: Q × Σ → 2^Q1)
• q₀ ∈ Q – počáteční stav
• F ⊆ Q – množina koncových stavů

• Konfigurace: C = (q, w), (q, w) ∈ Q × Σ* (Prostě stav ve kterém se automat právě nachází a co má ještě přečíst.)
• Přechod automatu: binární relace ⊢ ⊆ (Q × Σ*) × (Q × Σ*)
  • (q, w) ⊢ (q′, w′) ⇔ w = aw′ ∧ q′ ∈ δ(q, a) pro q, q′ ∈ Q; a ∈ Σ; w, w′ ∈ Σ*

Pouze se změní δ: Q × Σ → Q ∪ {nedef}, nedef ∉ Q.

Stejný jako deterministický, ale neobsahuje nedef, protože δ: Q × Σ → Q musí platit pro všechny Q × Σ.

Pumping lemma for regular languages

∃p > 0: ∀w ∈ L: |w| ≥ p ⇒ ∃x, y, z ∈ Σ*:

• w = xyz ∧
• 0 < |y| ≤ p ∧
• ∀i ≥ 0: xyⁱz ∈ L

Dokazuje se sporem.

Pumping lemma je podmínka nutná, nikoliv dostačující. Takže s ní dokážete, že jazyk není ragulární, ale na důkaz že regulární je nestačí. Jak tedy dokázat regulárnost? Třeba sestavit automat.

• Problém neprázdnosti: L ≠ ∅
• Problém náležitosti: w ∈ L
• Problém ekvivalence: L(G₁) = L(G₂)

Context-free language

Context-free grammar

Viz gramatika.

Bezkontextová gramatika má konečnou množinu přepisovacích pravidel P, tvaru:

• A → α, A ∈ N, α ∈ (N ∪ Σ)*

Pushdown automaton

M = (Q, Σ, Γ, δ, q₀, Z₀, F)

• Q – konečná množina stavů
• Σ – konečná vstupní abeceda
• Γ – konečná zásobníková abeceda
• δ – přechodová funkce ve tvaru δ: Q × (Σ ∪ {ε}) × Γ → 2^{Q × Γ*}
• q₀ ∈ Q – počáteční stav
• Z₀ ∈ Γ – počáteční symbol zásobníku
• F ⊆ Q – množina koncových stavů

Deterministic pushdown automaton

Automat je deterministický, pokud jsou splněný obě podmínky:

• ∀q ∈ Q, a ∈ Σ ∪ {ε}, x ∈ Γ: |δ(q, a, x)| ≤ 1
  Existuje maximálně 1 přechod pro každou δ.
• ∀q ∈ Q, x ∈ Γ: pokud δ(q, ε, x) ≠ ∅, pak δ(q, a, x) = ∅ pro a ∈ Σ
  Můžu mít přechod který nic nečte ze vstupu při daném vrcholu zásobníku, ale pak nesmím mít se stejným vrcholem zásobníku přechod který by něco četl. Proste to musí být jednoznačné!

Jiný zápis toho samého (je tam hezká symetrie):

• ∀a ∈ Σ: |δ(q, a, z)| ≤ 1 ∧ δ(q, ε, x) = ∅, nebo
• ∀a ∈ Σ: δ(q, a, z) = ∅ ∧ |δ(q, ε, x)| ≤ 1

δ: Q × (Σ ∪ {ε}) × Γ* → 2^{Q × Γ*}

Rozdíl je v Γ*, automat tedy může číst 0–n symbolů ze sásobníku.

Top-down parsing

Přijímá prázdným zásobníkem!

P = ({q}, Σ, N ∪ Σ, δ, q, S, ∅)

• Je-li A → α pravidlo z P, pak δ(q, ε, A) ∋ (q, α)
• δ(q, a, a) = {(q, ε)} pro všechna a ∈ Σ

Bottom-up parsing

Vyžaduje rozšířený zásobníkový automat!

P = ({q, r}, Σ, N ∪ Σ ∪ {#}, δ, q, #, {r})

1. Redukce: Je-li A → α pravidlo z P, pak δ(q, ε, α) ∋ (q, A)
2. Shift: δ(q, a, ε) = {(q, a)} pro všechna a ∈ Σ
3. Accept: δ(q, ε, S#) = {(r, ε)}

Pumping lemma for context-free languages

Nechť L je bezkontextový jazyk. Pak existuje konstanta k > 0 taková, že je-li z ∈ L a |z| ≥ k, pak lze z zapsat ve tvaru: z = uvwxy, vx ≠ ε, |vwx| ≤ k a pro všechna i ≥ 0 je uvⁱwxⁱy ∈ L.

Opět platí to samé, co u regulárních jazyků.

• Problém neprázdnosti jazyka
• Probém příslušnosti řetězce w ∈ Σ* do jazyka
• Problém konečnosti jazyka

• Problém ekvivalence jazyků bezkontextových gramatik
• Problém inkluze jazyků bezkontextových gramatik

Church–Turing thesis

Když jde něco vyčíslit, jde to udělat Turingovým strojem.

Turing machine

M = (Q, Σ, Γ, δ, q₀, q_F)

• Q – konečná množina stavů
• Σ – konečná vstupní abeceda, Δ ∉ Σ
• Γ – konečná pásková abeceda, Σ ⊂ Γ, Δ ∈ Γ
• δ – parciální přechodová funkce, δ: (Q \ {q_F}) × Γ → Q × (Γ ∪ {L, R}), kde L, R ∉ Γ
• q₀ – počáteční stav, q₀ ∈ Q
• q_F – koncový stav, q_F ∈ Q

Jestli má stroj více pásek, nebo je nedeterministický nijak nezvětšuje jeho schopnost přijímat jazyky!

Turingův stroj se nazývá úplný, když pro každý vstup zastaví (tzn. že se nezacyklí).

Jazyk se nazývá rekurzivní, když ho přijímá úplný Turingův stroj, a rekurzivně vyčíslitelný, pokud ho přijímá nějaký Turingův stroj.

Problém může být:

• rozhodnutelný – pokud jeho jazyk je rekurzivní, čili pokud ho rozhodne (dokáže říct ano/ne) nějaký úplný TS.
• nerozhodnutelný – pokud není rozhodnutelný
• částečně rozhodnutelný – pokud je jeho jazyk rekurzivně vyčíslitelný, tzn. existuje TS který dokáže říct vždy ano, ale pro některé případy kdy by měl říct ne se zacyklí (plyne z definice rekurzivně vyčíslitelného jazyka)

TS jsou ekvivalentní s gramatikami typu 0 (rekurzivně vyčíslitelné).

Speciálním případem TS jsou linárně omezené automaty (LOA), je to vlastně TS ale s konečnou páskou, a dokáží přijímat kontextové jazyky

Je-li L libovolný jazyk z NP, pak je redukovatelný na SAT problém.

Důkaz: Protože L ∈ NP, exsituje nedeterministický Turingův stroj M a polynom p(x) tak, že pro každé w ∈ L stroj M přijímá maximálně v p(|w|) krocích. Jádro důkazu tvoří konstrukce polynomiální redukce f z L na L_SAT: Pro každý řetězec w ∈ L bude f(w) množina klauzulí, které jsou splnitelné, právě když M přijímá w.

Halting problem

Zastaví daný TS pro daný vstup? Je to částečně rozhodnutelný problém.

Důkaz:

1. Předpokládejme, že problém je řešitelný. Tzn. existuje program

   bool halt(machine M, data w) {
   	if (M(w).finished) {
   		return true;
   	} else {
   		return false;
   	}
   }

2. Zkonstrujeme program

   void paradox(x) {
   	if (halt(x, x)) {
   		while (true);
   	} else {
   		return;
   	}
   }

3. Co se stane, pokud zavoláme paradox(paradox)?
   • Předpokládejme, že halt(paradox, paradox) == true.
     • Pak se tedy paradox(paradox) zacyklí. Víme ale, že pokud se paradox(paradox) zacyklí, pak halt(paradox, paradox) == false, což je spor!
   • Předpokládejme, že halt(paradox, paradox) == false.
     • Pak se tedy paradox(paradox) zastaví. Víme ale, že pokud se paradox(paradox) zastaví, pak halt(paradox, paradox) == true, což je také spor!
4. V obou případech jsme došli ke sporu, tudíž program halt nemůže existovat.
5. Je ale zřejmé, že pokud má halt odpovědět true, tak to dokáže vždy, tudíž je HP částečně rozhodnutelný.

Funkce, které je možné spočítat v obecném smysli bez ohledu na výpočetní systém. Existují totální funkce (pokrývají celý obor hodnot) a striktně parciální (nejsou pro některé hodnoty definovány, např div).

x = (x₁,x₂,…,x_n) ∈ ℕ^k

1. nulová funkce: ξ() = 0
2. fce následníka: σ (x) = x + 1
3. fce projekce: πⁿ_k: ℕⁿ⟶ℕ (vybírá k-tou složku z n-tice)

Třída primitivně rekurzivních fcí obsahuje fce, které lze sestrojit pomocí počátečních fcí a kombinace, kompozice a primitivní rekurze. Každá fce v této třídě je totální.

1. kombinace f×g:
   1. N^k⟶N^n+m
   2. f×g(x) = (f(x), g(x)), x ∈ ℕ^k
2. kompozice g ○ f(x) = g(f(x)), x ∈ ℕ^k
3. primitivní rekurze:
   1. f(x,0) = g(x)
   2. f(x,y+1) = h(x,y,f(x,y)), x ∈ ℕ^k

Zavedeme techniku takzvané minimalizace, které umožnuje vytvořit fci f: ℕⁿ ⟶ ℕ z jiné fce g: ℕⁿ⁺¹ ⟶ ℕ kde f(x) je nejmenší y takové, že:

• y(x,y) = 0
• y(x, z) je definována pro ∀z < y, z ∈ ℕ

Zapisujeme ji pak f(x) = µy[g(x,y) = 0]

Fce, které můžeme simulovat na TS.

1. Najdeme TS simulující počáteční fce
2. Najdeme TS simuljící primitivně rekurzivní fce
3. Najdeme TS simlujicí minimalizaci

Parametry fce můžeme hodit na pásku TS a odělit pomocí Δ. Pokud po provedení výpočtu bude na pásce výsledek fce pro tyto parametry, TS přijme. Pokud není pro dané parametry fce definována, TS cyklí.

Sestaví fce pro jednotlivé funkce TS a to pro mov, sym, state, cursym, nexthead, nextstate, nexttape a stoptime