Linear Time-Invariant Systems (LTI Systems)
这份笔记主要负责介绍线性时不变系统的定义与一些好玩的特性
目录：
线性时不变系统的定义
这一部分会介绍离散LTI系统和连续LTI系统
不过在开始之前需要研究一下单位脉冲函数的特性🦉
离散LTI系统
在上一篇笔记中，有一个很重要的公式 $x[n] \delta[n - n_0] = x[n_0]$ （脉冲信号的筛选特性）
由此我们可以用脉冲信号来表示任意的离散信号：
$$x[n] = \sum_{k=-\infty}^{\infty} x[k] \delta[n-k]$$假设系统对单位脉冲信号的响应信号为 $h[n]$, 那么不妨定义 $h_k[n]$ 为系统对 $\delta[n-k]$ 的响应信号。
利用系统的线性特性，我们可以将任意离散信号的响应表示为
$$ y[n] = \sum_{k=-\infty}^{\infty} x[k] h_k[n] $$再利用系统的时不变性，我们可以得到 $h_k[n] = h[n-k]$， 从而得到
$$ y[n] = \sum_{k=-\infty}^{\infty} x[k] h[n-k] = x[n] * h[n] $$Tips:
其实我们可以将表达式 $\sum_{k=-\infty}^{\infty} x[k] h[n-k]$ 当作关于 k 的函数，则$y_k[n] = x[k] h[n-k]$ ，即所有 $y_k[n]$ 的叠加即为系统的输出信号 $y[n]$
这个想法对于后续傅里叶变换的理解也会起到相当大的帮助😼
而且当我们看作关于k的函数后，$h[n - k] $就可以看作将原始的 $h[n]$ 信号水平翻转后向右平移n个单位，这对于做卷积计算题目也有很大帮助
连续LTI系统
首先我们先做一个很有意思的操作
$$ \delta_{\Delta}(t) = \begin{cases} \frac{1}{\Delta}, & 0 \leq t \leq \Delta \\ 0, & \text{others} \end{cases} $$我们可以用上述函数，用仿照离散信号的方式，近似模拟一个连续信号 $x(t)$
$$ \hat{x}(t) = \sum_{k=-\infty}^{\infty} x(k\Delta) \delta_{\Delta}(t - k\Delta) \cdot\Delta $$当 $\Delta \to 0$ 时，$\hat{x}(t) \to x(t)$
$$ \lim_{\Delta \to 0} \hat{x}(t) = \lim_{\Delta \to 0} \sum_{k=-\infty}^{\infty} x(k\Delta) \delta_{\Delta}(t - k\Delta) \cdot\Delta = \int_{-\infty}^{\infty} x(\tau) \delta(t - \tau) d\tau $$有了上述知识的铺垫，我们就可以用与离散 LTI 相同的方法研究连续 LTI 了
线性特性:
$$\begin{aligned} \hat{y}(t) = \sum_{k=-\infty}^{\infty} x(k\Delta) \hat{h}_k(t) \cdot \Delta \\ \lim_{\Delta \to 0} \hat{y}(t) = \int_{-\infty}^{\infty} x(\tau) h_{\tau}(t) d\tau \end{aligned}$$时不变特性: $h_{\tau}(t) = h(t - \tau)$
$$ y(t) = \int_{-\infty}^{\infty} x(\tau) h(t - \tau) d\tau = x(t) * h(t) $$Tips:
对于连续LTI系统，我们也可以将其看作是关于 $\tau$ 的函数 $y_{\tau}(t) = x(\tau) h(t - \tau)$，然后对所有 $y_{\tau}(t)$ 进行积分，得到系统的输出信号 $y(t)$
具体的操作流程和离散LTI流程是一样的😼
线性时不变系统的性质
非常重要的一个特性：LTI系统的特性可以由单位脉冲信号的响应来完全描述
举个🌰:
考虑一个离散LTI系统，其单位脉冲响应为
$$h[n] = \begin{cases} 1, & n=0,1 \\ 0, & \text{others} \end{cases}$$若该系统为LTI系统，那么我们可以得到$y[n] = x[n] + x[n-1]$
而若不限制LTI，则很多系统也可以满足这个响应函数，如 $y[n] = (x[n]+x[n-1])^2$ 或者 $y[n] = \max(x[n], x[n-1])$
下面我们就可以逐步分析LTI系统满足的一些重要性质了
交换律
对于任意的离散LTI系统，有
$$x[n] * h[n] = h[n] * x[n]$$Proof:
$$\begin{aligned} x[n] * h[n] &= \sum_{k=-\infty}^{\infty} x[k] h[n-k] \\ &= \sum_{m=-\infty}^{\infty} h[m] x[n-m] \quad\text{这里} m = n-k \\ &= h[n] * x[n] \end{aligned}$$类似的，连续的LTI系统也满足交换律
$$x(t) * h(t) = h(t) * x(t)$$Proof:
$$\begin{aligned} x(t) * h(t) &= \int_{-\infty}^{\infty} x(\tau) h(t - \tau) d\tau \\ &= \int_{-\infty}^{\infty} h(\lambda) x(t - \lambda) d\lambda \quad\text{这里} \lambda = t - \tau \\ &= h(t) * x(t) \end{aligned}$$分配律
对于任意的离散 LTI 系统，有
$$x[n] * (h_1[n] + h_2[n]) = x[n] * h_1[n] + x[n] * h_2[n]$$Proof:
$$\begin{aligned} x[n] * (h_1[n] + h_2[n]) &= \sum_{k=-\infty}^{\infty} x[k] (h_1[n-k] + h_2[n-k]) \\ &= \sum_{k=-\infty}^{\infty} x[k] h_1[n-k] + \sum_{k=-\infty}^{\infty} x[k] h_2[n-k] \\ &= x[n] * h_1[n] + x[n] * h_2[n] \end{aligned}$$类似的，连续的LTI系统也满足分配律
$$x(t) * (h_1(t) + h_2(t)) = x(t) * h_1(t) + x(t) * h_2(t)$$分配律很好的解释了LTI系统的并联，可以将多个LTI系统的并联等价成一个新的LTI系统
结合率
对于任意的离散LTI系统，有
$$(x[n] * h_1[n]) * h_2[n] = x[n] * (h_1[n] * h_2[n])$$Proof:
$$\begin{aligned} (x[n] * h_1[n]) * h_2[n] &=\left(\sum_{k =- \infty}^{\infty} x[k] h_1[n - k] \right) * h_2[n] \\ &= w[n] * h_2[n] \\ &= \sum_{k} x[k] \sum_{m} h_1[n - m - k] h_2[m] \\ &= \sum_{m} h_2[m] \sum_{k} h_1[n - k - m] x[k] \\ &= \sum_{m} h_2[m] \sum_{k} h_1[n - k - m] x[k]\\ &= \left(\sum_{m} h_2[m] h_1[n - m]\right) x[n] \\ &= x[n] * (h_1[n] * h_2[n]) \end{aligned}$$这种特性使得LTI系统的级联可以交换次序，而非线性or时变系统则一般不具有这个性质
无记忆性 & 有记忆性
对于离散LTI系统，若其为无记忆系统，那么必然会有如下所示的形式
$$ h[n] = K \delta[n] \quad \text{其中} K = h[0] $$对于连续LTI系统也是如此，可以得到
$$\begin{aligned} &y(t) = K x(t) \\ &h(t) = K \delta(t) \end{aligned}$$补：如果我们取 K = 1 即可得到单位脉冲函数的筛选性质
可逆性
设系统 $S$ 的单位脉冲响应为 $h[n]$，其逆系统 $S^{-1}$ 的单位脉冲响应为 $h^{-1}[n]$，则有
$$h[n] * h^{-1}[n] = \delta[n]$$一个非常有用的性质，若一个 LTI 系统是可逆的，那么其逆系统也是 LTI 系统
TODO：证明等想出来了会补上💦
因果性
一个线性时不变系统若是因果系统，那么当 $n < 0$ 时，必然有 $h[n] = 0$ ，这一点非常符合我们的直观理解——因果线性时不变系统在激冲之前不会有任何响应
LTI系统的因果性等效于初始松弛条件
Tips:
非常有意思，虽然因果性本身是描述系统的属性，但是我们也可以借此引入因果信号的定义，即当 $n < 0$ 时，$x[n] = 0$ 的信号称为因果信号
那么 LTI 系统的因果性就等价于：冲激响应是一个因果信号
稳定性
先从离散 LTI 说起，如果输入信号有界，即意味着 $x[n] \leq B$，那么系统的响应信号可以表示为
$$\begin{aligned} |y[n]| &= \left|\sum_{k=-\infty}^{\infty} x[k] h[n-k]\right| \\ &\leq \sum_{k=-\infty}^{\infty} |x[k]| |h[n-k]| \\ &\leq B \sum_{k=-\infty}^{\infty} |h[n-k]| \\ &= B \sum_{m=-\infty}^{\infty} |h[m]| \end{aligned}$$从上面我们可以看出，若 $\sum_{m=-\infty}^{\infty} |h[m]| < \infty$，那么系统的输出信号也是有界的，即系统是稳定的
用差不多的方式可以得出连续 LTI 系统的稳定条件，即 $\int_{-\infty}^{\infty} |h(t)| dt < \infty$ 时，系统是稳定的
前面的性质全是使用单位脉冲信号的响应来描述的 LTI 系统，而除了脉冲信号，我们也可以使用阶跃信号来描述 LTI 系统
从前面的笔记中我们可以知道，一个 LTI 系统的响应可以用卷积来表示，而阶跃信号的响应就可以表示为
$$ s[n] = u[n] * h[n] = \sum_{k=-\infty}^{n} h[k] $$那么我们也可以用阶跃信号的响应反推出激冲信号的响应 $h[n] = s[n] - s[n-1]$
同样，换成连续 LTI 系统，也可以推出
$$\begin{aligned} s(t) &= u(t) * h(t) = \int_{-\infty}^{t} h(\tau) d\tau \\ h(t) &= \frac{d}{dt} s(t) \end{aligned}$$