文章核心观点 - 大语言模型的本质是将自然语言处理问题转换为信号处理问题，其核心在于将Token向量化，并在语义向量空间中通过内积等数值计算来建模语义相关性 [2] - 大模型通过预测下一个Token的训练目标，其本质是逼近人类水平的Granger因果推断 [30] - 从信息论角度看，大模型的最优语义编码问题可以归结为对定向信息（特别是倒向定向信息）的优化，而当前广泛应用的对比预测编码（CPC）算法是其上界的一种逼近 [15][18] - 从时间序列分析角度看，Transformer架构是一种非线性时变向量自回归模型 [23][28] - 信息论与计算理论通过“比特”（BIT）连接，而在AI时代，其核心概念正转变为“Token”（TOKEN） [33][36] 语义向量化与语义空间 - Token的语义嵌入（向量化）将自然语言处理转换为可进行数值计算的信号处理问题，从而能够定义内积来表示语义相关性，大幅降低计算复杂度 [2] - 一个Token的语义由定义在所有Token集合Ω上的概率分布描述，语义空间可建模为该概率空间，而语义向量空间则可定义为M维空间中的单位球面S^(M-1) [7] - 语义向量空间中，单个向量本身无意义，其与所有其他向量的内积（相对关系）才代表语义，这与经典信源编码有本质区别 [8] - 衡量两个语义向量空间（如不同语言）的结构差异，可使用基于最优传输理论的Gromov-Wasserstein距离 [8] - 语义向量空间存在最优压缩区间（甜点维数），Johnson-Lindenstrauss (JL) 引理为通过线性变换降维同时控制内积误差提供了数学原理 [10][11] 最优语义编码与信息论原理 - 针对预测下一个Token的任务，最优语义编码器是最大化条件互信息 `I(X_{i+1:n}; S_i | S_{1:i-1})` 的解 [13] - Google DeepMind团队提出的对比预测编码（CPC）算法，其优化的目标实际上是上述最优问题上界的一个变分下界（InfoNCE） [15] - 从信息论角度看，最优语义编码问题等价于最大化从未来Token序列到当前语义向量序列的“倒向定向信息” [18] - 定向信息及其倒向形式的计算和估计非常困难，这解释了CPC等现有方法选择优化其近似下界的原因 [19] Transformer的信号处理本质 - Transformer的注意力（Attention）机制在数学上可表述为一个非线性时变向量自回归时间序列模型 [21][23] - 注意力权重的计算基于双线性型和非线性softmax函数，体现了模型的时变性和非线性 [22][28] - 前馈神经网络（FFN）层被认为是大模型储存知识的关键位置，注意力模块的输出用于激活FFN中匹配的记忆模式 [24] - Transformer可视为更普遍的非线性时变向量自回归模型的特例，对其核心组件（如注意力矩阵A_ij和非线性函数Ψ）进行不同分解或修改，可推导出如Mamba等新架构 [29] 信号处理、信息论与计算理论的统一视角 - 信号处理是信息论原理在具体计算架构下的工程实现，它将抽象的符号信息表示为向量以进行数值计算 [32] - 计算理论（关注时间复杂度）与信息论（关注速率极限）的基本操作单位都是“比特”（BIT），BIT是连接计算与通信两大领域的桥梁 [33] - 在AI时代，信息论的基础性作用依然存在，但其核心概念正从“比特”转变为“Token”，这为理解大模型背后的数学原理提供了新的框架 [36]

半导体制造与自动化控制 - 士兰微电子晶圆制造车间采用自动化生产线 精密传感器实时捕捉纳米级参数波动 控制芯片精准调节每个工艺环节[1] - 闭环控制与信号处理技术成为保证晶圆制造合格率的关键因素[1] 传感器与智能感知技术 - 杭州海康威视展示毫米波雷达具备雨雾穿透能力 高灵敏红外热成像仪实现漆黑环境轮廓成像[1] - AI算法实现夜景模糊图像瞬间高清处理 传感器从孤立应用转向系统架构融合[1] 数字技术与跨境电商应用 - 义乌国际商贸城AI数字人直播间配备多国语言虚拟主播 24小时不间断商品推介[1] - 后台实时分析全球不同区域流量与转化数据 依赖数据处理/实时通信/用户行为分析技术[1] - 信号处理与模式识别技术成为跨境电商运营的核心技术支撑[1]

行业趋势与科研模式变革 - 深度学习和大数据时代导致科研资源向工业界倾斜，大公司凭借算力和数据优势主导前沿研究[20] - 传统学术研究面临天花板，真实产品落地需工程团队支持，工业界能收集多样化真实数据推动突破[21][39] - 信号处理领域为现代AI奠定基础，Hinton、LeCun等先驱的研究多发表于信号处理期刊[27][28] 技术创新与商业化应用 - 无线感知AI通过分析环境无线电波实现无接触监测，检测跌倒准确率达95%，远超可穿戴设备25%的水平[42][43] - 技术已应用于医疗监护、汽车安全等领域，日本校车采用该技术防止儿童遗留车内事故[44] - 公司累计申请250项专利，真实场景数据驱动持续创新，学术环境难以实现同等产出[39][41] 人才培养与学术理念 - 30余年培养70余位博士/博士后，其中14人当选IEEE Fellow，20位女性学者[11][30] - 培养方法强调自主发现问题能力，博士生需发表4篇IEEE顶级期刊论文方可毕业[31] - 学术评价应注重实质贡献而非头衔，荣誉体系存在地域偏见但正逐步改善[33][34] 6G与AI未来展望 - 6G时代将实现"数字孪生"生态，个人虚拟代理可处理各类事务，依赖超高带宽实时通信[54] - AI工具普及将重塑职业结构，工程师可转向生物医药等跨学科领域创造新岗位[51] - 无线感知技术有望成为人类"第六感"，改变生活方式定义[45] 创业与科研选择 - 60岁放弃终身教职全职创业，认为公司环境比学术机构更利于突破性创新[20][39] - 早期学者若选择工业界高薪路径往往难返学术界，学术道路需明确初心[19][25] - 科研模式从理论驱动转向数据驱动，合成数据仅能有限弥补真实数据不足[22][24]