Memory Forgetting Mechanism
搜索文档
DeepSeek开源新模型!单张A100日处理可超20万页数据
第一财经· 2025-10-20 21:23
模型发布与核心创新 - 公司于10月20日在Github开源了名为DeepSeek-OCR的新模型,并发布了相关论文[1] - 模型核心创新在于利用视觉模态作为文本信息的高效压缩介质,实现“光学压缩”[4] - 该方法可将文本压缩成图像,实现近10倍无损上下文压缩,同时OCR准确率保持在97%以上[4] 技术架构与性能表现 - 模型由DeepEncoder编码器和DeepSeek3B-MoE解码器两个核心组件组成[5] - 解码器采用混合专家设计,总参数3B,激活参数约5.7亿,兼具表达能力和推理效率[5] - 当文本token数量在视觉token的10倍以内时,解码精度达97%,压缩率20倍时准确率约60%[5] 应用潜力与行业影响 - 单张A100-40G显卡可支持每日20万页以上的大语言模型/视觉语言模型训练数据生成[4] - 该方法在长上下文压缩和大模型记忆遗忘机制等研究方向具有相当潜力[4][5] - 团队提出用光学压缩模拟人类遗忘机制,通过缩小渲染图像大小实现“文本遗忘”效果[5] 市场反响与研究背景 - 模型发布后在GitHub获得超过1400颗星星,显示较高关注度[7] - 项目由三位研究员共同完成,其中一作Haoran Wei曾有OCR系统开发经验[7] - 有观点认为该研究代表了统一语言和视觉的新方向,可能通向超级智能[7]