Quantcast
Channel: 我爱自然语言处理
Browsing index pages (236 articles)
↧

DeepSeek-V3.2-Exp:用稀疏注意力实现更高效的长上下文推理

近年来,大语言模型在处理长文本任务中展现出强大能力,但也面临着计算复杂度高、推理速度慢的挑战。DeepSeek-AI 最近发布了实验性模型 DeepSeek-V3.2-Exp,通过引入一种新颖的稀疏注意力机制(DeepSeek Sparse Attention, DSA),在保持模型性能的同时,显著提升了长上下文任务中的训练与推理效率。 什么是 DeepSeek Sparse Attention?...

View Article


LongCat-Flash:美团发布的高效MoE大模型,支持智能体任务,推理速度达100 token/秒

近日,美团 LongCat 团队发布了 LongCat-Flash 模型及技术报告,这是一款总参数量达 5600亿 的混合专家模型(Mixture-of-Experts, MoE),在保持高性能的同时,显著提升了训练与推理效率,尤其擅长处理需要多步推理和工具调用的智能体(Agent)任务。 一、核心创新:动态计算与通信优化 1. Zero-Computation Experts(零计算专家)...

View Article


Image may be NSFW.
Clik here to view.

GLM-4.5:三体合一的开源智能体大模型,重新定义AI推理边界

在追求通用人工智能(AGI)的道路上,智能体能力(Agentic)、复杂推理(Reasoning) 和编程能力(Coding) 是衡量大模型综合实力的“黄金三角”。而最新开源的 GLM-4.5 系列,正是以“ARC三位一体”为目标打造的超级模型,以3550亿参数登顶全球开源模型性能前三! 一、核心突破:MoE架构 + 混合推理模式 1. 高能效设计...

View Article

OpenAI gpt-oss-120b & gpt-oss-20b 模型技术报告英中对照版

OpenAI 发布的 gpt-oss-120b 与 gpt-oss-20b 是首批面向开源社区、同时强调“强推理+工具调用”的权重开放模型。以下从性能、安全与生态三个维度给出简评。 性能:小模型也能打• 在 AIME、GPQA 等硬核数学与科学基准上,120b 版本已逼近 o4-mini,20b 版本虽参数少 6 倍,却仍能超过 o3-mini,验证了 MoE+可变推理长度方案的有效性。•...

View Article

从万亿参数到智能体:Kimi K2 技术报告全景解读

1. 引言:为什么 K2 值得关注? 过去两年,大模型的竞争主线从「参数规模」转向「推理深度」再到今天的「智能体能力(Agentic Intelligence)」。Kimi K2 用一份 32 页的技术报告告诉我们:开源模型第一次在「非思考」条件下,同时在代码、数学、工具调用三大硬核基准上逼近甚至超越 Claude-4 系列。更重要的是,K2 用一套完全开源的权重 + 数据管线 + RL...

View Article


Image may be NSFW.
Clik here to view.

解码Google Gemini 2.5:推理、多模态与智能体能力的革命性突破

近日,Google DeepMind发布了震撼业界的Gemini 2.5系列模型技术报告,标志着大模型技术迈入全新阶段。作为谷歌迄今最强大的AI模型,Gemini 2.5 Pro不仅在传统基准测试中大幅刷新记录,更在长上下文理解、复杂推理和多模态智能体能力上实现质的飞跃。本文将深度解析这一技术里程碑的核心突破与潜在影响。 一、架构革新:从混合专家到思维引擎 Gemini...

View Article

Image may be NSFW.
Clik here to view.

深度解析Kimi K2:当 1T 参数不再只是“大”,而是“能动手”的开放智能体

一、从“答得好”到“做得成”:Kimi K2 的产品观跃迁 过去两年,大模型的竞争主线是知识密度(同等参数下答得更准)。Kimi K2 第一次把竞争焦点转向行动密度——在 32 B 激活 / 1 T 总参数的 MoE 架构里,用一套系统化的“数据-训练-推理”方案,让模型不仅能答,还能有计划地调用工具、写代码、发邮件、订机票。官方用一句话总结:Open Agentic Intelligence。...

View Article

MiniMax-M1:闪电注意力重塑大模型推理效率,百万上下文时代来临,附技术报告英中对照版

一、核心创新:闪电注意力 + 混合架构 1. 闪电注意力(Lightning Attention) 问题根源:传统Transformer的Softmax注意力存在O(n²)计算复杂度,限制长文本处理能力(如DeepSeek-R1仅支持128K上下文)。 解决方案: 采用线性注意力变体(Qin et al.),通过核函数近似Softmax,将复杂度降至O(n)。...

View Article


Image may be NSFW.
Clik here to view.

Mistral Magistral:纯强化学习炼就的推理引擎,颠覆LLM训练范式

无需蒸馏、抛弃SFT,Mistral用纯强化学习在数学与代码推理任务上实现50%性能飞跃 近日,Mistral AI发布了其首个纯强化学习训练的推理模型系列Magistral,并开源24B参数版本Magistral Small。这份技术报告揭示了其革命性的训练框架,不仅挑战了当前主流RLHF范式,更在多语言推理、跨模态泛化等方面带来突破性发现。本文将深入解析其技术脉络。...

View Article


Image may be NSFW.
Clik here to view.

小红书dots.llm1:重新定义MoE效率边界,14B激活参数挑战72B密集模型极限

核心突破:极简激活的超级大脑 142B总参数 | 14B动态激活(每token激活6个专家+2个共享专家) 性能对标:Qwen2.5-72B、DeepSeek-V3等顶级模型 训练成本仅1/4:11.2T token预训练耗用146万GPU小时(Qwen2.5-72B需612万小时) 推理经济性:单节点8张GPU(40/80GB)即可部署  MoE架构精要: 128路由专家 +...

View Article

Image may be NSFW.
Clik here to view.

Qwen3 Embedding 技术解析:多语言文本嵌入与重排序的新标杆

阿里巴巴通义实验室发布的 Qwen3 Embedding 系列模型在文本嵌入(Embedding)和重排序(Reranking)任务上实现了重大突破。本文深入解读其核心技术、创新点及性能表现。 一、核心目标与背景...

View Article

Qwen3技术解析:开源大模型的新标杆,附Qwen3技术报告英中对照版

近年来,大型语言模型(LLM)在通用人工智能(AGI)领域持续突破,而开源社区的贡献正不断缩小与闭源模型的差距。由Qwen团队推出的Qwen3系列模型,以其创新的架构设计、高效的多语言支持和卓越的性能表现,成为当前开源大模型领域的焦点。本文将从技术角度解析Qwen3的核心亮点及其背后的设计哲学。 一、Qwen3的核心创新 1. 动态思维模式:推理与响应的灵活切换...

View Article

Llama-Nemotron:高效推理大模型的技术突破与应用前景

近年来,大型语言模型(LLM)在复杂推理任务(如数学解题、代码生成、科学问答)上的表现突飞猛进。然而,推理效率和用户控制能力逐渐成为制约模型实际落地的核心挑战。针对这一痛点,NVIDIA 近期发布了 Llama-Nemotron 系列模型,以开放许可、高效推理和动态控制为核心卖点,在性能与效率之间实现了新的平衡。本文将深入解析这一技术报告,揭示其背后的技术革新与应用潜力。 一、核心亮点:为什么关注...

View Article


DeepSeek-Prover-V2:形式化数学推理的范式突破

一、引言:形式化定理证明的困境与机遇 在数学研究的圣殿中,形式化定理证明始终扮演着"终极验证者"的角色。从欧几里得的《几何原本》到现代数学的ZFC公理体系,严格的形式化证明始终是数学真理的基石。然而,这一过程长期面临两大挑战: 人类认知瓶颈:数学家需要将直觉性思维转化为符号逻辑系统(如Lean/Coq)的严格推导,这种"思维编译"过程耗时且易错。...

View Article

小米MiMo-7B技术报告深度解读:如何打造面向推理的高效大模型?

近日,小米LLM-Core团队发布了MiMo-7B技术报告,详细介绍了其专为复杂推理任务设计的大语言模型系列。该模型通过创新的预训练与后训练策略,在数学、编程及通用推理任务中表现卓越,甚至超越参数量更大的主流模型。本文将深入解析其核心技术,探讨其设计思路与性能优势。 核心亮点速览 推理潜力爆发:7B参数的MiMo-7B-Base在数学与编程任务中超越32B量级模型。...

View Article


Image may be NSFW.
Clik here to view.

Qwen3来了,全尺寸开源,性能拉满!附最新一手实测!

这两天技术群都在传阿里通义 Qwen3 五一前后发布,然后昨晚各种消息满天飞:...

View Article

Kimi-Audio:开源音频基础模型的技术突破与应用前景

近年来,随着大语言模型(LLM)的飞速发展,音频处理领域也迎来了革命性突破。近日,月之暗面(Moonshot AI)团队发布了Kimi-Audio,一款开源的音频基础模型,支持音频理解、生成与对话任务,并在多个基准测试中刷新了性能记录。本文将深入解读其技术报告,剖析其创新设计与应用价值。 一、为什么需要统一的音频基础模型?...

View Article


Image may be NSFW.
Clik here to view.

开源 AI 短剧神器来了!SkyReels-V2 与 A2 正式登场

影片创作迎来新纪元!SkyReels-V2 和 A2 双剑合璧,打破时长壁垒,赋予镜头魔法。用 AI 技术演绎无限创意,让每一帧画面都栩栩如生,低成本打造电影级视觉盛宴。 当前 AI...

View Article

SkyReels-V2:打破界限的无限长度电影生成模型

近年来,视频生成技术因扩散模型(Diffusion Models)和自回归模型(Autoregressive Models)的突破而飞速发展,但专业影视制作仍面临诸多挑战:如何平衡提示遵循性、视觉质量、动态运动和视频长度?如何理解复杂的“镜头语言”(如构图、演员表情、摄像机运动)?Skywork...

View Article

OpenAI GPT-4.1 API 发布及简介

OpenAI今晨推出了 GPT4.1,这是官方介绍: https://openai.com/index/gpt-4-1/ 以下是关于 GPT-4.1 的详细介绍,基于官方网页内容: GPT-4.1 简介 GPT-4.1 是 OpenAI 最新推出的 GPT 系列模型,具有以下核心特点: 性能提升:在编码、指令遵循和长文本处理方面显著优于 GPT-4o 和 GPT-4.5。...

View Article
Browsing index pages (236 articles)


Latest Images