Google Research 介绍自动生成连贯长视频的 AI 协同导演框架
Google Research 介绍基于 Gemini 与 Veo 的 AI 视频协同导演,用多智能体编排规划多镜头长视频的视觉连续性。该套件包括将于 COLM 2026 发表的 Co-Director、将于 EMNLP 2026 发表的 CANVAS,以及 A²RD 与 VQQA,分别处理创意配置、持久视觉记忆、分段生成和提示词闭环修正,并继承 SynthID 水印。
Google Research 介绍基于 Gemini 与 Veo 的 AI 视频协同导演,用多智能体编排规划多镜头长视频的视觉连续性。该套件包括将于 COLM 2026 发表的 Co-Director、将于 EMNLP 2026 发表的 CANVAS,以及 A²RD 与 VQQA,分别处理创意配置、持久视觉记忆、分段生成和提示词闭环修正,并继承 SynthID 水印。
Gemini 3.8 Live 即日起在 Gemini Enterprise 提供 Live Avatar,把近实时视频生成与语音结合,为对话带来可听、可看、可说的动态视觉形象。
推荐理由:Live Avatar 把近实时视频形象接到 Gemini 3.8 Live 语音对话中,使企业能在不中断交流的情况下后台调用工具并跨 97 种语言同步口型与表情。
Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,用投机解码加速推理且输出质量不变。设备端解码最高 3.13x、H100 最高 2.66x,端到端最高 2.62x 与 2.27x,参数多 280M(8.9%)。首日支持 llama.cpp、MLX-VLM、SGLang,提供开放权重。
NVIDIA与合作伙伴在AI Day Singapore展示东南亚AI进展。泰国iApp Technology用NeMo微调Nemotron 3 Nano并开源,法律助手Thanoy已服务约43,000名用户。越南Viettel AI广泛微调Nemotron 3 Super,该模型在VMLU与内部产品基准中排名最高。
Google DeepMind发布Gemini 3.8 Live与Gemini 3.8 Live Extended Thinking,把近实时推理用于语音智能体。
推荐理由:原文给出了Extended Thinking的语音基准分数,以及两款模型面向开发者、企业和普通用户的不同开放范围。
费城儿童医院基于 NVIDIA 联合创立的开源框架 MONAI,把患儿已有的 CT、MRI 和三维超声在数秒内生成解剖精确的心脏模型,用于先天性心脏病诊疗。原先需熟练研究人员约四小时的流程已快到可作常规临床使用;美国已有 20 多家儿童医院开展心脏建模,波士顿儿童医院每年约 500 例心脏手术中过半借助建模,CHOP 预计今年建模约 200 例。
Workflow1111 把 AUTOMATIC1111 的大部分功能重做成一张 Gradio 工作流画布,包含十一条媒体管线和七十三个节点。登录 Hugging Face 账号或提供访问令牌后,可运行文生图、高分辨率修复、图生图、提示词矩阵、VLM 反推、检测生成遮罩、标注、去背景、PNG Info 和图像转视频,模型调用使用用户自己的额度。
NeoMME推出260M和800M两款多语言多模态编码器,单一双向Transformer从零处理文本token与32×32图像块,并用掩码离散扩散目标训练全模型。
Google DeepMind 今天在 Gemini 3.7 Flash、3.6 Flash 与 3.5 Flash-Lite 上线智能体式视频理解,视频分析的 token 消耗最多降低 88%,成本最多降低 66%,准确率最多提升 7%。
推荐理由:智能体模式让模型按目标选择画面、音频或文字稿并只读取所需片段,长视频分析不必再整段按固定帧率消耗大量 token。
Google Research 在 Google Earth AI 中介绍实验性行星预测引擎 PPE,可根据自然语言查询自动完成地理空间数据发现、整理、训练、评估并生成报告,把含人工数据工程的建模时间从数周缩到数分钟。
Gemini Omni 1.1 Flash 现已推出,开发者可通过 Gemini API 做场景延续、首尾帧插值和最高 4K 放大。场景延续能分析最多 10 秒前文,而不只参考最后 1 秒,并按 10 秒一段把视频延到累计 40 秒;360p 预览成本为标准 720p 的三分之一,生成最高快 60%,成片可输出 1080p 或 4K。
推荐理由:开发者现在可以用最多10秒前文把已有视频按10秒一段延续到累计40秒,再以360p三分之一的成本和最高快60%的速度试稿后放大到4K。
Gradio 的 gr.Workflow 用类型节点图把 AI 流水线变成可拖拽界面,同一张图同时是 REST API,并可一键部署到 Hugging Face Spaces。
推荐理由:把多步 AI 流程写成带类型端口的节点图后,可以在画布上单独运行每一步并看到中间值,同一张图还能作为 REST 接口部署到 Spaces。
Sentence Transformers v6.0 新增 MultiVectorEncoder,以 ColBERT 式晚交互为每个 token 保留向量,并用 MaxSim 为查询与文档打分。
推荐理由:这篇官方教程把多向量晚交互和单向量嵌入的质量与索引成本放在一起比较,并写清编码、打分、检索重排和压缩索引的具体做法。
MindTopo 基准显示,多模态模型识别静态拓扑关系的表现明显强于交互规划,且两者都远低于人类。它按连续性、分离、顺序、包围和结五类,分别测试推理与规划;规划错误常出现在理解场景之后,模型会丢失结构关系或提出违反环境动态的动作。图像生成只在关系可见于单帧时偶尔有帮助,视频推演则经常改变拓扑或违反任务动态。
Google DeepMind发布大规模多语言手语转文本模型SL2T,先在Pixel 11的Gboard和Live Transcribe中把美国手语译成英语听写。
推荐理由:SL2T把超过五十种手语的身体关键点直接译成流式文本,并开始用于Pixel 11听写,读者可以据此了解手语输入如何接进日常打字。
Google Research 展示基于 Gemini 与 Project Astra 的 AMIE(Video),在100个情景、300次模拟实时视频问诊中,被20名全科医生评为在病史采集、诊断准确性、处置适当性和沟通质量上与10名视频问诊全科医生相当。
推荐理由:随机研究把AMIE视频版、纯文本版和全科医生放在同一评分框架下,从而呈现视听观察和虚拟查体的评分差异以及演员模拟边界。
Mistral 以 Apache 2.0 发布 3B 开源权重多模态安全分类器 Shieldstral,把内容审核做成推理时可用自然语言政策作答的二分类问答。请求包含评估说明、是否类问题和待审内容,模型只读取 yes 与 no 的 logits,经 softmax 得到连续安全分数,同一接口覆盖提示、回复、提示与回复组合以及图像。
Google DeepMind 今天发布 Gemini Robotics ER 2,将其作为机器人的高层具身推理模型,用于对话、理解物理世界和多步规划,再把运动执行交给下层视觉语言动作模型。
推荐理由:新模型相对 ER 1.6 补上了连续视频中的进度判断与多机协作能力,开发者可把它接到下层动作模型来编排多步实体任务。
Google DeepMind 推出 Gemini Robotics 2,把视觉和语言输入转成电机控制,让完整人形机器人和双臂机器人完成从脚到指尖的全身动作与灵巧操作。
推荐理由:这次更新把原先的桌面上半身操作扩展到全身协调、灵巧操作和多机协作,并说明端侧模型可用数小时数据适配新机体。
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 与 3.5 Flash Cyber,用于以更高 token 效率、更低延迟和更可靠表现规模化构建 AI 智能体。
推荐理由:官方把三款新模型相对前代的token用量、速度、价格和基准分数放在一起,便于比较它们在智能体工作流里的成本与能力取舍。
Google Research 提出大型传感器基础模型 SensorFM,用五百万名同意参与者超过一万亿分钟的无标签多模态可穿戴信号学习可复用生理表征。
Mistral 发布 8B 模型 Robostral Navigate,仅凭单目 RGB 相机和自然语言指令让机器人自主导航,在 R2R-CE 验证集未见环境达到 76.6% 成功率。
Google DeepMind 开放 Nano Banana 2 Lite 与 Gemini Omni Flash,分别用于高速图像生成,以及视频生成和对话式编辑。
推荐理由:官方同时给出图像模型的延迟与单价,以及视频模型的按秒定价和时长限制,读者可以据此估算图生视频迭代的成本。
Google Research 在 JAMA Dermatology 本周发表的调查显示,2345 名参与者借助原型 AI 猜出皮肤状况名称的准确率为 23%,高于普通搜索的 8%,而由皮肤科医生给出真实鉴别诊断的 Wizard of Oz 界面达到 36%。