产品

GPT

GPT

GPT 全称 Generative Pre-trained Transformer,由 OpenAI 训练与开发,核心机制是预测下一个 Token 的"文字接龙"——输入上文,模型逐层通过 Attention 整合信息、触发 FFN 中存储的知识,最终输出概率最高的下一个词。技术路线基于 Transformer 解码器,与 BERT 的编码器路径形成分野:解码器擅长生成,编码器擅长理解。

从 GPT-1 到 GPT-3,参数规模从亿级跃升至 1750 亿,"大力出奇迹"带来了上下文学习、零样本执行等涌现能力。2022 年底 ChatGPT 问世,在 GPT-3.5 基础上针对人类需求做大量微调,让模型"社会化";2023 年 3 月 GPT-4 发布,新增多模态处理能力。此后 OpenAI 推出 GPT Store,允许用户无需代码创建定制版 GPT。

GPT-4 一度被视为性能标杆,云启资本陈昱曾指出其核心壁垒在于工程优化的"秘密"。但到 2024 年,模型能力进阶速度显著放缓,从快速迭代进入渐进模式,Google Gemini 与之形成双雄格局,开源阵营 Meta 亦未缺席。国内大厂在继续追赶的同时,策略转向"结合钉子打磨锤子",将应用生态作为模型能力的实验田。

由 AI 生成,可能出现错误,请仔细核对内容。

GPT产品
GPT
渲染中…
在 62 篇文章中被提及

相关报道