特德·姜：ChatGPT 是一种有损压缩工具

过去一个月，是绿洲成立以来最忙碌的开年：一方面我们尽可能多收集境内外 AIGC 的信息提升认知；一方面我们见了诸多国内高校顶级学者了解事实。兴奋之余，我们会陆续分享观点和认知，以便大家一起迎接 AIGC，也期待和我们分享您的信息和认知。

下文来自特德·姜 (Ted Chiang)，美国当代最优秀的华裔科幻作家之一。他提供了一个看待 AIGC 的角度，我们在 DeepL 的帮助下翻译了出来，希望对您有帮助，Enjoy。

2013 年，德国一家建筑公司的工人注意到他们的施乐影印机在工作时发生了神秘事件：当他们复印一栋房子的平面图时，复印件与原件出现了细微但却是关键性的差别。在原来的平面图中，房子的三个房间都配有一个长方形来说明其面积：分别为 14.13、21.11 和 17.42 平方米。然而，在复印件中，所有三个房间都被标注为 14.13 平方米。为此，公司联系了计算机科学家 David Kriesel 来调查这个不可思议的情况。

他们之所以需要一位计算机科学，是因为现代施乐公司的复印机使用的并不是 1960 年代流行的物理静电 (xerographic process) 复印技术，相反，他们以数字方式扫描文件后，打印出图像文件，这样的技术让几乎每个数字图像文件都被压缩用以节省存储空间。 于是，复印件失真之谜的答案逐渐浮出了水面。

图为 Tiamat 创作生成 具体来说，压缩文件需要两个步骤：编码，文件被转换为更紧凑的格式；解码，将编码的过程反向进行。如果恢复的文件与原始文件相同，则压缩过程被描述为无损，即没有丢失信息。相反，如果恢复的文件只是原始文件的近似值，则压缩被描述为有损。 无损压缩通常用于文本文件和计算机程序，因为在这些领域中，即使是一个错误的字符也有可能造成灾难性的后果。在绝对精度不重要的情况下，有损压缩通常用于照片、音频和视频。因为我们不会注意到一张图片、一首歌或电影是否被完美地复制。只有当文件被压缩得非常紧时，保真度的损失才会更加明显。这些情况下，我们会注意到所谓的压缩失真——压缩到最小的 JPEG 和 MPEG 图像模糊，或者低比特率 MP3 的劣质声音。 施乐复印机使用的是一种被称为 jbig2 的有损压缩格式，专为黑白图像而设计。为了节省空间，复印机会识别图像中看起来相似的区域，并为这些区域存储一份副本；当文件被解压时，它会重复使用该副本来重建影像。其结果是，复印机判断指定房间面积的标签非常相似，所以它只需要存储其中一个，即 14.13 平方米的房间，并且在打印楼层平面图时，它对所有三个房间都重复使用了同一个标签。 施乐复印机使用有损压缩格式而不是无损格式，这本身并不是一个问题。然而复印机以一种微妙的方式压缩了图像，使其中的压缩失真不能被立即识别出来 ( 2014 年施乐发布了一个补丁来修复这个问题) 。 我认为，我们研究 OpenAI 的 ChatGPT 和其他类似程序 (AI 研究人员称之为"大语言模型"）时，施乐复印机的这起事件值得我们铭记于心。复印机和大语言模型听上去可能风牛马不相及，但请试想以下场景：假设你未来永远无法上网，为了做出应对，你计划为互联网上的所有文本创建一个压缩副本，以便将其存储在专用服务器上。不幸的是，你的私人服务器容量只有所需空间的 1%；如果你想要一切都是准确的，你就不能使用无损压缩算法。但是你可以编写一个有损算法来识别文本中的统计规律，并将它们存储在专门的文件格式中。由于你在这个任务中拥有几乎无限的计算能力，因此你的算法可以识别非常细微的统计规律，这允许你实现所需的 100:1 的压缩比。 于是，失去网络不再可怕，因为你把网上的所有信息都存储在了你的服务器上。唯一的问题是，由于文本被高度压缩，你无法通过准确的关键词来查找信息，你也永远得不到一个精确的匹配，因为存储的不是单词。为了解决这个问题，你创建了一个接口，该接口接受提问式查询，在服务器上找出要点答案，并传达响应。 我刚才所描述的过程是不是很像 ChatGPT ，或者大多数大语言模型？试着把 ChatGPT 看作互联网上所有文本的有损压缩 JPEG，它保留了互联网上的大部分信息，就像 JPEG 保留了高分辨率图像的大部分信息一样。但是，你无法找到精确的比特序列，只能得到一个近似值。因为这个近似值是以符合语法规则的文本的形式呈现的，而 ChatGPT 擅长创建这类文本，所以它显示的结果通常是可以被接受的。 你得到的是一张模糊的 JPEG，因为不是传统意义上的"模糊"，所以你不会觉得看到了一张不清晰的图片。

图为 Tiamat 创作生成 这种与有损压缩的类比，不仅能理解 ChatGPT 是在通过重新打包互联网上搜集到的信息进行产出，它也是一种理解人们产生"错觉"或对事实性问题发表无意义回答的方法。而大语言模型（如 ChatGPT）都很容易出现这种情况，这些错觉是压缩后的产物。但就像施乐复印机产生的错误标签一样，它们可信度太高，要分辨它们必须与原件进行比较。也就是说，辨别大语言模型生成的内容是否准确，要么你比较互联网上信息，要么就和个人对世界的认知进行比较。这样一想，人们产生错觉就合情合理。如果一种压缩算法被设计成先丢弃 99% 的原始文本，再重建文本，我们就能预料到它生成的很多内容完全是捏造出来的。

有损压缩算法使用的一种常用技术是插值（译注：一种通过已知的、离散的数据点，在范围内推求新数据点的过程或方法），用这个类比就更明白了——也就是说，通过查看间隙两侧的内容来估计缺失的内容。当图像程序显示照片时，必须重建压缩过程中丢失的像素，它会查看附近的像素并计算平均值。这就是人们让 ChatGPT 用《独立宣言》的文风描述丢在烘干机里的袜子时，它做出的处理：在"词汇空间"中取两个点，并生成占据它们之间位置的文本（"在人类事件的过程中，一个人有必要把他的衣服与它们的同伴分开，以保持其清洁和秩序……"）。ChatGPT 对此非常擅长，于是人们发现了一种用于"模糊"段落而不是"模糊"照片的工具，并且玩得很开心。 鉴于像 ChatGPT 这样的大语言模型经常被吹捧为人工智能的前沿，把它们描述为"有损文本压缩算法"可能有点降维打击，或者令人泄气。不过我确实认为这可以为大语言模型人格化的趋势纠偏。不过压缩算法的类比还有另一个角度值得考虑。自2006年以来，一位名叫马库斯·赫特 (Marcus Hutter) 的人工智能研究人员提供了一项现金奖励——被称为"压缩人类知识奖"或"赫特奖"，奖励任何能够无损地压缩维基百科特定 1GB 快照的人，要求很简单，比上一位获奖者压缩的数据更小即可。你如果用过 zip 格式的压缩文件，zip 可以将赫特的 1GB 文件压缩到 300 兆左右；而最近的获奖者已经设法将其减少到了 115 兆字节。这个奖项不仅仅是磨合练习，赫特认为，更好的文本压缩将有助于创造人类级别的人工智能，一部分原因是，只有理解了文本背后的原理，才能实现最大程度的压缩。 为了掌握压缩和理解之间的拟议关系，设想你有一个文本文件，其中包含一百万个加减乘除的题目和解答。尽管任何压缩算法都可以减少这个文件的大小，但实现最大压缩率的方法可能是推导出算术的原理，然后据此为计算器程序编写代码。这样的计算器，不仅可以完美重建原始文件中的一百万道题，还可以重建将来可能遇到的任何其他算术题。同样的逻辑也适用于压缩维基百科片段，如果一个压缩程序，理解力等于质量乘以加速度，那么它在压缩有关物理学的网页时就可以舍弃很多内容，因为它能够重构。同样，程序对供求关系了解得越多，它在压缩有关经济学的页面时就能丢掉更多的内容，依此类推。 大语言模型可以识别文本中的统计规律性。通过对网络文本的分析会发现，像 "供应不足 "这样的短语经常与 "价格上涨 "这样的短语相邻出现。当被问及关于供应短缺影响的问题时，一个包含这种相关性的聊天机器人可能会回答关于价格上涨的答案。如果一个大型语言模型编制了大量经济术语之间的相关性，并达到可以对各种问题提供合理应答的程度，我们是否可以说它已经理解了经济理论？像 ChatGPT 这样的模型没有资格获得"赫特奖"，原因有很多，其中之一是它们没有精确地重建原文——也就是说，它们没有进行无损压缩。但是，它们的有损压缩还是体现了人工智能研究人员感兴趣的那种"真正意义上的理解"，这可能吗？ 让我们回到算术的例子上。如果你要求 GPT-3 (ChatGPT 所依据的大型语言模型) 进行加减运算，当数字只有两位时，它几乎总能回答正确。但是当数字越大，它的准确性就越差，到五位数时，它的准确性就会下降到百分之十。GPT-3 给出的大多数正确答案在网络上是找不到的——例如，没有多少网页包含 "245+821 "这样的文字，所以它不是在进行简单的记忆。但是，尽管摄取了大量的信息，它也没有能够推导出算术的原理。检查一下 GPT-3 提供的错误答案，表明它在进行算术时并没有携带 "1"。网络上当然有带 "1 "的解释，但 GPT-3 并没能纳入这些理解。GPT-3 对算术例子的统计分析，使它能够产出和真实事物表象近似的内容，但仅此而已。 既然 GPT-3 在小学科目上都能滑铁卢，我们如何解释它有时在大学论文上的出色表现？尽管大语言模型经常产生错觉，但当它们有时候听起来它们好像真的理解经济理论等学科。也许算术是一个特殊的例子，大语言模型还无法破解算数背后的逻辑。有没有可能，在加减法之外的领域，从文本内容中统计出的规律与现实世界的知识是可以相对应的？ 我认为有一个更简单的解释。想象一下，如果 ChatGPT 是一种无损算法，会是什么情况？它应该会通过提供相关网页的逐字引用来回答问题，那我们就会认为，这个软件只不过是传统搜索引擎的升级，并不会对它产生如此深刻的印象。而事实上，ChatGPT 对网络上的材料进行了全新的表述，而不是逐字逐句地引用，这使它看起来像是一个学生在用自己的语言表达想法，而不是简单转述所读到的东西；它让人产生了一种错觉 —— ChatGPT 理解了这些材料！在人类学生中，死记硬背并不是判断学习能力的指标，所以 ChatGPT 不能准确引用网页上的内容，反而让我们认为它已经学到了什么。我们处理单词序列时，有损压缩看起来会比无损压缩更聪明。 人们已经为大语言模型提出了很多用途，把它们比喻为模糊的 JPEGS，是评估它们可能或可能不适合做什么的一种方法。让我们考虑几种情况： 大语言模型能否取代传统的搜索引擎？为了让我们对它们有信心，我们需要知道它们没有被灌输宣传和阴谋论——我们需要知道 JPEG 正在捕捉网络中的正确内容。但是，即使一个大语言模型里只有我们想要的信息，仍然存在模糊性的问题。有一种模糊性是可以接受的，那就是用不同的词重新表述信息；还有一种模糊性就是捏造，在我们在寻求事实的情况下，这是不可接受的。目前还不清楚在技术上是否有可能保留可接受的模糊性，同时消除不可接受的模糊性，但我希望在不久的将来我们可以做到。 即使有可能限制大语言模型的模糊性，我们是否应该用它们来生成网络内容？只有当我们的目标是重新包装网络上已有的信息时，这才有意义。有些公司就是为了这个目的而存在的——我们通常称它们为"内容加工厂"。也许大语言模型的模糊性对他们来说是有用的，可以避免侵权。不过，我想说的是，对内容加工厂有利的东西，对搜索信息的人来说并不是好事。这种内容加工的兴起，使我们现在更难在网上找到我们真正需要的东西；大语言模型生成的文本在网络上发布得越多，网络就越会进一步成为自己的"模糊"版本。 虽然 OpenAI 即将推出的 ChatGPT 的下一代 GPT-4 的公开信息还不够多，但我要做一个预测：在收集用于训练 GPT-4 的海量内容时，OpenAI 会尽一切努力排除由 ChatGPT 或任何其他大语言模型生成的材料。如果真是这样，这种措施无意间将肯定，将大语言模型和有损压缩做类比是有意义的。反复重存 JPEG 会产生更多的压缩失真，因为每次都会丢失更多的信息——就相当于过去我们反复复印复印件，图像质量只会越来越差。 事实上，衡量一个大语言模型质量的一个有用标准，可能是一个公司是否愿意将其生成的文本作为新模型的训练数据。如果 ChatGPT 生成的内容对 GPT- 4 来说不够好，我们就可以把它作为一个参照指标，认为它的质量也不行。相反，如果一个模型生成的文本优秀到可以用来训练新的模型，那么我们对它产出的文本质量就有信心了（我想这样的结果需要在建立这些模型的技术上有重大突破才能实现）。如果当我们开始看到模型输出内容和向它们的输入内容一样好，那么有损压缩的比喻就不再适用了。

图为 Tiamat 创作生成 大型语言模型能够帮助人类进行原创吗？

要回答这个问题，我们需要明确原创的是什么。有一种艺术流派被称为"施乐艺术"，或"复印艺术"，在这种艺术中，艺术家们利用复印机的特性作为创作工具，使用 ChatGPT 的复印能力肯定可以达到这些目的。从这个角度上说，大型语言模型可以帮助原创。但我不认为有人会声称复印机是艺术创作中必不可少的工具；绝大多数艺术家在创作过程中不使用复印机，也没人认为不用复印机就影响他们原创了。 现在让我们假设，我们讨论的不是"施乐艺术"类型的原创，而是一种新的写作创作。大语言模型生成的文本能否成为作家在原创时有用的起点，无论是小说还是非小说？让大语言模型来处理繁文缛节，能否让作家把注意力集中在真正有创意的部分？ 显然，没有人能代表所有的作家，但我的观点是：从非原创作品的模糊拷贝开始创作，并不是原创的好方法。如果你是一个作家，在你写出原创作品之前，你会写很多非原创作品。而花在这些非原创作品上的时间和精力并没有浪费；相反，我认为这正是使你最终能够创造出原创作品的原因。在选择正确的词和句子排列以更好衔接内容上花费的时间，是教你散文是如何传达意义的。让学生写文章不仅仅是测试他们对材料掌握程度的方式，还能让他们获得表达自己想法的经验。如果学生从来没写过我们都熟悉的文章类型，他们就永远不会获得创作出全新内容所需的技能和技巧。 而且，并不是说一旦你不再是学生，你就可以安全地使用大语言模型提供的模板。表达思想过程中的各种挣扎和纠结并不会在你毕业后就消失，它可以在你开始起草新作品时发生，有时只发生在写作的过程中，只有那些时刻你才会发现自己的原创想法。有些人可能会说，大语言模型的输出看起来与人类作家的初稿没有什么不同，但我依然认为这只是一种表面的相似性。你的初稿并不是一个表达清晰的非原创想法，而是一个表达不佳的原创想法，它伴随着你无定形的不满，你可以意识到它所表达的和你希望它表达的意思之间的距离。这就是在重写过程中教会你的东西，也正是当你用人工智能生成的文本开始创作时，最缺乏的元素之一。 写作并没有什么神奇或神秘之处，但它涉及到的不仅仅是将现有文件放在不可靠的复印机上，然后按下复印按钮。在未来，我们可能会建立一个人工智能，它能够根据自己对世界的经验写出好的散文。我们实现这个目标的那天当然是意义非凡的，但那一天的到来远远超出我们可预测的范围。 在此期间，我们有理由问，拥有重新包装网络内容的工具有什么用？ 假设我们永远不能上网，并且不得不在空间有限的私人服务器上存储一份副本，那么像 ChatGPT 这样的大语言模型或许是个很好的解决方案，前提是要确保它不捏造内容。但现在我们还没有遇到这种极端状况，那么，当你手头还拥有原件的时候，一张有损压缩的模糊 JPEG，又有多大用处呢？

绿洲资本是中国新一代风险投资机构，致力于发现中国未来十年最有生命力的企业家，并与他们共同成长，创造长期价值。 "参赞生命力"是绿洲的愿景和使命。这种生命力（Vitality），既是时代结构性变革的方向，亦是企业家坚韧和进化的力量。

绿洲资本专注于早期和成长期投资，单笔投资300万到3000万美金，重点投资医疗健康、生物科技、企业服务等科技服务领域，助力中国科技驱动的新服务升级。