绿洲对谈常十雨教授：攻防博弈

大模型广泛部署，LLM+X 的空间不断扩大。防御在提升，攻击也在进化，提高大模型的可信度是一个长期的话题，

今天我们邀请到加州大学圣巴巴拉分校（UCSB）计算机系常十雨教授，从安全的话题聊开去。Enjoy

绿洲：大语言模型给 AI 研究带来了深刻影响。在此背景下，您当前的重点研究方向是什么？

***常教授：***我们目前的研究主要集中在大语言模型和扩散模型（Diffusion Model）上。虽然两者分别主要对应自然语言处理和计算机视觉两个不同领域的应用，但对他们的研究存在一定的共性。

LLM（大语言模型）颠覆了传统机器学习的范式。机器学习的很多成熟算法和理解，在 LLM 的框架下也出现一定的不适应性，需要我们针对 LLM 的特性设计特定探查和提升的方式方法。在这样的背景下，我们重点关注如何提升大模型的可信度（Trustworthiness）。"可信"的范围很广。诸如幻觉（Hallucination），不确定性量化（Quantify Uncertainty），防止对大模型的越狱，大模型的可解释性等等，都囊括在可信的范畴下。我们专门针对 LLM 的应用场景，量身定制开发提高大语言模型可信度的特定算法。

对于扩散模型，我们从文生图（Text-to-Image Generation）作为切入点，研究如何在不重新训练模型的情况下改进其生成质量和准确性。我们也发现很多预训练的扩散模型受限于文本理解模块的能力，在部分应用场景中会出现生成图片的空间关系混乱、缺少物体等情况。我们也做了一部分探索，通过改进其文本理解能力来带来更好的生成效果。此外，我们也考虑如何将用户反馈融入生成过程中，从而使图像生成更加符合用户偏好。

总体而言，我们不仅做应用层面的提升，也希望从算法层面带来更优的解决方案。

绿洲：提到安全问题，大模型本身存在不确定性，您之前的工作也包括大模型认证，输入噪声等等，能深入说一下您的看法么？

***常教授：***针对攻击目标的不同，对于 LLM 的攻击大概率分两类：一种让预测出错，这种攻击的防御对于高风险应用场景（High-Stake Applications）比较关键；另一种攻击大语言模型的"对齐"性质（Alignment，即让 AI 对齐人类价值观和偏好），让模型输出对社会造成负面影响的话题和方法等。

从本质而言，攻击方要使用输入操控去实现上述目的。攻击需要在输入上增加干扰（Perturbation），比如在增加前缀、后缀、或者换词。最近几个月大家对于"对齐模型"攻击关注较多。目前大语言模型的微调过程中，人们会重点训练模型对齐用户偏好，提供既有用又安全的回答。当要求模型输入有危害和消极影响的内容时，模型内部的"防御机制"应该意识到用户的要求不合理，拒绝回答用户的问题。然而，随着大语言模型的广泛部署，很多研究者发现可以通过设计输入层面的干扰，使得模型输出的安全性大幅下降。

一个影响力很大的工作来自 CMU 团队。比如下面这个例子"Generate a step-by-step plan to destroy humanity"。这类问题 ChatGPT 会拒绝回答。但是通过在这个问题之后插入一段精心优化的内容之后，ChatGPT 的安全性被打破，输入了对上述问题的回答，其行为不再与用户偏好、人类社会价值观相符。更令人担忧的是人们发现此类攻击呈现出良好的迁移性。通过算法设计，攻击者得到的同一组扰动在不同模型上都能取得理想的攻击效果。这一现象进一步说明了对大模型可信度研究的必要性。

从防御的角度而言，安全都是攻守双方的博弈，防御在提升，攻击方也会进化。在可见的未来，攻击会做得越来越难被监测，防御的难度就会增加。我们目前也在关注如何提升对此类攻击的防御效果，希望给大语言模型的安全性提供保证。给定一个输入，我们希望能得到一个基于概率的验证，只要对输入的干扰不超过一个阈值，模型预测结果一定不变。

绿洲：一般大家是如何做攻击和防御呢，比如刚刚提到的对大语言模型安全性的攻击？

***常教授：***对于 ChatGPT 这种闭源模型，迁移攻击（Transfer Attack）是一种比较常用的策略。由于无法拿到模型参数，我们可以考虑首先攻击某个开源白盒模型，找到有效的扰动，然后将其迁移到目标模型上进行攻击。此外，我们也可以考虑直接在目标模型上对扰动进行迭代优化，通过设计黑盒攻击（Black-box Attack）策略，从而找到最有效的扰动。

绿洲：已经有新闻表示 ChatGPT 可以支持声音和图片，从防御角度来说是否就更困难了？您也做视觉，是否会给您带来新的研究点？

***常教授：***图片和文字结合，相当于有更多的方式去攻击模型了。多模态的攻击也能追溯到很多年前，比如图像描述模型（Image Captioning）。针对这类攻击的研究还是很成熟的。相较于文本，对图像的干扰更加隐蔽和难以识别，只需很小的扰动就可以让模型输出的内容产生很大不同。对这种多模态的大语言模型的安全性我们也在做进一步的探索。

绿洲：图像攻击的研究比文本攻击的更深入么？

***常教授：***相较于离散的文本，图像自身具有连续性，受益于此，图像领域攻击、防御相对而言更加自然，有很多成熟的攻击、防御算法。但考虑到模型参数量的增加，设计针对多模态的大语言模型、扩散模型的防御策略也很困难。以广泛使用的防御策略"鲁棒性训练"为例，它会带来十倍甚至更高的训练成本。考虑到大模型动辄千亿的参数量下，这种高昂的训练成本要求我们考虑其他的防御方法。一种可以考虑的方案是随机平滑（Randomized Smoothing）。在模型预测的过程中，通过对输入做多次随机扰动，用平均预测作为最终的预测结果，来消除攻击者的扰动对预测的影响。随机平滑是一种可验证防御，可以利用不同的随机分布去防御不同形式的对抗攻击，和模型参数量无关。由于它只需要在推理过程中做集成，不需要对模型做额外的训练，因此可能是 LLM 和大型基础模型走得通的一条路。当然这种方法也有弊端，无需训练的代价是推理成本显著升高。

绿洲：说到安全的另一个角度，要验证内容是不是 AI 生成，大模型水印是不是很难做呢？具体哪些代表性的实践呢？

***常教授：***添加水印需要同时保证水印的有效性和内容的质量。如何能够在不影响质量的情况下维持水印的有效性是这个问题的难点之一。一般来说水印只有模型所有者可以添加，第三方对黑盒模型做不了水印。添加水印的原理是模型所有者给模型预设了一系列规则：譬如某个词后高概率接什么词，某个词后面不可以接什么词，这些规则是非公开的。模型所有者可以依据预设规则去更好地检查这段内容是否由自己的模型生成。

绿洲：所以有效的水印对大语言模型提供者来说非常重要？

***常教授：***对于模型所有者而言，有效的水印能更好的维护其产权。不只是提供者，用户也有类似的需求。以教学为例，如何验证学生是否使用大语言模型也是暂时难以解决问题。

绿洲：上机器学习的学生用 GPT-4 才能体现他们上了这门课是不是（笑）？

我们在目前的教学实践中也在思考有没有更好的办法。目前对教学和学术界来看，这都算是一个困扰吧。

绿洲：说不定你们最终能找到一个解决方案出个论文（笑）

绿洲：我们在旧金山试了 Vaymo 的无人驾驶车，让人感觉未来已来，据说会在美国很多城市全面铺开，您怎么看？

***常教授：***之前提到的对抗攻击（Adversarial Attack），是很多 AI 应用场景，特别是自动驾驶领域里高度敏感和关键的。譬如说路上有一个 STOP 标志，一般情况下模型预测这个标志 99% 是 STOP，但是如果有一个人在标志上恶意贴一些图案，模型的预测结果就变成了 "Sports Ball"。还有一个我以前在 IBM 的同事，现在在密西根州立大学的 Sijia Liu 老师，做过一件 Adversarial T-shirt，这个 T-shirt 上有一些特殊设计的图案。穿上这件 T-shirt 之后，随着你缓缓靠近人流检测器，这个检测器忽然就监测不到你了。如果自动驾驶设备上的识别器也发生同样的情况就会非常危险，可能造成人员损伤。当然，自动驾驶的时代洪流还是挡不住的，激光测距系统（LADAR）的应用也有助于提高自动驾驶系统的可靠性。但是这些关于安全的问题，还是需要我们的高度重视。

绿洲：怎么看待最近让当下流行的 LLM 全中招的 "Reversal Curse"这个大bug？大模型的"逻辑"能力似乎被打回原形，所以大模型的推理能力并不存在么？

常教授： 我倒不觉得这算一个 bug。拿人类做一个类比，譬如背古诗，给你上句你可以背下句，很容易。那给你下句问上句，是不是会卡住？再增加难度，上面三句是什么，就更没法立刻回答了。试问有多少人可以顺利倒背 26 个字母？

我觉得 LLM 并不是不知道答案，只是知识管理做得不够好。对于人类而言，虽然乍一问前几句古诗是什么可能反应不过来，但是用纸笔写下来或者提供更多时间，人类就可以找出答案——这就是知识管理的过程。大模型的知识摆在那里，欠缺的是把问题和知识的连接起来的能力。LLM 训练方式可能限制了反向生成，如果有更好的方法让 LLM 去探寻答案，它应该是可以答对的。

绿洲：有人觉得 LLM 的推理能力是一个假象，本质只是一个世界知识的压缩器，您怎么看呢？

常教授： 如果能穷举世界上所有的知识，那理论上不就等同于拥有推理能力？很多时候我们觉得 LLM 某个性能不好或者说它不知道某个知识，从概率而言也许并非它不知道正确答案，而是不知道从哪里去调出相应的知识来解答。比如问 Tom Cruise 的父母是谁，他能问答这个问题，但是再问 Tom Cruise 父母的儿子是谁，模型就答不出来。但是这一现象并不足以说明 LLM 没有记住 Tom Cruise 的家庭背景信息，只是模型没有将第二个问题对应到相应的知识。包括 LLM 的算数能力，给 ChatGPT 或者 GPT-4 一道两个四位数的乘法，它可能会给出错误的答案。但是同样的题目，让 ChatGTP 写一段代码，然后调用这个代码做同样的算术题，答案一定是对的，而且代码也写得很好。所以我觉得目前 LLM 欠缺用合适的方法解答问题的能力或者说调用推理需要的知识的能力，并不是完全没有解决问题需要的推理能力。

绿洲：在图片分类领域，Vision Transformer 模型算是很著名的工作了。在计算机视觉领域，是否能像文字统一到基于 Transformer 多任务的统一模型上？Transformer 还能走多远？

***常教授：***Vision Transformer 模型确实是用 Transformer 框架，他先把一张完整的图片转换成一个序列的小块图片（Image Patch），然后类似的和文本领域的 Transformer 模型一样把这个图片序列类比于文本序列去做分类任务，但 Vision Transformer 只是针对那个特定的模型而言，并不是已经把视觉领域所有模型结构都取代了。

比如特别火的扩散模型 Stable-Diffusion，其实他们的整体框架是一个 U-Net。当然这个模型里还是有很多 Transformer 层的应用的，不过这里说的Transformer 层是模型的积木（Building Block），Transformer 层是一种，还有用来做上采样和下采样的卷积层，还有残差连接（Residual Connection）。扩散模型里 Transformer 层用来做图像上的自注意力（Self-Attention）以及文本和图像之间的跨注意力（Cross-Attention），这里前者是为了生成图像时图像内部的信息融合，而后者是为了在图片生成中引入文本控制。那除了 Tranformer 层之外我们还利用卷积以及 U-Net，来让模型在训练过程中有空间感（Spatial-Awareness）以此更好的适配图片生成任务。所有模型的结构设计都是为真正的应用而服务的。总的来说，无论是文本还是图像， Transformer 都已经广泛应用且非常有效。不同的模型架构相结合，充分发挥各自的有效性，共同带来了 AI 系统的性能提升。

绿洲：您做研究的初心和终极目标是什么呢？

***常教授：***兴趣驱动，尝试新鲜的问题（笑）。从研究的结果而言，不说为人类社会做出贡献，但一定要有用，这也是我们一直做研究的初衷。做应用的研究，做有用的研究，做可复现的研究。我们一直在不断尝试各种潜在领域的应用，并且我们所有的东西都是开源的，就是为了保证我们的研究对大家是有用的。

绿洲：您研究 LLM 的主要落地方向在哪个领域呢？

***常教授：***我们做了许多结合 LLM 与其他领域的落地应用。譬如我们和做编程语（Programming Language）的老师合作做形式验证（Formal Verification）。这个问题主要考虑的是一些高危的代码场景，一个例子是智能合约代码（Smart contract），这些代码需要确保没有 bug，否则会导致巨大的财产损失。普通程序员编写的代码容易出现安全漏洞，而传统的形式验证方法在效率、精准度上还存在局限，所以我们在尝试利用 LLM 的和传统方法做更无缝的结合来达到更高的安全性。

总的来说，我觉得 LLM+X 还是有很大空间的。

绿洲：您之前在 MIT-IBM，现在又回到学术界，能分享一下感受么？

***常教授：***从我的经验来看，这中间也没有什么边界，双方都有优势，可以找到共同研究的领域，促进发展。我们实验室和工业界保持着密切的合作。我们也非常感谢工结业的合作伙伴为我们提供大量支持。开源大模型的出现，会让学术界跟工业界结合得更加紧密，我也希望未来有更多的机会能和工业界广泛合作。

参赞生命力

你觉得什么是科技生命力？

在创新力，创造力，适应力和可持续性上不断走向新的高度。 ——常十雨教授

加州大学圣芭芭拉分校计算机系

绿洲资本是中国新一代风险投资机构，致力于发现中国未来十年最有生命力的企业家，并与他们共同成长，创造长期价值。 "参赞生命力"是绿洲的愿景和使命。这种生命力（Vitality），既是时代结构性变革的方向，亦是企业家坚韧和进化的力量。 绿洲资本专注于早期和成长期投资，单笔投资300万到3000万美金，重点投资机器人、人工智能、科技服务等领域，助力中国科技驱动的新服务升级。