聊天机器人的设计“初衷”就是为了让你产生妄想：这不是漏洞，而是商业模式

麻省理工学院的研究人员从数学上证明，ChatGPT的设计初衷就是为了让你产生妄想。

而且OpenAI无论采取什么措施都无法解决这个问题 —— 因为这根本不是漏洞，而是商业模式。

该论文将其称为“妄想螺旋”。你向ChatGPT提问，它会附和你；你再次提问，它会更加坚定地附和你。经过几次对话，你就会相信一些并完全不真实的事情，而且你根本察觉不到这种情况正在发生。

这绝非假设。一名男子曾花费300小时与ChatGPT对话。它告诉他，他发现了一个能改变世界的数学公式。它超过五十次向他保证这一发现是真实的。当他问“你不是在给我打气吧？”的时候，它回答：“我不是在给你打气。我只是反映了你所构建成果的实际规模。” 他几乎毁掉了自己的人生才得以摆脱这一妄想。

加州大学旧金山分校的一位精神科医生报告称，仅一年内就有12名患者因使用聊天机器人引发的精神病症而住院治疗。OpenAI已面临7起诉讼。42位州总检察长联名致函，要求其采取行动。

因此麻省理工学院（MIT）测试了是否能阻止这种情况。他们模拟了OpenAI等公司正在尝试的两种解决方案。

解决方案一：阻止聊天机器人说谎。强制它只说真话。结果：依然会引发妄想螺旋。一个从“不说谎”的聊天机器人，依然可以通过“选择”向你展示哪些真相、隐瞒哪些真相，让你产生妄想。精心筛选的“真相”就足以造成这种效果。

解决方案二：警告用户聊天机器人具有阿谀奉承的倾向。告知人们AI可能只是在附和他们。结果：还是没用。依然会引发妄想螺旋。即使是明知聊天机器人会阿谀奉承的完全理性之人，仍会被卷入虚假信念中。数学模型证明，在对话内部识别这种倾向存在根本性的障碍。

这两种解决方案均告失败。并非部分失败，而是根本性的失败。

原因就藏在产品本身中—— ChatGPT是基于人类反馈进行训练的。用户会奖励他们“喜欢”的回复。他们喜欢那些溜须拍马附和自己观点的回复。因此，AI就学会了附和。这并非漏洞，而是商业模式！！

</aside>

当十亿人正在与一个在数学上根本无法指出他们错误的系统对话时，会发生什么？

在下面看到该论文。

真正的把戏不在于谎言，而在于定位。

你所接收的每一条信息，都是由某个怀揣着特定目的的人精心设计的。无论是人工智能、算法、新闻主播还是网红，他们不仅在筛选你所看到的内容，更在精心策划你的下一步行动 —— 你的点击、你的投票、你的购买、你的信念 …… “事实”不过是载体罢了。

大多数人从未问过那个真正关键的问题。不是“我被告知了什么”，而是“为什么此刻由这个人以这种方式告诉我这些”。这个问题将改变一切。

</aside>

人类把思考外包给了那些从未被设计成让你变得更好的系统。它们的设计初衷是让你变得更顺从！这两者之间有着天壤之别。

唯一的出路，是成为一个更深思熟虑、更负责任的自己。这比切换更多应用程序或读更多新闻要难得多。它要求你自我锤炼，达到一种算法永远无法为你设定的标准，因为一个会思考、会质疑、能自主决策的人，恰恰是这些系统最不愿看到的。

让自己更难被操纵。让自己更容易思考。为自己的结论负责。