刘 星

道德心理学和决策心理学的研究表明，直觉和情感在大多数时候驱动着我们的判断和决策，而其方式通常不能令人满意。根据我们自觉的道德目标和原则，我们经常“不道德地”或至少以不道德的方式判断和行事［1］（367-392）。很多时候，个体带有错误的道德信仰、缺乏道德判断的关键信息和道德偏见等原因，很容易得出错误的道德判断，进而阻止个体作出正确的道德选择。例如，假如你有遵守环保的道德承诺，所以你希望把杯子投放到正确的垃圾箱中，尽管你的道德承诺很简单，但你通常无法根据自己的道德标准作出正确的选择。可能由于你不确切知道杯子的材料，你经常把杯子丢到错误的垃圾箱中，而达不到自己的道德标准。你可能致力于社会公正或减轻动物痛苦，因此，你可能想购买正宗的公平贸易产品或正宗的散养鸡蛋。但是，当你在超市时，你没有时间和精力来收集和处理所需的所有信息，以便与你的原则保持一致。你可能会根据包装上的图像或颜色购买产品，同样你的选择达不到你自己的道德标准。各种各样的例子都显示出关于人类的简单事实：我们通常无法作出符合自己的道德目标的选择，尤其是当我们必须在短时间内或紧急情况下作出决定时。因此，情感和直觉的判断通常会取代信息的收集、反思和计算［2］（170）。简而言之，我们是次优信息处理者、道德判断者和道德主体。

在本文中，我们描述了一种“人工智能道德顾问”形式，即一种基于道德标准的软件，它将比我们的大脑更快、更有效地向我们提供道德建议。……