公平性是人工智能（AI）高风险决策中日益关注的问题，但仅通过技术手段来确保公平性却面临着挑战：没有普遍接受的公平性度量标准，公平性取决于具体情况，并且对什么是公平的可能存在不同的观点。因此，让利益相关者参与进来，即使他们没有人工智能或公平性的背景，也是一个很有前景的途径。直接让利益相关者参与的研究还处于起步阶段，关于如何支持利益相关者对公平性进行反馈，以及如何将这种反馈整合到人工智能模型中，还有很多问题。我们的工作采用了一种方法，让利益相关者可以对特定决策实例及其结果的公平性进行反馈，然后重新训练人工智能模型。为了研究这种方法，我们对用于贷款申请的复杂信贷评分人工智能模型进行了两项研究。在研究 1 中，我们收集了 58 位普通用户对贷款申请决策的反馈，并进行了离线实验以调查对准确性和公平性指标的影响。在研究 2 中，我们通过向 66 位参与者展示其关于公平性的反馈结果，然后进行了进一步的离线分析，深化了这一调查。我们的工作贡献了两个数据集和相关的代码框架，以促进进一步的研究，突出了利用普通用户反馈来提高人工智能公平性的机遇和挑战，并讨论了开发更能反映利益相关者对公平性的观点的人工智能应用程序的实际意义。