一项研究推动 Metacritic 的隐藏公式的研究成为本周的头条新闻，但是 唐泽 发现了一些使其受到质疑的严重错误。
本周早些时候，福赛大学教授 Adams Greenwood-Ericksen 在旧金山举行了一次 GDC 会议，会上他分享了他对 Metacritic 影响的一些研究，Metacritic 是一个聚合网站，收集数百家媒体的媒体评论并将其作为单个内容输出。数字，或元分数。
过去几年，Metacritic 因拒绝透露他们用来制作乐谱的公式而受到了一些批评。这不是一个简单的平均数：Metacritic 承认他们在计算数据时更加重视某些媒体。但他们从未说过该加权系统是如何运作的。
因此，当 Greenwood-Ericksen 说他有一个复制 Metacritic 分数的模型时，人们注意到了。 伽玛经 发表了一篇文章，标题为“ Metacritic 的权重系统揭晓 ”，这引起了很多视频游戏开发者和记者的议论。该系统将商店分为六个不同的“等级”，并给予像这样的网站很大的权重。 IGN 和 有线 （并且对其他大型网站的权重显着减轻，例如 巨型炸弹 ).
不久之后，Metacritic 就火了。他们在 Facebook 上发布了 记下公式 ，称其为“疯狂的、完全不准确的”，并指责 伽玛经 发布误导性标题。 （当到达时 唐泽 供评论， 伽玛经 编辑克里斯·格拉夫特道歉：“是的，我觉得主要问题是一个糟糕的标题，我们为由此造成的混乱表示歉意。同样不幸的是，节目中出现了这样不准确信息的会议。”）
然而，一些人仍然对 Metacritic 的指控持怀疑态度，因为聚合器仍然不会分享他们使用的公式。
然而，今天 唐泽 发现 Greenwood-Ericksen 公式中的一个缺陷：列出的权重中至少有两个 — 对于网点 第六轴 和 玩英国—— 是不正确的。
让我们从头开始。 Greenwood-Ericksen 的模型基于 2005 年或 2006 年至 2011 年的 Metacritic 数据设计，为每个视频游戏渠道分配了某些数字权重，例如 1.5 和 0.5。公式：查看视频游戏的 Metacritic 页面，获取列出的所有评论分数，将每个分数乘以与其出口相关的权重，将它们全部加在一起，然后除以分数总数。 Greenwood-Ericksen 说，这个模型已经成功复制了大约 50 个分数。
不过，今天在插入数字并测试公式时，我发现数学不适用于 PS3 游戏 剑与士兵 . 当我尝试获取 Metascore 时，我发现我的成绩差了 7-8 分。 （数学确实适用于我尝试过的其他一些游戏，例如 威尼斯 .)
所以我联系了格林伍德-埃里克森，我一整天都在和他聊天。
“看起来 [Swords & Soldiers] 是 第六轴 ，也对于 玩英国 ，”他通过 Gchat 告诉我。“所以这两个重量实际上是 放 使用错误的数据。”
我问具体是什么意思。
“这意味着你发现我们犯了一个错误，”他说。 “这也意味着 189 的这两个重量中至少有一个可能偏离了......所以这些特定的重量是不可靠的。好消息是它表明这个过程仍然有效，我们中的一个人只是在应用时犯了一个错误。它......这当然很尴尬。一方面，我很高兴有人发现了这个问题。另一方面，我希望我们在成为公众关注的焦点之前就已经做到了。”
我问他为什么认为这项研究中没有其他类似的错误。
“我不认为我们会犯两次这样的错误，但这总是有可能的，”他说。 “当然，我必须再次检查我们的工作以确保确定。”
但福赛教授并不认为这些缺陷会使这项研究无效：他说，重点不是确定每个权重的值，而是表明可以计算出每个出口背后的权重。
今天早上，在我开始深入研究这个公式之前，格林伍德-埃里克森和我在电话里进行了长时间的交谈。他想明确表示，这些权重只是一项更大规模研究的一部分——这项研究得出了有关 Metacritic 的许多其他结论，比如它与销售数据的紧密联系——他告诉我，目标绝不是为了炫耀Metacritic 权重评分的准确模型。
“几乎每个人都错过了一件事情，那就是这是一个模型，”他说。 “我们没有拿着手电筒到地下室去看看结果是什么。很多像‘揭露’和‘发现’这样的词都是不准确的。”
这位教授表示，他对 Metacritic 在 Facebook 上的回应感到满意，尽管该聚合商称他的工作不准确。他很高兴，因为它提供了新的信息：例如，Metacritic 表示他们使用的层级少于六层，而且出版物权重比 Greenwood-Ericksen 模型中的更接近。
格林伍德-埃里克森似乎走在正确的轨道上，即使该模型不太适合这种情况。当他继续处理数字并试图弄清楚每个 Metascore 的具体工作原理时，这个公式背后的真相最终可能会浮出水面。
格林伍德-埃里克森表示，他希望 Metacritic 对他们使用的公式更加透明。它肯定会抢占这样的情况。
“我认为社区——以及 Metacritic——在这方面的透明度会更好，”他说。 “它们如此不受欢迎、引起如此多怨恨的部分原因是，人们感觉有一种任意的神奇过程产生了这样的分数。我不认为情况是这样。我认为 Metacritic 实际上正在非常努力地尝试得到一个合理的分数来代表产品的质量。
“我认为这就是人们所遇到的情况，因为他们在这个特定问题上不透明。”
照片：Gualtiero Boffi/ Shutterstock
留言