研究人员从公开数据库获得了两个PacBio HiFi数据集和两个ONT数据集。评估了11种方法在长读长群落数据集上的性能，包括了五种专门为长读长开发的方法、五种常用的短读长方法和一种通用方法(表1)。研究人员对长读长数据集运行了所有的方法，对人工拆分的短读长数据集只使用了短读长分析方法。

表1.本实验中使用的分类分析方法

研究人员使用几个标准来评估方法的性能，包括reads利用率、种和属水平分析，以及相对丰度估计。

1.reads利用率

不同方法的总reads分配差异很大(图1)。就短读法而言，Kraken、Bracken和Centrifuge-h22分配的reads数量最多(HiFi为93-100%，ONT为81-99%)。Centrifuge-h500除了HiFi ATCC MSA-1003(有98%的读取分配)，在数据集上分配的reads数要少得多(1-53%)，甚至在ONT R10 Zymo D6300中异常低(~ 1%)。两种基于标记的分析方法都分配了最少的reads数(MetaPhlAn3: 23-39%;mOTUs2: 0.2-1%)。HiFi和ONT数据集之间的sourmash分配差异最大，HiFi中分配的数据集(81-90%)远远多于ONT (ONT R10.3为26-41%，ONT Q20为59-68%)。

在不同的长读长分析方法和不同的测序技术之间，读取分配存在相当大的差异。所有长读长分析方法中，HiFi数据集中的总reads分配范围为71%至99%(平均= 85%)，而ONT的范围为46%至97%(平均= 71%)。对于ONT数据集，MetaMaps和BugSeq-V2分配的reads数最多(95-97%)，其他所有方法分配的reads数较少(46-67%)。依赖于蛋白质参考数据库翻译比对的方法在HiFi数据集中比ONT数据集中分配了更多的reads，包括MMseqs2 (HiFi: 94-99%;ONT: 46-67%)和MEGAN-LR-prot (HiFi: 71-74%;ONT: 60–62%) ，因为即使是稍微高一点的错误率也会对翻译比对产生负面影响。针对MMSeqs2分析方法，ONT R10.3数据集中分配的reads数比Q20数据集中分配的少(分别为46%和67%)，同样的模式也存在于Centrifuge-500和sourmash。然而，尽管ONT Q20数据集的准确性有所提高，但与HiFi数据集相比，reads分配仍然较低。

图1.各分类方法的Read利用率。A.HiFi ATCC MSA-1003, B.HiFi Zymo D6331, C.ONT R10 Zymo D6300, D. ONT Zymo D6300。

2.种、属水平分析

基于最小阈值为总reads的0.001%的物种检测结果汇总如图2、图3所示。最明显的性能差异出现在短读长和长读长/通用分析方法(包括sourmash)之间。大多数短读长分析方法显示出非常低的精度和相对较高的召回率，因此F值非常低。

长读长分析方法和sourmash在准确率、召回率和F值方面优于短读长(图2)，但它们也显示出性能上的差异。有些方法没有显示一致的结果，对于特定的数据集执行得更好。例如，MetaMaps和MMseqs2在HiFi ATCC MSA-1003上表现相当好。然而，这两种方法在其他三个数据集上的表现较差，并且与短读长分析方法的结果更接近(例如，非常低的精度，较高的召回率);有趣的是，sourmash在HiFi数据集上显示出很高的精度和召回率(k51中最高)，优于大多数长读长分析方法。然而，对于ONT数据集，其性能有所下降;这对于ONT R10尤其明显(图2)。

在所有四个数据集中，MEGAN-LR-prot、MEGAN-LR-nuc-HiFi、MEGAN-LR-nuc-ONT和BugSeq-V2始终表现出最佳性能（图2-3）。这四种方法检出的物种数量最多(假阴性值低)，检出的假阳性值很少(0-2)。因此，它们显示出高精度、中等到高召回率和最高的F值。HiFi数据集的中等召回率是由于未能检测到丰度较低的物种，特别是0.02%至0.0001%丰度水平，而Sourmash (k31和k51)在这些具有挑战性的HiFi数据集上显示了出色的召回率。对于ONT数据集，Zymo D6300中的物种具有相对较高的丰度(12%和2%)，这反映在几乎所有长读长分析方法以及sourmash的完美召回中。

图2. A.HiFi ATCC MSA-1003, B.HiFi Zymo D6331, C.ONT R10 Zymo D6300, D.ONT Q20 Zymo D6300的最小阈值为总读数的0.001%，用于物种水平分析的精密度、召回率和F值

图3.在最小阈值为总reads的0.001%的基础上，得到物种水平分析的A.精密度和召回率, B.F1分数, C.F0.5分数的平均值。B和C中竖线右侧的方法是长读分类器。

基于0.001%的最小阈值的属水平分析在精度、召回率和F值方面有一定提高(图4、5)。改进几乎是可以保证的，因为分配给一个属内多个物种的读数在属水平上都被认为是正确的，因此假阳性(和潜在的假阴性)的数量减少了。尽管在属水平上，所有方法的精度、召回率和F值都有所提高，但长读长分析方法的性能仍然大大优于大多数短读长分析方法(图5)。

图4.A.HiFi ATCC MSA-1003, B.HiFi Zymo D6331, C.ONT R10 Zymo D6300, D.ONT Q20 Zymo D6300的最小阈值为总读数的0.001%，用于属水平分析的精密度、召回率和F值

图5.在最小阈值为总reads的0.001%的基础上，得到属水平分析的A.精密度和召回率, B.F1分数, C.F0.5分数的平均值。B和C中竖线右侧的方法是长读分类器。

3.相对丰度估计

研究人员进行了物种水平和属水平的相对丰度分析，对所有数据集进行分析发现，在物种水平上，采用长读长分析方法和sourmash估算的丰度比采用短读长方法估算的丰度更准确。

图6.物种水平的相对丰度分析

另外，作者还评估了Kraken2、Bracken、Centrifuge-h22、MetaPhlAn3、mOTUs2和sourmash (k31和k51)在ATCC MSA-1003和Zymo D6300群落两种类型的短读长数据集上的性能。

从两个群体的短读长数据集中获得的精度、召回率和F值与从长读长数据集中获得的结果非常相似（图7A-B），Sourmash在短读长数据集中表现最好，具有高召回和高精度。然而，短读长数据集无法产生准确的相对丰度估计。在两个群落的种水平上，所有的短读长方法都未能通过卡方拟合优度检验（图7C-D），在属水平上，只有sourmash-k51通过了拟合优度检验。

图7.两个Illumina短读数据集的结果。a Illumina ATCC MSA-1003和B Illumina Zymo D6300的精密度、召回率和f -分数基于总读数的0.001%的最小阈值。C Illumina ATCC MSA-1003和D Illumina zimo D6300的种水平相对丰度估计。