一个数值精度描述了用于显示该数值的数字数量。在科学环境中,这将是数字的总数(有时称为有意义的数字有意义的数字),或者,较少见的是小数位数或小数点(小数点后的数字)的数量。第二种定义在金融和工程应用中很有用,因为在这些应用中,小数部分的位数具有特别重要的意义。

在这两种情况下,术语"精度"可以用来描述一个不精确的结果被四舍五入的位置。例如,在浮点运算中,一个结果会被四舍五入到一个给定或固定的精度,也就是结果意义的长度。在金融计算中,一个数字经常被四舍五入到给定的位数(例如,许多世界货币的小数点分隔符后的两位)。

作为一个例子,十进制数量12.345可以用各种有意义的数字或小数点来表示。如果精度不够,则以某种方式将数字四舍五入,以适应可用的精度。下表是用四舍五入法将各种总精度和小数点位四舍五入到最接近的数值的结果。

请注意,通常情况下,显示的数字不宜超过可测量的数字。例如,如果一个设备测量到最接近的克,并给出了12.345公斤的读数,如果测量值表示为"12.34500公斤",并在末尾多加两个零("00"),就会产生错误的精确度

将正数x表示为精度为p位的有效数字,其数值由公式给出。

round(10-n-x)-10n,其中n= floor(log10 x)+1-p

对于负数,数值是减去绝对值的数值。数字0,可以任意精确地取为0。