Bug #10254 Precision math: too-early truncation of post-decimal number

• Submitted: 29 Apr 2005 1:24
• Modified: 15 Jun 2005 10:07
• Reporter: Peter Gulutzan
• Status: Closed
• Category: MySQL Server
• Severity: S3 (Non-critical)
• Version: 5.0.6-beta-debug
• OS: Linux (SUSE 9.2)
• Assigned to: Alexey Botchkov
• CPU Architecture: Any

[29 Apr 2005 1:24] Peter Gulutzan

Description:
If I divide 2 by 3, and if there are 21 post-decimal digit positions, the possible
answers are 0.666666666666666666666 (truncation) or
0.666666666666666666667 (rounding). But I get 0.666666666666666666000.

How to repeat:
mysql> select 2.00000000 / 3;
+-------------------------+
| 2.00000000 / 3          |
+-------------------------+
| 0.666666666666666666000 |
+-------------------------+
1 row in set (0.00 sec)