فرض کنید که دو استوری داریم. استوری شماره ۱ و شماره ۲. استوری شماره ۲ به طور چشمگیری از استوری شماره ۱ بزرگتر است.
حالا دو تیم الف و ب را در نظر بگیرید. از تیم الف خواسته شده که بگوید اگر استوری شماره ۱ برابر ۱۰ پوینت باشد،‌ استوری شماره ۲ چند پوینت خواهد بود؟
از تیم ب هم خواسته شده که بگوید اگر استوری شماره ۲ برابر ۱۰ پوینت باشد، استوری شماره ۱ چند پوینت خواهد بود؟
آیا به نظر شما نسبت معنا داری بین پاسخهای دو تیم وجود خواهد داشت؟

مطالعه ای در سال ۲۰۱۳ توسط محقیق دانشگاه اسلو انجام شده با این عنوان:

Relative Estimation of Software Development Effort: It Matters With What and How You Compare

این مطالعه با شرکت 62 نفر برنامه نویس از سه کشور انجام شده و نتایج آن جالب توجه است.

اما درباره نتیجه مطالعه:

هرچند انتظار می رود که اگر تیم «الف» اعلام کند استوری شماره ۲ مثلا ۴۰ پوینت است (۴ برابر بزرگتر)، تیم «ب» (با مقداری اختلاف) به این نتیجه برسد که استوری شماره ۱ حدودا یک چهارم استوری شماره ۲ وزن دارد. اما نتیجه ی حاصل از مطالعه، با این انتظار کاملا یکسان نیست.

در واقع موضوع اصلی این تحقیق این است که آیا جهت مقایسه (Direction of Comparison) در نتیجه ی مقایسه تاثیر دارد یا خیر. 

مثال میزنم: اگر عده‌ای بگویند که جسم الف ۴ برابر جسم ب حجم دارد، میتوانیم نتیجه بگیریم که همان افراد وقتی که جسم ب را با جسم «الف» مقایسه می‌کنند، به این نتیجه برسند که جسم «ب» یک چهارم جسم «الف» حجم دارد؟

نتیجه این آزمایش نشان داده که اینطور نیست و جهت مقایسه در نتیجه‌ی مقایسه تاثیر گذار است. این موضوع ریشه در مسایل ادراکی و شناختی انسان دارد و یک مسله عام است. هر جا که پای انسان در میان باشد، وقوع این پدیده موسوم به «نامتقارنی مقایسه» (Estimation Asymmetry) محتمل است.

دقت کنید که در این آزمایش مهم نیست که دو تیم اعضای ثابتی دارند یا نه. اعضای تیمها هر بار تصادفی انتخاب می‌شدند. اما سوالی که از همین گروه‌های تصادفی شده متفاوت بوده و جهت مقایسه متفاوتی برای آنها تعریف شده است.

در همان سوالی که ابتدای این نوشته پرسیدم، وقتی که تیم استوری کوچک تر را مبنا قرار می‌دهد اعلام می‌کند که استوری بزرگتر بیش از ۳ برابر وزن دارد. اما وقتی استوری بزرگتر، مبنا قرار می‌گیرد اعلام می‌کنند که استوری کوچکتر تقریبا نصف استوری بزرگتر است.

به عبارت ساده تر مهم صرفا مقایسه مهم نیست. بلکه مهم است که چه چیزی با چه چیزی مقایسه می‌شود. پس مسیر مقایسه در نتیجه‌ی مقایسه تاثیر گذار است!

حالا از نتیجه این آزمایش اینجور استفاده می‌شود که هنگام پوینت دهی به استوری‌ها، برای این که تیم دچار این خطای «شناختی / ادراکی» نشود و تخمین‌ها نسبتا دقیق‌تر باشند،‌ از دو مبنای مقایسه استفاده شود. مثلا یک استوری ۳ و یک استوری ۵ پوینتی. در این حالت مقایسه دقیق تر خواهد شد و کمتر تحت تاثیر پدیده نامتقارنی تخمین قرار خواهد گرفت.