<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.hoenzb
        {mso-style-name:hoenzb;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-CA" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="mso-fareast-language:EN-US">Dear Nikhil<o:p></o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US">I wrote only about the proposed method of dealing with the variability of results.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<div>
<p class="MsoNormal"><b><span lang="EN-US">></span></b>Anyway, what you write about the proposal to penalize the rating with 2 sigmas assumes that the underlying distribution is known, and that the causal link to the ultimate objective is linear. <br>
<br>
<o:p></o:p></p>
<p class="MsoNormal">I proposed 1 Sigma, Laurent wants 2 to have more certainty that the performance will be above a certain level.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The problem is this:<o:p></o:p></p>
<p class="MsoNormal">Experimenters are responsible for some of the variability of results.<o:p></o:p></p>
<p class="MsoNormal">The stove itself may have variable performance because of how fuels falls and burns.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">The fuel may be variable in consistency.<o:p></o:p></p>
<p class="MsoNormal">The calculation method may enhance the variability of the results, by which I mean that there may be variability in the calculated result that is not present in the raw data.<o:p></o:p></p>
<p class="MsoNormal">The apparatus has an uncertainty that is inherent in the equipment giving variability to the final answers/ratings.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Currently, it is common (incorrect) cause that stove performance does not vary, only the other elements do, with primary blame falling onto the operator. This is unfair. Some stoves have variable performance. A stove that cannot be relied
 upon to perform at a certain level, say 30% efficiency, should be down-rated to some level that can be assured with a number attached: say, 68% confidence that it will be 27% efficient or better. The selection of the confidence level is a policy decision.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We do not know, when looking at a set of stove test results, what the relative contributions to the variability are. Actually we don’t care. We want assurance that the stove will perform at or above some target value and that has a $ value
 to us. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Suppose the test results show the following (all numbers invented for demonstration purposes)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">95% confidence that it will perform at 25% efficiency or better.<o:p></o:p></p>
<p class="MsoNormal">68% confidence that it will perform at 27.5% efficiency or better.<o:p></o:p></p>
<p class="MsoNormal">50% confidence that it will perform at 30% efficiency or better.<o:p></o:p></p>
<p class="MsoNormal">32% confidence that it will perform at 32.5% efficiency or better.<o:p></o:p></p>
<p class="MsoNormal">5% confidence that it will perform at 37.5% efficiency or better.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">How much are you willing to pay for such a stove? There is no point in assigning a rating based on an average. I want to know what bang I am getting for my buck.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Supposed the baseline stoves are 15% efficient. If I get everyone a stove that is 25% efficient and I have 95% confidence that it will perform that well, or better, I can invest with confidence.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">This has very practical consequences. If I take my stove to a low quality lab and get highly variable results, I can still use them, but the sigma-deducted rating will be lower than it might be. It doesn’t mean a low quality lab cannot
 provide an answer, just that the variability of the result affects the rating. More variability, lower rating. If I take the same stove to a much higher quality lab, I will get less variable results, supposing that it was not all due to the stove itself. Such
 a better cluster of results will permit the assignation of a higher sigma-deducted rating. For the policy manager, this means we can have the same level of confidence as the other, lesser lab, but at a higher ‘guaranteed’ performance rating.  This is a good
 approach. Everyone can play the game, and the rating system takes care of the different levels of uncertainty.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We must have a way to use all answers that considers their quality. You want a better answer? Use better equipment and people.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Regards<o:p></o:p></p>
<p class="MsoNormal">Crispin<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>