
<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=iso-8859-1"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><!--[if !mso]><style>v\:* {behavior:url(#default#VML);}

o\:* {behavior:url(#default#VML);}

w\:* {behavior:url(#default#VML);}

.shape {behavior:url(#default#VML);}

</style><![endif]--><style><!--

/* Font Definitions */

@font-face

        {font-family:Wingdings;

        panose-1:5 0 0 0 0 0 0 0 0 0;}

@font-face

        {font-family:"Cambria Math";

        panose-1:2 4 5 3 5 4 6 3 2 4;}

@font-face

        {font-family:Calibri;

        panose-1:2 15 5 2 2 2 4 3 2 4;}

@font-face

        {font-family:Tahoma;

        panose-1:2 11 6 4 3 5 4 4 2 4;}

/* Style Definitions */

p.MsoNormal, li.MsoNormal, div.MsoNormal

        {margin:0cm;

        margin-bottom:.0001pt;

        font-size:11.0pt;

        font-family:"Calibri","sans-serif";}

a:link, span.MsoHyperlink

        {mso-style-priority:99;

        color:blue;

        text-decoration:underline;}

a:visited, span.MsoHyperlinkFollowed

        {mso-style-priority:99;

        color:purple;

        text-decoration:underline;}

p.MsoAcetate, li.MsoAcetate, div.MsoAcetate

        {mso-style-priority:99;

        mso-style-link:"Texte de bulles Car";

        margin:0cm;

        margin-bottom:.0001pt;

        font-size:8.0pt;

        font-family:"Tahoma","sans-serif";}

p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph

        {mso-style-priority:34;

        margin-top:0cm;

        margin-right:0cm;

        margin-bottom:0cm;

        margin-left:36.0pt;

        margin-bottom:.0001pt;

        font-size:11.0pt;

        font-family:"Calibri","sans-serif";}

span.EmailStyle17

        {mso-style-type:personal;

        font-family:"Calibri","sans-serif";

        color:windowtext;}

span.EmailStyle18

        {mso-style-type:personal;

        font-family:"Calibri","sans-serif";

        color:#1F497D;}

span.TextedebullesCar

        {mso-style-name:"Texte de bulles Car";

        mso-style-priority:99;

        mso-style-link:"Texte de bulles";

        font-family:"Tahoma","sans-serif";}

span.EmailStyle21

        {mso-style-type:personal-reply;

        font-family:"Calibri","sans-serif";

        color:#1F497D;}

.MsoChpDefault

        {mso-style-type:export-only;

        font-size:10.0pt;}

@page WordSection1

        {size:612.0pt 792.0pt;

        margin:70.85pt 70.85pt 70.85pt 70.85pt;}

div.WordSection1

        {page:WordSection1;}

/* List Definitions */

@list l0

        {mso-list-id:287665098;

        mso-list-type:hybrid;

        mso-list-template-ids:-88989922 67895297 67895299 67895301 67895297 67895299 67895301 67895297 67895299 67895301;}

@list l0:level1

        {mso-level-number-format:bullet;

        mso-level-text:\F0B7;

        mso-level-tab-stop:none;

        mso-level-number-position:left;

        text-indent:-18.0pt;

        font-family:Symbol;}

ol

        {margin-bottom:0cm;}

ul

        {margin-bottom:0cm;}

--></style><!--[if gte mso 9]><xml>

<o:shapedefaults v:ext="edit" spidmax="1026" />

</xml><![endif]--><!--[if gte mso 9]><xml>

<o:shapelayout v:ext="edit">

<o:idmap v:ext="edit" data="1" />

</o:shapelayout></xml><![endif]--></head><body lang=FR link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='color:#1F497D'>Dear Elisa,<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Thanks for the quick answer.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'> <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I carefully re-read the Winrock toolkit.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I will still make that same statement.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I saw what you mentioned, and agree that Winrock indeed insists in this toolkit on the importance of knowing local context and habits, making field testing and that lab testing is not always representative of what happens in the field.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>But still, when it comes to testing, the toolkit gives a strong and misleading impression that the WBT should be used. That it is a great tool to test, compare and even select stoves. And that if you can add field testing, that’s even better.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I am gonna quote below extensively the toolkit, and no, I am not cherry-picking.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>By the way:<o:p></o:p></span></p><p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='font-family:Symbol;color:#1F497D'><span style='mso-list:Ignore'>ˇ<span style='font:7.0pt "Times New Roman"'>         </span></span></span><![endif]><span style='color:#1F497D'>The WBT is mentioned 8 times<o:p></o:p></span></p><p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='font-family:Symbol;color:#1F497D'><span style='mso-list:Ignore'>ˇ<span style='font:7.0pt "Times New Roman"'>         </span></span></span><![endif]><span style='color:#1F497D'>The CCT is mentioned 6 times<o:p></o:p></span></p><p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='font-family:Symbol;color:#1F497D'><span style='mso-list:Ignore'>ˇ<span style='font:7.0pt "Times New Roman"'>         </span></span></span><![endif]><span style='color:#1F497D'>The KPT is mentioned 4 times<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>No other protocol is mentioned.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 19 <i>Ť Best practices 3. Undertake in-country testing of the cookstoves you plan to promote, to ensure that they perform well with local foods and fuels. ť</i><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>This is good. Here field tests are advised. As best practices, not prerequirements, but still.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page<i> </i>19<i> Ť Standardized laboratory testing protocols and metrics allow for replicability and comparability among tests and across stoves. As stoves often perform differently when consumers use them in their own homes, field testing in consumer homes often provides a more realistic picture of actual stove performance ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>How people will read it: Ť lab protocols allow for a realistic picture. But field testing allows for a <u>more</u> realistic picture. ť<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>They will interpret it as: Ť lab is good, field is better ť. As a small manufacturer with no money, I could rely on the good results and the (Ť ISO ť as the Aprovecho says) certification given by the lab. I would not necessarily proceed with a field testing because it is (deemed) long, painful, costly to execute.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>The issue is that the lab testing the toolkit talks about is catastrophic, it is the WBT.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 19 <i>Ť Laboratory testing often represents the best possible performance under ideal conditions ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>No, the performance is not representative, because there are problems with the metrics and the calculations, it is not repeatable and the statistical approach is wrong.<o:p></o:p></span></p><p class=MsoNormal><i><span style='color:#1F497D'>Ť but cookstoves that perform well in the lab (where the standard test is boiling water) may not always perform well cooking a specific local food, or with nonstandard fuels. ť<o:p></o:p></span></i></p><p class=MsoNormal><span style='color:#1F497D'>Note that here there is a warning. This is a good thing. I wished the toolkit would have said: Ť Never develop a stove without testing it in the field. Field testing is compulsory ť.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 20 <i>Ť Three common standardized tests are the Water Boiling Test (WBT), the Controlled Cooking Test (CCT), and the Kitchen Performance Test (KPT). The laboratory-based WBT is the most standardized of the three, and allows for comparison between stoves. ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>I don’t see how one would not want to use the WBT after reading that. Why choose another protocol when you can get Ť the most standardized of the three ť, that Ťallows for comparison between stoves ť?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Again, the WBT does not allow for anything but wasting time and money.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 20 Then the toolkit gives a link to the GACC website, with the WBT at the top of the page:<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><a href="http://cleancookstoves.org/technology-and-fuels/testing/protocols.html">http://cleancookstoves.org/technology-and-fuels/testing/protocols.html</a>  <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 20 <i>Ť Testing protocols are consistently updated and reviewed by the global community to ensure methods for lab and field testing provide the best possible depiction of how each stove performs ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>Fantastic, so the Ť global community ť made sure for me the last version of the WBT, the 4.2.3., was really top-notch and fully updated. I can now sleep on both ears. <o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 20 <i>Ť For example, testing protocols are being evaluated and updated through an ongoing international standards process (see below). ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>What I got from some people is that the WBT is being dropped by the TC 285 and that they are not working on the issues highlighted by the many studies about the WBT.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>So why are we still talking about the WBT in handbooks and toolkits anyways?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 21 <i>Ť That said, the tiers developed were based on the Water Boiling Test, as the sector has the most data available for that test, with the future goal being to develop tiers for other testing protocols. ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>Decidedly, this WBT seems like a great protocol. Yes, I think I’ll use it to test my stove, so I can compare it with the competition and place it on tiers!<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>At the bottom of the page 22, there is even a very nice graph, showing the tiers, under 3 of them, it is written Ť Water boiling test ť.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 28 (it is in bold in the text) <i>Ť <b>All stove and fuel combinations should be tested by a reputable, nationally or internationally recognized testing lab, before being deployed in any local context ť<o:p></o:p></b></i></span></p><p class=MsoNormal><span style='color:#1F497D'>Here it is. So, lab testing is a prerequisite. What are the reputable testing labs? Aprovecho?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 35<i> Ť Conducting all of the research techniques provided in the WASHplus toolkit can take a fair amount of time and resources. At a minimum, those interested in promoting cookstoves in a given context should undertake a simple controlled cooking test with a local cook cooking a typical local meal to at least rule out inappropriate cookstoves, and a few focus group discussions to get initial feedback on cookstove features desired by the consumers. ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>Sounds really like a pain. I am not interested to sell my cookstoves in a given context only anyways, I want to export containers to big clients around the world! I think I’ll just skip the field test or do only one simple CCT like recommended.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 57 <i>Ť The laboratory-based WBT is the most easily controlled of the three, allowing for comparison between stoves. The CCT uses a controlled field environment to assess the performance of stoves relative to the traditional baseline optionť Ť The KPT produces a more ‘real- world’ estimate as it measures the impact of the introduction of the stove on all household fuel use1, meaning that it takes into account not just the intervention stove performance, but also the degree to which consumers displace their traditional cooking option. This test is carried out in a larger number of households once the stove has shown positive results using the WBT and/or the CCT ť</i><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Again, reading that, if I could do only one test, I’d do the WBT. It seems we seek first for positive results with the WBT, then we go to the field.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Page 57 <i>Ť Emissions monitoring is most often done in conjunction with the other testing protocols described above, and can be done in both lab and field settings.  The Water Boiling Test, for example, has a section on emissions testing as part of the formal protocol. ť<o:p></o:p></i></span></p><p class=MsoNormal><span style='color:#1F497D'>On emissions: only the WBT is mentioned, no other protocols. Other lab protocols could have been mentioned.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I don’t know anyone who would not want to know the stove emissions.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>So what I would understand: WBT really is the go-to protocol.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>So after all that, how I would not want to test my stove with the WBT? How would I not be mislead?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I am sorry, but this toolkit is unfortunately putting one more layer of cement on the status quo, on the WBT. But underneath that, the WBT is rotten. This toolkit is keeping us in the past.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>I am waiting for a document that will, at last, make the choice not to talk about the WBT, and present the new alternative protocols. Do we want progress or not?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>The fact that the toolkit advises to do field testing does not make the many mentions and promotion of the WBT any less problematic. Page 28 : lab testing (i.e. WBT) is strongly advised, before anything else. The GACC, D-Lab documents, even the Aprovecho documents admitted doing field tests was strongly advised.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>But they never disavowed the WBT. The Winrock toolkit is not disavowing it neither, on the contrary!<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>You wrote: </span><i><span lang=EN-US style='color:#1F497D'>”If you read the whole toolkit and still have that impression, please give me a call, as that would be a truly problematic take-away”</span></i><span lang=EN-US style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Sure, that would be great to make a phone call, thanks for offering that. When there are critics, it is rare people are ready to discuss them in person, so thanks for that. I’ll write to you to set up a call.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>But first I would like the conversation to continue a bit here the List and would like to have your answer on the above, because I think everyone is concerned and needs to know.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>You seem to want improvements and be ready for changes. That is great. I think the toolkit can easily be modified and reuploaded. It needs to state that there are serious concerns about the WBT, mention alternative protocols, and requires absolutely that field testing is performed.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>That can be done easily.<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>You wrote: <i>“Even better—come to ETHOS at the end of January and we can discuss further; you’d be welcome to also present to the group on your ideas and suggestions for the sector.”<o:p></o:p></i></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>That is great, thanks for the invitation. I would love to go to ETHOS, if my schedule allows me, I’ve never been. I’d love to join and to discuss with everyone. The issue is that I live in France, and cannot pay for the trip from my personal budget.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Is ETHOS able to cover my travel expenses?</span><span style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>You wrote: </span><i><span lang=EN-US style='color:#1F497D'>“</span></i><i><span style='color:#1F497D'> </span></i><i><span lang=EN-US style='color:#1F497D'>Have you considered joining TC 285 to help inform the testing protocols our sector is developing through the consensus-based ISO process? “<o:p></o:p></span></i></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Yes, very seriously, and I actually tried: I asked the AFNOR if France could join, but they never replied to my queries. </span><span style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>I have been asked this question several times, notably by Sally Seiz and Ranyee Chiang, but haven’t been offered the opportunity. I’d be grateful to hear from someone or find reports somewhere about the on-going talks.</span><span style='color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>And I have a final question: do you agree Elisa that the WBT is an unreliable protocol, which is no good to develop, compare, nor select stoves?<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'>Best,<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><br>Xavier<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>De :</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> Derby, Elisa [mailto:ederby@winrock.org] <br><b>Envoyé :</b> mardi 21 novembre 2017 04:13<br><b>Ŕ :</b> Xavier Brandao<br><b>Cc :</b> 'Discussion of biomass cooking stoves'<br><b>Objet :</b> RE: The WBT allows for comparison between tests and stoves, says Winrock<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Dear Xavier,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Thanks for your message and for reading the toolkit, I’m glad you were able to find it. I can’t imagine that anyone who has ever worked with Winrock or even read just the consumer preferences section of the toolkit could get the impression that Winrock would recommend making stove selection decisions based only on *any* laboratory test. <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>It seems you may have missed the “best practices” intro to that same section you quote that emphasizes the importance of local testing of stoves to ensure that they perform well with local foods and fuels.  And where we say that cookstoves that perform well in the lab won’t necessarily perform well in homes cooking specific local foods, or with nonstandard fuels. And where we highlight the importance of updating and reviewing testing protocols to ensure methods for lab and field testing provide the best possible depiction of how each stove performs. <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>If you read the whole toolkit and still have that impression, please give me a call, as that would be a truly problematic take-away, and I’d like to better understand your perspective.  My direct line is 1-617-524-0466 or we can talk on skype.  Even better—come to ETHOS at the end of January and we can discuss further; you’d be welcome to also present to the group on your ideas and suggestions for the sector. It’s a great place to have these kinds of discussions in-person.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Have you considered joining TC 285 to help inform the testing protocols our sector is developing through the consensus-based ISO process? Or the guidelines for how these voluntary standards get explained and rolled out? Having more perspectives at the table makes for a better outcome.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Kind regards,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Elisa<o:p></o:p></span></p><p class=MsoNormal><a name="_MailEndCompose"></a><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US>From:</span></b><span lang=EN-US> Xavier Brandao [<a href="mailto:xvr.brandao@gmail.com">mailto:xvr.brandao@gmail.com</a>] <br><b>Sent:</b> Sunday, November 19, 2017 12:38 PM<br><b>To:</b> 'Discussion of biomass cooking stoves' <<a href="mailto:stoves@lists.bioenergylists.org">stoves@lists.bioenergylists.org</a>><br><b>Cc:</b> Derby, Elisa <<a href="mailto:ederby@winrock.org">ederby@winrock.org</a>><br><b>Subject:</b> The WBT allows for comparison between tests and stoves, says Winrock<o:p></o:p></span></p></div></div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal>Dear all,<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Winrock has recently published, on September 2017, on its website, a toolkit:<o:p></o:p></p><p class=MsoNormal><span lang=EN-US><a href="https://www.winrock.org/wp-content/uploads/2017/09/Winrock_Cookstove_final_reduced.pdf"><span lang=FR>https://www.winrock.org/wp-content/uploads/2017/09/Winrock_Cookstove_final_reduced.pdf</span></a> </span><o:p></o:p></p><p class=MsoNormal>The toolkit <i>Ť can be used by various stakeholders, but is primarily aimed at bringing USG staff and external project developers and implementers up-to-speed on significant developments in the cookstove sector in recent years. ť</i><o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>According to the toolkit, p 20, <i>Ť Standardized laboratory testing protocols and metrics allow for replicability and comparability among tests and across stoves ť,</i> and <i>Ť The laboratory-based WBT is the most standardized of the three, and allows for comparison between stoves. ť</i><o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>It is unbelievable that Winrock still publishes this kind of claim, today. I am baffled. This has been time and time again proven wrong, and time and time again repeated, on this list and elsewhere that the WBT did not allow to compare stoves. That it should not be used to select stoves, for programmatic or project purposes. <o:p></o:p></p><p class=MsoNormal>Even the very rare supporters of the WBT (I am not sure who they are actually) agree about that.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I am not even talking about the proofs that the WBT is not even good to develop stoves.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>In February 2017, a study by Lombardi and al. summarized the issues: <o:p></o:p></p><p class=MsoNormal><i>Ť Some of WBT critical issues remain unsolved. In particular, the main weakness of the WBT concerns its real-life relevance. […] Criticism about WBT concerns also the repeatability of the protocol, with a number of researchers claiming that it would need to be reviewed in terms of accuracy. […] As a matter of fact, uncertainties related to temperature reading and vaporisation in the boiling region lead to high variability between test replicates.<o:p></o:p></i></p><p class=MsoNormal><i>A lot of debate has been made around formulation of metrics, primarily on thermal efficiency, which is often interpreted as the most immediate and distinctive stove performance parameter. Studies from Bailis et al. highlighted how relying on WBT thermal efficiency outputs, regardless of the relative importance of high and low power cooking tasks among the target population, can lead to misleading interpretations. Furthermore, Zhang et al. and Jetter et al. questioned the scientific meaningfulness of thermal efficiency at simmering. <o:p></o:p></i></p><p class=MsoNormal><i>Finally, some unsolved issues concerning statistical significance of data are worth mentioning. WBT 4.2.3 includes “Statistic Lessons for Performance Testing”. The appendix specifies that the minimum number of test replicates for each model of stove should be three, […] Wang et al. investigated this topic using a simplified version of the WBT 3.0 and demonstrated that more than 5 replicates are likely to be required to avoid impractically large 95% confidence intervals and that even more replicates may be required to demonstrate a statistically significant difference in performance between two or more stoves. ť<o:p></o:p></i></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Yet, Winrock, like the GACC and D-Lab and their handbook, are again proving themselves to be the gravediggers of the already struggling project developers and implementers, rather than the much needed support they should be, on matters of testing.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>This is totally irresponsible from Winrock, and very concerning.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I put Elisa Derby in copy of this email.<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Elisa, I am very much looking forward to hear your views on that.<o:p></o:p></p><p class=MsoNormal><br>Best,<o:p></o:p></p><p class=MsoNormal><br>Xavier<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><div id=DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2><p class=MsoNormal><span style='font-size:12.0pt;font-family:"Times New Roman","serif"'><o:p> </o:p></span></p><table class=MsoNormalTable border=1 cellpadding=0 style='border:none;border-top:solid #D3D4DE 1.0pt'><tr><td width=55 style='width:41.25pt;border:none;padding:13.5pt .75pt .75pt .75pt'><p class=MsoNormal><a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=emailclient" target="_blank"><span style='font-size:12.0pt;font-family:"Times New Roman","serif";border:solid windowtext 1.0pt;padding:0cm;text-decoration:none'><img border=0 width=46 height=29 id="_x0000_i1071" src="cid:image001.jpg@01D362FF.7DB98890" alt="Image removed by sender."></span></a><span style='font-size:12.0pt;font-family:"Times New Roman","serif"'><o:p></o:p></span></p></td><td width=470 style='width:352.5pt;border:none;padding:12.75pt .75pt .75pt .75pt'><p class=MsoNormal style='line-height:13.5pt'><span style='font-size:10.0pt;font-family:"Arial","sans-serif";color:#41424E'>Garanti sans virus. </span><a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=emailclient" target="_blank"><span style='font-size:10.0pt;font-family:"Arial","sans-serif";color:#4453EA'>www.avast.com</span></a><span style='font-size:10.0pt;font-family:"Arial","sans-serif";color:#41424E'> <o:p></o:p></span></p></td></tr></table><p class=MsoNormal><span lang=EN-US style='font-size:12.0pt;font-family:"Times New Roman","serif"'><o:p> </o:p></span></p></div><p class=MsoNormal><span lang=EN-US style='font-size:12.0pt;font-family:"Times New Roman","serif"'><o:p> </o:p></span></p><div style='border:none;border-top:solid black 1.0pt;padding:1.0pt 0cm 0cm 0cm'><p class=MsoNormal><span lang=EN-US style='font-size:10.0pt;font-family:"Arial","sans-serif"'>The information in this message, including any attachments, is the property of Winrock International (discloser), is intended solely for the use of the individual(s) or entity to which this message is addressed, and may contain confidential or privileged information. Therefore, the use or disclosure by a person who is not an intended recipient is prohibited. Use or distribution by the intended recipient is permitted if distribution is pursuant to an agreement with discloser authorizing distribution, or distribution is to those that have been previously approved by the discloser for sharing. If you are not the intended recipient, or the person responsible for delivering this message to the intended recipient, please notify the sender and immediately delete this message.<o:p></o:p></span></p></div></div></body></html>