Etki ölçümünün giderek çevre ve ekonomi ile ilgili tartışmaların merkezine yerleşmesi, bu ölçümlerin her zaman istenen faydayı getirdiği anlamına gelmiyor. Yeşil ve adil bir gelecek için doğru olanı yapmak istiyorsak sadece doğru ölçümleri yaptığımızdan değil, elde edilen bilginin doğru şekilde kullanıldığından da emin olmamız gerekiyor.
Etki ölçümü her yerde; sosyal değişim çalışmalarında, iş dünyasında, devlette. Buna rağmen etki ölçümünün önemi hakkında ne kadar çok şey duyarsak, sanki gerçekte o kadar az şey değişiyor!
GCSI’de (Griffith Sistem İnovasyon Merkezi) son beş yıl içinde “etki ölçümünün” işin merkezinde olduğu birçok projede yer aldık. Bazen de projelerin veya girişimlerin içindeki etkinin ölçülmesinde rol oynadık veya çalışmanın yanı sıra ölçüm ve öğrenme yaklaşımlarının yapılandırılmasına yardımcı olduk. Bu yazıda, bu süreçte öğrendiklerimizi değerlendiriyor ve etki ölçümü alanında ortaya çıkan manzaranın çerçevesini nasıl çizdiğimizi paylaşıyoruz.
Etkinin Ölçülmesi – Hayati Bir Başlangıç Noktası
Her kültür ve toplumun ölçümle bir şekilde bağlantısı vardır; anlatı, ülke ve coğrafya, yön bulma, hikâye yoluyla. Ancak, değişimin ölçülmesini sağlayan şeylerin çoğunun çok daha dar bir kültürel hikâyesi vardır: Batının felsefe ve matematik geleneklerine dayanan bir hikâye. Dolayısıyla, bugün yaygın olarak anlaşıldığı şekliyle etki ölçümünün temelini oluşturan anlatının büyük bir kısmı, ahlaki zorunluluklar öne sürerek “ilerlemeyi” ölçmenin işe yarar olup olmadığına ve faydasına odaklanmaktadır: Yani, “doğru” hedefe mi ilerliyorsunuz?
“Etkiyi ölçmek” artık bu denli yaygın bir faaliyet olduğundan, etkiyi ölçmenin objektif bir değerlendirme sunduğunu iddia ederken aslında belirli kültürel ve tarihsel paradigmaların ürünü olduğunu ortaya koymanın önemli olduğunu düşünüyoruz. Etkinin ölçülmesi söz konusu olduğunda dikkatli olmak, eleştirel düşünmek ve sömürgecilikten arındırıcı uygulamalar gerekir (örneğin bkz. Joyce, 2020, Impact Measurement. A cautionary tale). Bu, zorunlu başlangıç noktasıdır.
Etkiyi Ölçmenin Geçmişi Güncel Gelişmeleri Şekillendiriyor
Ölçümün tarihi uzun ve zengin olmakla birlikte, dikkatli ve eleştirel düşünme bağlamında, modern etki ölçümünün manzarasını şekillendiren üç tarihsel konuyu vurgulamak istiyoruz. Bu konular birbiriyle örtüşmekle birlikte disiplin ve bağlam sınırlarıyla birbirinden büyük ölçüde ayrılmıştır. Bu konuların doğasında bulunan anlatıları anlamak, şu anda etki ölçümünü nasıl kullanırsak kullanalım, kendimize sormamız gereken sorular hakkında da fikir verebilir.
Birinci Konu: Ölçüm, Nasıl Sorunların Çözümünün Temeli Haline Geldi?
Vurgulamak istediğimiz ilk an, bir devrimin ve geçiş sürecinin sonu ve sömürgeci genişlemenin kalbinde yer alıyor: 1840’lar ve 1850’lerde Londra; tam da Sanayi Devrimi’nin İngiltere’deki, Avrupa’daki ve nüfus artışı yoluyla yeni sömürgeleştirme dalgaları yaşayan topraklardaki manzaraları değiştirdiği zamanlar. John Snow’un veri toplayıp analiz ederek, koleranın yayılmasını ölçerek ve hastalığa yakalananlar arasındaki bağlantıları ve örüntüleri izole ederek dönemin inanç ve uygulamalarına nasıl meydan okuduğunun hikâyesi. Bu hikâye, sonunda Londra’da ve sonra daha geniş çapta halk sağlığında, altyapıda ve sosyal politikalarda önemli değişikliklere yol açtı (Bunun gerçekleşmesinin aslında uzun zaman aldığını belirtmek gerekir!).

Bu hikâye ile başlıyoruz çünkü “veri” ve “ölçüm”, değişim yaratma ve sorunları çözme konusundaki düşüncelerimize kök salmış durumda. Epidemiyoloji gibi bir alan, verilerin hayat kurtarmada ve toplumu, politikayı, uygulamaları ve insanların inanç ve davranışlarını şekillendirmede oynayabileceği son derece gerçek ve güçlü rolü hatırlamamıza yardımcı olur. Bununla birlikte, değişimi “verilerin” kendisinin yaratmadığını hatırlamakta fayda var; değişimin gerçekleşmesi için hâlâ meydan okunması gereken güçlü normlar, ideolojiler ve anlatılar vardı. Bu durum, veri ve ölçümün “sorunları çözmek” için tek başına yeterli olmadığını vurgulamaktadır!
Buradaki “sorunun” doğasına da dikkat etmek gerekir: Karmaşıktı ve şüphesiz “bilinmeyenler” içeriyordu. Buna rağmen bu sorun, net neden-sonuç ilişkileri kurulmasına yardımcı olabilecek bir uzman tarafından titiz ve dikkatli bir araştırma ve analizle ele alınabilecek türdendi. Birden çok kuşağın dezavantajlarının ele alınması veya iklim krizine yanıt verilmesi gibi konularda olduğu gibi karmaşık, çok yönlü bir sorun değildi. Bu önemli çünkü “veri + ölçüm = çözüm” söylemi siyasette, politika oluşturmada ve fon sağlamadaki karar alma süreçlerinde yerleşik hale gelmiştir ancak karmaşık bağlamlarda bu söylem o kadar da basit değildir!
Bu hikâyenin ortaya çıkardığı ve kendimize sormamız gereken sorulardan bazıları şunlardır:
- Veri ve kanıtların toplanması, etkinin ölçülmesi mevcut inançlarımızı, kurumlarımızı ve uygulamalarımızı nasıl şekillendiriyor?
- Tarihin bu döneminde dünyayı yeniden şekillendiren etkinin sınırları nelerdir?
- Verileri ve ölçümü, bağlamla ve yanıt verdiğimiz “sorunun” türüyle bağlantılı olarak nasıl şekillendiriyoruz?
İkinci Konu: “Değer” Nasıl Etki Ölçümüne Yerleştirildi?
Etki ölçümü alanının büyük bir kısmı, faktörlerin sayısal “sıralamalarını” oluşturarak ve daha sonra “değeri” belirlemek için bunları genellikle finansal ölçütlerle ilişkilendirerek “değeri nasıl tespit ettiğimize” ve ödünleşmeler yarattığımıza odaklanmaktadır.
Fayda-maliyet analizi, faaliyetlerin potansiyel veya algılanan etkilerini karşılaştırmanın bir yolu olarak öne çıkan başlıca yöntemlerden biridir. İki farklı kıtada (Avrupa ve ABD) askeri ve kamusal işler bağlamında geliştirilen fayda-maliyet analizi yol, kanal ve demiryolu inşası gibi büyük ölçekli altyapı çalışmalarının “değerini” ortaya koyabilecek karşılaştırılabilir, rasyonel ve siyasi olarak savunulabilir ölçütlere duyulan ihtiyaçtan doğmuştur.

Bu yöntemin tarihi; maliyetleri ve faydaları değerlendirmek ve riskleri azaltmak için matematiksel ölçümlere ne kadar güvendiğimize dair büyüleyici bir yolculuktur; özellikle de artık birçok araştırma bunun sınırlılıklarını gösterirken:
“Tahmin uzmanları, politika üreticileri ve akademisyenler, fayda-maliyet tahminlerinin az çok doğru olduğunu varsayma eğilimindedir; oysa bu tahminler, son derece yüksek bir istatistiksel anlamlılık düzeyinde oldukça hatalı ve yanlıdır” (Flyvbjerg ve Bester, 2021).
Matematiksel etki ölçümlerinin gelişmesinde, istatistiklere dayalı “yaşam değeri” süreçlerini başlatan ve genellikle eşitsizlik temelleri üzerinden riski değerlendiren sayısal temellerin oluşturulmasına katkıda bulunan “risk” temelli alanlar, mesela sigorta, da etkili olmuştur (Dan Bouk tarafından yapılan harika analize bakınız, 2015).
Bu tür yöntemlerin kullanımının katlanarak artmasından çıkarılacak dersler bizi şu soruları sormaya sevk etmelidir:
- Yöntemlere hangi varsayımlar ve yanlılıklar dahil edilmiştir ve bu yöntemler karar alma süreçlerine uygulanırken nelere dikkat edilmelidir?
- Sayısal yöntemler ve ölçümün parasallaştırılması, içinde çalıştığımız bağlamların çoğu karmaşık, değişken ve kararsızken nasıl bir kesinlik ve güvenlik anlatısı yaratır ve bu yöntemleri benimserken nelere karşı tetikte olmalıyız?
Üçüncü Konu: Etkilerin Tahmin Edilmesi ve Değerlendirilmesi Nasıl Birbirinden Ayrıldı?
Etki Analizi ve Değerlendirmesi farklı başlangıç noktalarından evrilmiştir, ancak ilginç bir şekilde bir faaliyetin veya müdahalenin parasal değerini veya kıymetini nasıl belirlediğimize odaklanan bazı örtüşen anlatılara sahiptir. “Değerlendirmenin” kökenleri birbiriyle bağlantılı iki akıma dayanmaktadır (Alkin ve King, 2016). Bunlardan biri test etmek ile bağlantılıdır: 18. yüzyılda okullar bağlamında nicel değerlendirmenin başlangıcı, bireylerin akademik başarıları açısından performanslarının ölçülmesi (Hogan, 2007). Diğer akım ise projeler, programlar ve girişimler gibi daha geniş, kolektif çabaların değerlemesinde sosyal araştırma yöntemlerinin kullanılmasıyla ilgilidir. Örneğin, İngiltere’deki Büyük Buhran sırasında, kamuoyu hükümetten rekor düzeydeki işsizlikle mücadele etmesini beklediğinde, finanse edilen sosyal programların gerçekte nasıl etkiler yarattığını değerlendirmek konusunda önemli bir baskı vardı (Alkin ve King, 2016). Profesyonel değerlendirme alanı 1960’lar ve 1970’lerde ortaya çıkmıştır (Madaus vd., 1983).
Etki Değerlendirmesi, planlanan müdahalelerin hem potansiyel değerini hem de sonuçlarını belirlemenin bir yolu olarak başlamıştır. Böylece hem karar vericiler hem de etkilenen insanlar müdahaleyi anlayabilir ve karşılık verebilir (bkz. Jacquet, 2014). Etki değerlendirmesi çevre alanında başlamış olsa da o zamandan beri potansiyel sosyal ve kültürel etkilerin değerlendirilmesini de kapsayacak şekilde gelişmiştir. Çevresel Etki Değerlendirmelerinin tarihi nispeten kısadır. Bazı tarihçiler 1970’lerde ABD’de ormancılık projeleriyle başladığını iddia ederken, diğerleri tarihi 1960’lardaki madencilik ve maden çıkarma endüstrilerine kadar geri götürür ve genellikle ÇED ölçümüne yönelik bir hareketin başlangıç noktası olarak 1967’de Porto Riko’daki bakır madenciliği örneğinden yola çıkarlar (bkz. Mayda, 1993). ÇED’ler artık genellikle ulusal ve bölgesel yargı alanlarında yasal ve politika çerçevelerine yerleştirilmiş olsa da insanları, yerleri veya gezegeni gerçekten koruyup korumadıkları tartışmalıdır (örneğin bkz. Singh vd., 2020).
Sonuçta etki değerlendirmelerini birbirine bağlayan konu, etkiyi nasıl tanımladığımız ve belirlediğimizdir. Hem değerlendirme hem de etki değerlendirmeleri temelde projeler, programlar veya girişimler gibi nispeten küçük faaliyet birimlerine odaklanır. Bu tür projelerin çıktılara ve belki de sonuçlara ulaşabileceğini varsaymak mantıklı görünse de ETKİ daha çok bütünün parçalarından daha büyük olduğu kümülatif eylemlerle ilişkilidir. Dolayısıyla, bu alanlardan çıkarılması gereken sorular, parçalar arasında tutarlı etki anlatılarını nasıl oluşturacağımızla ilgilidir. Başka bir deyişle, binlerce proje bazlı ölçme ve değerlendirmeye sahip olabiliriz, ancak yine de herhangi bir değişiklik veya tüm bu projelerin kümülatif etkisi hakkında gerçek bir anlayışa sahip olmayabiliriz. Eğer durum buysa, o zaman faaliyetlerden herhangi birinin istenen yönde olumlu bir ivme yarattığını gerçekte nasıl bilebiliriz? Etki değerlendirmeleri söz konusu olduğunda, değerlendirdiğimiz 500 sanayi projesinin her biri bir çevresel etki değerlendirmesini tamamlamış, ancak diğer 499 projenin değerlendirmelerine atıfta bulunmuyorsa, belirli bir bölge veya sektörde potansiyel olarak yaratılan çevresel veya sosyal etkileri gerçekten anlamayı nasıl umabiliriz?

Etki Ölçümü Neden Şu Anda Bu Kadar Yaygın?
Çok kritik bir dönemde çalışıyoruz. İklim ve biyoçeşitlilik krizlerinin giderek daha fazla farkına varılması, barış ve demokrasiye yönelik artan tehditler, eşitsizliğin giderek daha belirgin ve tekinsiz yayılımı tedirgin edici ve yoğun bir belirsizlik duygusu yaratıyor.
Etki ölçümünün pek çok savunucusu bu tür yöntemlerin “riski azaltmayı” amaçladığını iddia etse de bu yöntemlerin belirsizliğin üstesinden gelmeye yardımcı olduğunu söylemek daha doğru olabilir (aradaki farka ilişkin ilgi çekici bir analiz için Vaughn Tan’ın çalışmasına bakınız – https://vaughntan.org/). Belirsizlikler arttıkça, kesinlik hissi yaratmamıza yardımcı olacak yöntemlere olan talep de artıyor. Ne var ki bu yöntemlerin etkinliği konusunda daha temkinli olunması gerektiğini düşünüyoruz. Yaratılan gerçek farkları anlamaya, dönüşüm için iddialı hedeflere ulaşmaya ve değişmesi gerekenleri ele almak için neleri daha iyi yapabileceğimize dair sorular sormaya çalışırken, etki ölçümü sektörler, endüstriler ve disiplinler boyunca yaygınlaşıyor. Aşağıdaki diyagramda, bu kritik anda etki ölçümünün büyümesinin ardındaki bazı önemli noktaları bir araya getirdik.
Etki Ölçümü Çorbasına Anlam Kazandırmak: Başlangıç Noktası Olarak Bir Matris
Etki Ölçümü alanı giderek daha kalabalık ve dinamik hale geliyor ve çok çeşitli çerçeveler ve yaklaşımlar içeriyor; sonunda sanki bir çok harfin yan yana dizildiği anlaşılması zor bir kısaltmalar çorbasına bakıyormuş gibi hissediyoruz.
Bu manzarayı çeşitli şekillerde anlamlandırmaya çalıştık ve bu süreçte karşılaştığımız çerçeveler, yaklaşımlar ve modeller kümesini temsil etmek için bir matris oluşturduk. Aşağıda gösterildiği gibi, matrisin iki ekseni var:
Yatay eksende “zaman” gösterilmiştir. Sol ve sağ taraflar, etkiyi ölçmek için geriye dönük (ex-post) ve ileriye dönük (ex-ante) yaklaşımlar arasında bölünmüştür.
Daha somut olarak geriye dönük çeyrekler, geçmişteki olayları soran yaklaşımları/çerçeveleri/modelleri içerir: Nasıl bir etkimiz oldu? İleriye dönük çeyrekler ise olası gelecek hakkında sorular soran yaklaşımları içerir: Nasıl bir etkimiz olacak?
Dikey eksende “amaç” gösterilmiştir. Üst ve alt kısımlar Yönetim + Değerlendirme arasında bölünmüştür.
En üstte Yönetim çeyrekleri, ölçülebilir verileri (yani zaman, dolar, vs.) dikkate alan yöntemlere odaklanır. Bu çerçeveler faaliyetlerden/müdahalelerden elde edilen çıktıları ölçmeye yöneliktir. Ne olduğu veya ne olabileceği sorusunu sorma eğilimindedirler ve büyük ölçüde nicel verilere dayanırlar.
Altta Değerlendirme çeyrekleri, saymanın ötesinde geniş bir soru yelpazesine bakan bir dizi yaklaşımı içerir. Bu yaklaşımlar şu gibi soruları içerir: Ne, neden değişti? Değişiklikler arasındaki karşılıklı ilişkiler neydi veya bunlar neler olabilir? Meydana gelmiş, meydana gelmekte olan veya meydana gelebilecek değişikliklere ilişkin daha tutarlı bir anlayış oluşturmak için nicel ve nitel verilerin bir karışımından yararlanma eğilimindedirler.
Bir uyarıda bulunalım: Tüm çerçevelerde olduğu gibi, bu matris de bir “kurgudur”; anlam yaratma sürecine dahil olmamız ve mevcut bağlamımızda etki ölçümünün nasıl yapıldığını eleştirel bir şekilde tartışmamız için bir yoldur. Bunu daha geniş bir tartışma için bir başlangıç noktası olarak paylaşıyoruz. Farklı yaklaşımları nasıl yansıttığımıza dair geri bildirimleri, düşünceleri ve itirazları memnuniyetle karşılayacağız. Amacımız “gerçek bir temsil” değil, daha ziyade şu anda bol miktarda bulunan tüm yöntemlerin nasıl bağlantılı, iç içe geçmiş ve kurgulanmış olduğuna dair diyalog için bir başlangıç noktası oluşturmaktır.
Bunun sadece yöntemleri anlamlandırmamızı değil, aynı zamanda etki ölçümünün amacı ve “değişim” odaklı çalışmalarda bir norm olarak kabul edilmesiyle birlikte karşılaşılan ve dile getirmemiz gereken zorluklar hakkında bazı titiz tartışmalara girmemizi sağlayacağını umuyoruz.
Karmaşıklık ve Belirsizlik Durumunda Etkinin Ölçülmesi
Değişim için “harekete geçme” çağrıları giderek artıyor; aynı şekilde belirli sonuçlara (örneğin sürdürülebilirlik, yenileyici gelecekler, adalet, eşitlik) yönelik ilerleme veya gerçek değişimlerle sonuçlanacak şekilde hareket etme çağrıları da artıyor. Karşılaştığımız zorlukların üstesinden gelmeye yardımcı olma iddiasındaki tüm etki ölçüm yaklaşımlarının nihai olarak karşı karşıya kaldığı açmaz da budur.
Temel soru, herhangi bir şeyin değişip değişmediğini “nasıl bileceğimiz” sorusudur. Esasında karmaşık bağlamlarda işlerin içinden çıkılmaz hale geldiği yer de burasıdır. Yukarıdaki tüm zorlukları karakterize eden karmaşık, iç içe geçmiş gerçekliklerde, “nedenselliğe”, kesinliğe ve hedeflere öncelik veren yöntemlere karşı dikkatli olmamız gerekir (mükemmel bir analiz için bkz: Snowden https://thecynefin.co/the-banality-of-measurement/). Öte yandan, her şeyi karmaşıklaştıran ve böylece bir şeylerin değişip değişmediğine ve nasıl değiştiğine dair çetin ancak anlamlı tartışmaları sadece birkaç kişinin anlayabileceği hale getiren yöntemleri de sorgulamalıyız.
Karmaşık bağlamlarda, bir yöne doğru ilerlememize yardımcı olacak yöntemlere ihtiyacımız var. Ancak daha da önemlisi, bu yönü bir hedefe sabitlememeli veya hedefle karıştırmamalıyız (yine bkz. Snowden, https://thecynefin.co/start-a-journey-with-a-sense-of-direction/). Bu da matriste hedeflere odaklanan ya da işleri tekil “değer” kavramlarına indirgeyen metodolojilerin çoğu için soru işaretleri doğurmaktadır. Bunlar kesinlik yanılsaması yaratır, ancak aslında ilerlemenin insanlara, yerlere veya gezegene faydalı olacak yönde olup olmadığını anlamamıza yardımcı olmayabilir.
Karmaşık bağlamlarda, ölçtüğümüz şeyin ayrıntı düzeyine ve bunun, eylemlerin aradığımız türden etkilere sahip olma potansiyeli açısından ne anlama geldiğine ilişkin soruları da araştırmalıyız. Etki ölçümünün tek tek projelerin, şirketlerin veya girişimlerin ayrıntılarına odaklanması ve bu düzeylerdeki ölçümün bir şekilde sektörler, endüstriler ve hatta sistemler gibi çok daha geniş alanlarda genele yayılan bir etki yaratacağı beklentisi giderek yaygınlaşmaktadır. Ölçümleme sihirli bir değnek değildir.
Bu çalışmada kendi bireysel yolculuklarımızı keşfetmek için daha geniş bir etki ölçümü araştırmasını kullandık. Ve çalışmalarımızın ağırlıklı olarak nereye oturduğunu düşündüğümüzü; çalışmalarımızın bizi nereye çektiğini ya da kendimizi hangi yönde çalışırken bulduğumuzu haritalandırdık. Karmaşık bağlamlarda çalıştıkça, yolculuğun sonraki adımlarını belirlemenin bir yolu olarak öğrenme ve deneyime (deneme, test etme, öğrenme) giderek daha fazla odaklanıyoruz; navigasyonel öğrenme. Bu bağlamda hipotezimiz, öğrenmenin hızlı döngüsel entegrasyonu ile öncü verilerin “izlenmesinin” çok daha faydalı bir odak noktası olduğudur. Dolaşık ağlar ve uygulamalar içinde ve arasında kendimizi organize etmekle uğraşırken “hedefleri vurabileceğimiz” veya mükemmel mantık çerçeveleri oluşturabileceğimiz yanılsamasından mümkün olduğunca kaçınmaya çalışıyoruz.
Diğerlerinin karmaşık zorluklar ve sistem değiştiren çalışmalar bağlamında “etki ölçümünü” nasıl çerçevelediklerini ve giderek kalabalıklaşan bu alanda anlamlandırmaya yardımcı olan neler gördüğünüzü merak ediyoruz. Bu düşünceleri diyalog ruhuyla sunuyoruz. Bu nedenle lütfen düşüncelerinizi ve fikirlerinizi paylaşmaktan çekinmeyin!
Bu yazıya ve grafiklere katkıda bulunanlar:
Prof. Ingrid Burkett ve Prof. Joanne McNeill
Referanslar ve Kaynaklar:
Abelson, P. and Abelson,P., Cost-Benefit Analysis: Then and Now (April 5, 2022). TTPI — Working Paper 6/2022, Available at SSRN: https://ssrn.com/abstract=4080682 or http://dx.doi.org/10.2139/ssrn.4080682
Alkin, M. and King, J. (2016). The Historical Development of Evaluation Use. American Journal of Evaluation. 37. 10.1177/1098214016665164.
Bouk, D. (2015) How Our Days Became Numbered: Risk and the Rise of the Statistical Individual, University of Chicago Press.
Flyvbjerg, B. and Bester, D., The Cost-Benefit Fallacy: Why Cost-Benefit Analysis Is Broken and How to Fix It (September 6, 2021). Journal of Benefit-Cost Analysis, October, pp. 1–25, doi 10.1017/bca.2021.9., Available at SSRN: https://ssrn.com/abstract=3918328
Harford, T. (2021, Oct 09). The hidden costs of cost-benefit analysis: THE UNDERCOVER ECONOMIST [Europe Region]. Financial Times
Hogan, L. (2007) “The Historical Development of Program Evaluation: Exploring Past and Present,” Online Journal for Workforce Education and Development: Vol. 2: Iss. 4, Article 5. Available at: https://opensiuc.lib.siu.edu/ojwed/vol2/iss4/5
Jacquet, J. (2014). A Short History of Social Impact Assessment. 10.13140/RG.2.1.1470.5686.
Jiang, W. and Marggraf, R., The origin of cost–benefit analysis: a comparative view of France and the United States. Cost Eff Resour Alloc 19, 74 (2021). https://doi.org/10.1186/s12962-021-00330-3
Joyce, M., (2020) Impact Measurement: A cautionary tale, Medium, available at: https://tinyurl.com/5pndpf98
Madaus, G., Stufflebeam, D., and Scriven, M.S. (1983). Program Evaluation. In: Evaluation Models. Evaluation in Education and Human Services, vol 6. Springer, Dordrecht.
Mayda, J. (1993) Historical roots of EIA? Impact Assessment Bulletin 11 (4), 411– 415.
Niţă, A., Fineran, S. and Rozylowicz, L. (2022). Researchers’ perspective on the main strengths and weaknesses of Environmental Impact Assessment (EIA) procedures. Environmental Impact Assessment Review. 92. 106690. 10.1016/j.eiar.2021.106690.
Singh G., Lerner J., Mach M, et al. Scientific shortcomings in environmental impact statements internationally. People Nature. 2020;2:369–379. https://doi.org/10.1002/pan3.10081
Tulchinsky TH. John Snow, Cholera, the Broad Street Pump; Waterborne Diseases Then and Now. Case Studies in Public Health. 2018:77–99. doi: 10.1016/B978–0–12–804571–8.00017–2. Epub 2018 Mar 30. PMCID: PMC7150208.
Not 1: Good Shifts’in 17 Haziran 2024 tarihinde Medium’da yayımlanan yazısı Murat Soysaraç tarafından çevrilmiştir. Erişim
Not 2: Öne çıkan görsel, Sheila Sund from Salem, United States, CC BY 2.0 <https://creativecommons.org/licenses/by/2.0>, via Wikimedia Commons, Erişim