Ana içeriğe geç

Yapısal kapsam analizi (structural coverage analysis)

· 7 dakikalık okuma
Aviyonik Yazılım Mühendisi

Kodun yazılması, testlerin koşturulması ve kod kapsama analizi arasındaki akışı gösteren illüstrasyon

Yapısal kapsam analizini (structural coverage analysis), bilinen kısa adıyla SCA'yı incelemeden önce yapısal programlamanın ne olduğunu hatırlayalım.

Bu yazıyı okurken, Yazılım Doğrulama bölümündeki kapsam yaklaşımı ve Kapsanmayan Kodlar bölümündeki kod türleriyle birlikte düşünmek faydalıdır.

Yapısal programlama (structured programming) nedir?​

Yapısal programlama, 1960'larda, bilgisayar biliminde programların daha anlaşılır, daha etkili ve hata yapma olasılığı daha düşük bir şekilde yazılabilmesi için geliştirilen bir programlama paradigmasıdır. Yapısal programlama, büyük ve karmaşık yazılım sistemlerinin geliştirilmesinde önemli bir dönüm noktası olmuştur. Bu yaklaşımın temelleri, Edsger W. Dijkstra'nın 1968'de yayımladığı "Go To Statement Considered Harmful" (Goto Deyimi Zararlıdır) [1] başlıklı makalesiyle atılmıştır. Dijkstra, bu makalesinde, program akışının kontrolünü sağlamak için "goto" deyiminin kullanımına karşı çıkarak daha düzenli ve modüler programlama tekniklerinin benimsenmesi gerektiğini savunmuştur.

Yapısal programlama, programları anlaşılır bir şekilde modüllere ayırma, tekrar kullanılabilir kod blokları (fonksiyonlar) oluşturma ve program akışını kontrol etmek için sıralı, seçim (if/else) ve yineleme (döngüler) yapılarını kullanma prensiplerine dayanır. Bu yaklaşım, programların daha kolay anlaşılır, test edilir ve bakımı yapılır hâle gelmesine yardımcı olmuştur.

Yapısal kapsam analizi (structural coverage analysis) nedir?​

Yapısal kapsam analizi, özellikle havacılık ve uzay mühendisliğinde, bir yazılımın test sürecinde kullanılan bir tekniktir. Bu teknik, yazılımın test edilmesi sırasında kodun hangi bölümlerinin çalıştırıldığını ve hangi bölümlerinin çalıştırılmadığını belirlemek için kullanılır. Yapısal kapsam analizi, yazılımın farklı bölümlerinin yeterince test edilip edilmediğini kontrol etmek amacıyla kullanılan bir dizi ölçütü içerir. Bu analiz, yazılımın güvenilirliğini ve kalitesini artırmak için önemlidir.

Havacılık ve uzay endüstrisinde, yapısal kapsam analizi özellikle kritik öneme sahiptir çünkü bu alanlarda kullanılan sistemlerin yüksek güvenilirlik ve emniyet standartlarına uygun olması gerekir. Bu nedenle, yazılımın her bir satırının, koşulunun veya karar noktasının test edilmesi gerekebilir.

Yapısal kapsam analizinin temel türleri şunlardır:

  1. Satır kapsama (statement coverage): Yazılımın her bir satırının en az bir kez çalıştırılıp çalıştırılmadığını kontrol eder. Bu, en temel kapsam analizi türüdür.
  2. Karar kapsama (decision coverage): Yazılım içerisindeki her bir karar noktasının (if-else blokları gibi) tüm olası sonuçlarının test edilip edilmediğini kontrol eder.
  3. Koşul kapsama (condition coverage): Karar noktalarındaki her bir koşulun tüm olası değerlerinin test edilip edilmediğini kontrol eder.
  4. Koşul/karar kapsama (condition/decision coverage): Karar kapsamayı ve koşul kapsamayı bir araya getirir: hem her kararın hem de karardaki her koşulun tüm olası sonuçlarını en az bir kez almasını ister. Koşulların bütün kombinasyonlarını istemez.
  5. Değiştirilmiş koşul/karar kapsama (modified condition/decision coverage, MC/DC): MC/DC, belirli bir kararın sonucu üzerinde her bir koşulun bağımsız etkisini doğrulamayı amaçlar. Bu, hem her giriş ve çıkış noktasının en az bir kez çağrıldığından hem de programdaki bir karardaki her koşulun en az bir kez tüm olası sonuçları aldığından emin olmayı içerir. Daha da önemlisi, her bir koşulun, diğer koşullar sabit tutulurken, karar sonucunu bağımsız olarak etkilediği gösterilir. n koşullu bir karar için en az n+1 test case gerektirir.
  6. Çoklu koşul kapsama (multiple condition coverage): Olası bütün koşul kombinasyonlarının test edildiğini doğrular. n koşullu bir karar için gerekli test case sayısı 2ⁿ'dir.

Basit bir örnek​

if ((motor_calisti && yakit_basinci) || yedek_mod) {
ucusa_devam_et();
} else {
guvenli_kapat();
}

Bu küçük örnekte:

  • Satır kapsama, her iki dalın da en az bir kez çalıştırılmasını ister.
  • Karar kapsama, hem true hem false sonucunun görülmesini ister.
  • Koşul kapsama, motor_calisti, yakit_basinci ve yedek_mod koşullarının her birinin hem true hem false değer almasını ister; koşulun karar sonucuna etkisine bakmaz.
  • MC/DC, her koşulun karar sonucunu bağımsız biçimde etkilediğini gösteren en az sayıda testi arar.

Bu nedenle yapısal kapsam analizi, "kaç satır çalıştı" sorusundan daha fazlasını sorar; mantığın gerçekten kontrol edildiğini kanıtlamaya yaklaşır.

Kapsama türüKısa amaçNe zaman güçlüdür?
Satır kapsamaKodun çalışıp çalışmadığını görmekTemel yürütme kontrolü gerektiğinde
Karar kapsamaHer karar dalını görmekif/else akışları kontrol edilirken
Koşul kapsamaHer koşulun değerlerini görmekKarmaşık karar ifadeleri test edilirken
Koşul/karar kapsamaKoşullar ve kararların birleşik kontrolüOrta düzey mantık doğrulamasında
MC/DCKoşulların bağımsız etkisini göstermekEmniyet-kritik sertifikasyon kanıtında

Üzerinde çalıştığınız projenin yazılım seviyesine göre sağlamanız gereken kapsama ölçütünü DO-178C Tablo A-7'den kontrol edebilirsiniz: Seviye C'de satır kapsama, Seviye B'de buna ek olarak karar kapsama, Seviye A'da ayrıca MC/DC aranır. Seviye A'da üç ölçüt de bağımsızlıkla sağlanır; yani analizi kodu yazan kişi değil, başka biri yapar. Hedeflerin seviyeye göre dökümünü DO-178C hedef gezgininde görebilirsiniz.

Yapısal kapsam analizinin yazılım doğrulamasına sağladıkları:

  1. Tüm kodun en az bir kez çalıştırıldığını gösterir: Yapısal kapsam, test sırasında kod tabanının her satırının çalıştırılmasını gerektirerek, kodun hiçbir bölümünün test edilmemiş bırakılmamasını sağlar. Bu, her kod satırının sistemin emniyetini etkileyebileceği emniyet-kritik sistemlerde hayati öneme sahiptir.
  2. İstenmeyen işlevselliği ve test edilmemiş işlevselliği bulur: Kod tabanının kapsamlı bir şekilde çalıştırılmasıyla, testçiler başlangıçta amaçlanmayan veya yetersiz test nedeniyle önceden tanımlanamayan işlevselliği ortaya çıkarabilir. Bu, farklı operasyonel senaryolar altında sistem davranışı ile ilgili beklenmeyen riskleri azaltmaya yardımcı olur.
  3. Ölü kodu veya gereksiz kodu ortaya çıkarır: Ölü kod, hiçbir işletim konfigürasyonunda çalıştırılamayan kod parçalarını ifade eder. Bu tür kodu bulmak önemlidir, çünkü yazılımın boyutunu gereksiz yere artırır, bakımını zorlaştırır ve fark edilmemiş hatalara zemin hazırlayabilir. Ölü, gereksiz ve devre dışı bırakılmış kodun farkları için SCA'da cover edilemeyen kodlar yazısına bakabilirsiniz.
  4. Devre dışı bırakılan kodun gerçekten devre dışı kaldığını doğrular: Bazen, çeşitli nedenlerle kod devre dışı bırakılır ancak kaldırılmaz. Yapısal kapsam, bu kodun mevcut yazılım konfigürasyonunda çalışmadığını göstererek, varlığının sistemin işleyişini etkilemediğinden emin olmamıza yardımcı olur.
  5. Test için en küçük kombinasyon setini tanımlar (yani exhaustive test gerektirmez): Tüm olası girdi kombinasyonlarını denemenin (exhaustive test) kaynak ve zaman kısıtları nedeniyle pratik olmadığı karmaşık sistemlerde, yapısal kapsam yeterli ama küçük bir test case seti belirlemeye yardımcı olur.
  6. Yanlış mantığı belirler: Kodun her parçasının çalıştırılmasını sağlayarak, testçiler yazılımın çeşitli koşullar ve girdiler altında beklenen gibi davrandığını doğrulayabilir. Bu, yazılımın mantıksal doğruluğunu kontrol etmeyi içerir.
  7. Test çabasının ne kadar tamamlandığı hakkında öngörü sağlar: Yapısal kapsam, yazılımın ne kadar kapsamlı test edildiğinin nicel bir ölçüsünü sağlar. Önemli bir ölçüt olmasına rağmen, %100 yapısal kapsama ulaşmak hata olmadığını garanti etmez. Ayrıca, yazılımın anormal veya beklenmedik koşullar altındaki davranışını tam olarak ele almaz; bu, tipik olarak gürbüzlük (robustness) testiyle değerlendirilir.

Başarısızlığın maliyetinin olağanüstü yüksek olduğu havacılık ve uzay alanında, yazılım doğrulama sürecinin bir parçası olarak yapısal kapsam analizinin kullanılması vazgeçilmezdir. Böylece uçuş operasyonlarını kontrol eden veya destekleyen yazılımın güvenilir ve emniyetli olduğundan, tüm beklenen koşullar altında amaçlandığı gibi çalıştığından emin olunur.

Kaynakça​

  1. Edsger W. Dijkstra — "Go To Statement Considered Harmful" (PDF), Communications of the ACM, 11 (3): 147–148, Mart 1968.
  2. Kelly J. Hayhurst, Dan S. Veerhusen, John J. Chilenski, Leanna K. Rierson — A Practical Tutorial on Modified Condition/Decision Coverage, NASA/TM-2001-210876, Mayıs 2001.
  3. "Comments on Modified Condition/Decision Coverage for Software Testing", https://doi.org/10.1109/aero.2001.931302
  4. John Joseph Chilenski, Steven P. Miller — "Applicability of Modified Condition/Decision Coverage to Software Testing", Software Engineering Journal, Eylül 1994. https://doi.org/10.1049/sej.1994.0025
  5. Kelly J. Hayhurst, Dan S. Veerhusen — A Practical Approach to Modified Condition/Decision Coverage, 20th Digital Avionics Systems Conference (DASC), 2001.