Joint and Conditional Entropies

Joint and conditional entropies, as defined in this chapter and as used in information theory, apply to two systems or dimensions; for more than two dimensions (discussed later in the chapter), terminology is still developing. For simplicity, we'll usually deal here with two systems. The first, system X, has discrete observations xi; the second, system Y, has values yj.
The probability of seeing particular values of two or more variables in some sort of combination. In fact, we rolled a pair of dice (one white and one green, representing separate systems) and built a joint probability distribution. The joint probability distribution gave the probability of the joint occurrence of each possible combination of values of the two systems. Since entropy is based solely on probability, the idea of joint probability easily applies to a so-called joint entropy—the average amount of information obtained (or uncertainty reduced) by individual measurements of two or more systems.

Having built a word concept of joint entropy, let's follow our standard procedure and express it in symbols. There are two cases. In the first, knowing value x from system X has no effect on the entropy of system Y. (In other words, individual observations x and y aren't mutually related.) In the second, knowing x affects our estimate of the entropy of system Y (and so x and y have some kind of association). For each case, the symbols (and hence the form of the definition) can be either those of probabilities or of entropies.

Mutually unrelated systems
Let's begin by talking about the first case, in which x and y aren't mutually related. We can express joint entropy in terms of probabilities or in terms of entropies. First we'll do the probability form, then the entropy form.

اخر الاخبار

اخبار العتبة العباسية المقدسة

جمعية كشافة الكفيل: المجالس الحسينية تعلّم الفتية قيم نهضة الإمام الحسين (عليه السلام)

عَبرَ المجالس الحسينية.. المجمَع العلمي يقدّم محاضرات دينية وتلاوات قرآنية في بغداد والنجف وميسان

برعاية العتبة العباسية المقدسة.. موكب قناديل السماء يُحيي مراسم اليوم الثالث عشر من المحرّم

بعد انتهاء مراسم ذكرى دفن الأجساد الطاهرة قسم رعاية الصحن يباشر بحملة تنظيف واسعة لصحن مرقد أبي الفضل العباس (عليه السلام)

المزيد

الآخبار الصحية

اختراق علمي.. دواء يؤخر ظهور السكري من النوع الأول لسنوات

هذا ما يحدث لجسمك إن أهملت نظافة فراشك

لماذا تعتبر النساء أكثر عرضة للإصابة بألزهايمر من الرجال؟

لماذا يحذر الخبراء من الإفراط في تناول الفراولة؟

المزيد

الآخبار التكنلوجية

السيارات الكهربائية أنظف بنسبة 73% من سيارات الوقود

سيارة لوسِد الكهربائية تدخل "غينيس" بأطول مدى في العالم

نظرية جديدة تنسف كل ما نعرفه عن تشكل أول قارة في الأرض

منذ 37 ألف عام.. دراسة تكشف "أقدم أمراض" أصابت البشر

المزيد

مواضيع ذات صلة

جسيمات التماثل الفائق الفوتينوات ، سكواركات ..المادة الظل.. الأكسيونات ..إلخ .

ريادةالانسان للفضاء -قدرة الله في خلق الطيور(كيف الهمت الطيور الانسان )

التجريبية المنطقية وميكانيكا الكم: رؤية كاسيرر بين العلم والفلسفة

المفاهيم الفيزيائية بين الدقة العلمية والتأويل الفلسفي

"توحيد العلوم عبر استبعاد الميتافيزيقا

إرنست ماخ: توحيد الفيزياء عبر الإدراكات الحسية واستبعاد الميتافيزيقا

"الفيزياء بين الكلاسيكية والكم: من حتمية الأشياء إلى نسبية القوانين"

قوانين البقاء في الفيزياء The Conservation Laws of Physics

من كاسيرر إلى ميكانيكا الكم: تطور مفهوم السببية في الفيزياء والفلسفة

نظرة فلسفية لميكانيكا الكم: هل يمكن فهم الحياة بمفاهيم الفيزياء؟

الطول والزمن في النسبية: التحدي الفيزيائي للفلسفة التقليدية

نسبية الطول بين الفيزياء والفلسفة: أينشتاين في مواجهة فالين