آنتروپی شانون (Shannon Entropy)

معرفی

آنتروپی معیاری است که عمدتاً در علم و مهندسی استفاده می شود. در ابتدا توسط کلازیوس در ترمودینامیک معرفی شد، که توسط بولتزمن و گیبس در قرن ۱۹ توسعه یافت و توسط شانون در قرن بیستم تعمیم یافت تا جایی که می توان آن را در طیف وسیعی از مناطق به کار برد.

آنتروپی در زیست شناسی، اقتصاد، مهندسی، زبان شناسی و کیهان شناسی، در مرکز یکی از بزرگترین مشکلات باز در علم به کار گرفته شده است. با توجه به این کاربرد عمومی در زمینه های مختلف دانش، مهم است که به این فکر کنیم که اندازه گیری آنتروپی در واقع در هر زمینه متفاوت و هم ارزی احتمالی بین آنها چه چیزی را نشان می دهد.

سوء تفاهم در مورد معنای آنتروپی در چندین مقاله گزارش شده است که در حوزه‌هایی غیر از فیزیک و تئوری اطلاعات – گاهی اوقات حتی در این حوزه‌ها –  اعمال می‌شود، و همچنین در بین دانشجویان گزارش شده است.

غیر معمول نیست که آنتروپی را به عنوان “بی نظمی” نشان دهیم. اگرچه اغلب می‌توانیم برای جذابیت تعلیمی فرض کنیم، اما اعتدال لازم است تا از یک مفهوم ذهنی انسانی استفاده نکنیم.

این یک بیانیه دقیق نیست زیرا “بی نظمی” یک ساختار ذهنی است و نمی توان با آنتروپی اندازه گیری کرد. این کار قصد دارد با مروری بر تکامل تاریخی مفهوم آنتروپی، سطح فعلی درک در مورد ارتباط بین ترمودینامیک و نظریه اطلاعات را نشان دهد.

مفهوم آنتروپی به عنوان یک ویژگی ریاضی انتزاعی در ترمودینامیک در مرکز اولین انقلاب صنعتی آغاز شد. با ظهور مکانیک آماری در مقیاسی مهم با فرمول ریاضی که بعداً در همه جا حاضر شد، توسعه یافت.

توسعه بیشتر از نظریه اطلاعات با آنتروپی شانون حاصل شد، که فقط یک تنوع ترکیبی است و با آنتروپی بولتزمن-گیبز در شرایط خاصی سازگار است. حتی تحولات اخیر روشن کرد که اطلاعات چیزی بی شکل نیست.

در عوض، یک رسانه برای به دست آوردن و ذخیره سازی مورد نیاز است. شایان ذکر است که در زمینه آنتروپی شانون، که برای هر توزیع احتمالی اعمال می شود، توزیع بولتزمن تنها یک مورد خاص است.

امکان انتخاب توزیع‌های مختلف، این فرمول‌بندی را برای چندین حوزه قابل اجرا می‌سازد، اما برای درک معنای اقدامات، باید زمینه برنامه را در ذهن داشت.

 

محقق و تحلیلگر آماری؛ مسلط به اغلب نرم افزارهای آماری؛ سابقه بیش از 10 سال در خصوص تجزیه و تحلیل آماری و انجام کارهای پژوهشی

دیدگاه خود را بنویسید:

آدرس ایمیل شما نمایش داده نخواهد شد.

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.

سایدبار کشویی

اطلاعات تماس

اطلاعات تماس

اطلاعات تماس:
مهندس نازک تبار
تلفن :
09120487321-09370942358
 ایمیل :  
info@irstat.org
lisrel167@gmail.com