نقشهٔ صفحه‌ها · ۱۵ صفحه

نوشته‌شده برای: دانشجویان مهندسی و علوم کامپیوتر در یک گروه مطالعه

1. 1

   «نظریهٔ ریاضی ارتباطات»، شانون، ۱۹۴۸

   • امروز مقالهٔ ۱۹۴۸ شانون، «نظریهٔ ریاضی ارتباطات»، را می‌خوانیم.
   • این مقاله در مجلهٔ فنی سیستم بل منتشر شد و نظریهٔ اطلاعات را بنیان گذاشت.
   • هر اسلاید را یک برگهٔ نقشه می‌دانیم: هر بار یک جزء از نظریه.
   • هدف: در پایان بتوانیم آنتروپی، ظرفیت و قضیهٔ کدگذاری را توضیح دهیم.
2. 2

   مسیر خواندن مقاله: از کانال نویزی تا قضیهٔ کدگذاری

   • مسیر با مسئلهٔ نویز آغاز می‌شود و به قضیهٔ کدگذاری کانال نویزی می‌رسد.
   • در طول راه اطلاعات، آنتروپی، منبع حافظه‌دار و ظرفیت را تعریف می‌کنیم.
   • هر ایستگاه ابزاری می‌افزاید که قضیهٔ کدگذاری به آن نیاز دارد.
   • برگه‌های بعدی محدودیت‌های نظریه و میراث عملی آن را بررسی می‌کنند.
3. 3

   مسئلهٔ مهندسی: پیام‌هایی که نویز خرابشان می‌کند

   • مسئلهٔ مهندسی: پیامی را که در یک نقطه انتخاب شده، در نقطهٔ دیگر بازسازی کنیم.
   • نویز کانال نمادها را خراب می‌کند و گیرنده ممکن است پیام را اشتباه رمزگشایی کند.
   • پیش از شانون تصور می‌شد اطمینان بیشتر به ارسال کندتر یا پرهزینه‌تر نیاز دارد.
   • شانون معنا را کنار می‌گذارد و بر آنچه می‌توان با اطمینان فرستاد تمرکز می‌کند.
4. 4

   ایدهٔ اصلی: اطلاعات به‌مثابهٔ انتخاب از میان پیام‌های ممکن

   • اطلاعات میزان انتخاب از میان پیام‌های ممکن را می‌سنجد، نه معنای آن‌ها را.
   • پیامی که از مجموعهٔ بزرگ‌تری از گزینه‌های هم‌احتمال انتخاب شود، اطلاعات بیشتری دارد.
   • محتوای پیام از نظر معنایی برای مسئلهٔ مهندسی اهمیتی ندارد.
   • نظریهٔ ریاضی بر احتمال پیام‌ها بنا شده است.
5. 5

   سامانهٔ عمومی ارتباطی شانون، جزء به جزء

   • سامانه از منبع اطلاعات، فرستنده، کانال، گیرنده و مقصد تشکیل شده است.
   • فرستنده پیام را به سیگنالی مناسب کانال رمزگذاری می‌کند.
   • یک منبع نویز سیگنال را درون کانال خراب می‌کند.
   • گیرنده سیگنال دریافتی را دوباره به پیامی برای مقصد رمزگشایی می‌کند.
6. 6

   سنجش اطلاعات بر حسب بیت با آنتروپی

   • آنتروپی، یعنی منفیِ مجموع حاصل‌ضرب هر احتمال در لگاریتمش، میانگین عدم قطعیت یک منبع را می‌سنجد.
   • با لگاریتم پایهٔ ۲، یکای آن بیت است.
   • پرتاب یک سکهٔ سالم دقیقاً ۱ بیت آنتروپی دارد.
   • آنتروپی وقتی پیامدها هم‌احتمال‌اند بیشینه است و وقتی پیامد قطعی است صفر است.
7. 7

   منبع حافظه‌دار: انگلیسی با دانستن بافت به بیت کمتری نیاز دارد

   • هر سطح بافتی که افزوده شود، آنتروپی برآوردشدهٔ زبان انگلیسی را کم می‌کند.
   • با الفبای ۲۷ حرفی، آنتروپی از ۴٫۷۶ بیت بر حرف در F0 به ۲٫۱۴ در سطح واژه می‌رسد.
   • با الفبای ۲۶ حرفی، از ۴٫۷ به ۲٫۶۲ بیت بر حرف کاهش می‌یابد.
   • این کاهش نشان می‌دهد انگلیسی بسیار پیش‌بینی‌پذیر است و افزونگی دارد.
   • این ارقام از مقالهٔ تکمیلی شانون در ۱۹۵۱ آمده‌اند، نه از مقالهٔ ۱۹۴۸.

   نمودار خطی: آنتروپی متن چاپی انگلیسی با در نظر گرفتن بافت بیشتر (شانون، ۱۹۵۱). منبع: Prediction and Entropy of Printed English (C. E. Shannon, Bell System Technical Journal 30:1, 1951) · بررسی‌شده در 2026-10-10

8. 8

   سه کاربرد آنتروپی: فشرده‌سازی، افزونگی و نرخ

   • فشرده‌سازی: آنتروپی کمترین میانگین بیت برای هر نماد در کدگذاری بی‌اتلاف یک منبع است.
   • افزونگی فاصلهٔ میان بیشترین آنتروپی ممکن و آنتروپی واقعی منبع است.
   • نرخ تعداد بیتی است که منبع پس از کدگذاری آرمانی در هر ثانیه تولید می‌کند.
   • این سه ایده با هم نشان می‌دهند یک منبع تا چه حد کوچک می‌شود.
9. 9

   ظرفیت کانال: بیشترین چیزی که یک خط نویزی می‌تواند حمل کند

   • ظرفیت کانال بیشترین نرخ اطلاعاتی است که یک کانال می‌تواند با اطمینان حمل کند.
   • ظرفیت با بیشینه کردن اطلاعات متقابل میان ورودی و خروجی تعریف می‌شود.
   • نویز ظرفیت را کم می‌کند، اما آن را به صفر نمی‌رساند.
   • در کانال گاوسی با پهنای باند محدود، ظرفیت به پهنای باند و نسبت سیگنال به نویز بستگی دارد.
10. 10

    چرا کدگذاری هوشمندانه از دوبار فرستادن بهتر است

    • تکرار هر بیت نرخ را کم می‌کند و باز هم احتمال خطا باقی می‌ماند.
    • فرستادن نسخه‌های بیشتر خطا را فقط با رساندن نرخ به صفر کم می‌کند.
    • شانون نشان داد کدهای خوش‌طراحی روی بلوک‌های بلند می‌توانند بسیار بهتر عمل کنند.
    • کدهای بلوکی افزونگی را هوشمندانه پخش می‌کنند تا خطاها را با نرخی سودمند تصحیح کنند.
11. 11

    قضیهٔ کدگذاری کانال نویزی به زبان ساده

    • اگر نرخ کمتر از ظرفیت باشد، کدهایی با احتمال خطای دلخواه کوچک وجود دارند.
    • اگر نرخ بیشتر از ظرفیت باشد، ارتباط قابل‌اعتماد ناممکن است.
    • این نتیجه برای کانال گسستهٔ نویزی که در مقاله توصیف شده برقرار است.
    • اطمینان با کدگذاری روی بلوک‌های بلند به دست می‌آید، نه فقط با افزایش توان.
12. 12

    قضیه چه چیزی را تضمین می‌کند و چه چیزی را باز می‌گذارد

    • قضیه تضمین می‌کند که کدهای خوب زیر ظرفیت وجود دارند.
    • روشی صریح و عملی برای ساختن آن کدها ارائه نمی‌دهد.
    • بلوک‌های بلند ممکن است تأخیر و پیچیدگی رمزگشایی به همراه بیاورند.
    • یافتن کدهایی که به ظرفیت نزدیک شوند، پس از آن به مسئلهٔ پژوهشی مهمی بدل شد.
13. 13

    فرض‌های پشت نظریه و جایی که درهم می‌شکنند

    • نظریه فرض می‌کند مدل‌های احتمال منبع و کانال معلوم‌اند.
    • منابع را ایستا و ارگودیک فرض می‌کند، در حالی که داده‌های واقعی ممکن است چنین نباشند.
    • معنا را نادیده می‌گیرد، پس نمی‌تواند سودمند بودن یک پیام را بسنجد.
    • سامانه‌های واقعی با محدودیت تأخیر، کانال‌های متغیر و طول محدود کد روبه‌رو هستند.
14. 14

    از مقالهٔ ۱۹۴۸ تا مودم‌ها، تلفن‌ها و ارتباطات اعماق فضا

    • مودم‌ها با کدهای تصحیح خطا نرخ داده را به ظرفیت کانال نزدیک‌تر می‌کنند.
    • سامانه‌های تلفن و بی‌سیم بر ایده‌های کدگذاری و فشرده‌سازی این مقاله تکیه دارند.
    • پیوندهای اعماق فضا به تصحیح خطای قوی نیاز دارند، چون سیگنال‌ها بسیار ضعیف‌اند.
    • کدهای امروزی را با این می‌سنجند که چقدر به حد شانون نزدیک می‌شوند.
15. 15

    برگهٔ پایانی: پرسش‌هایی برای گروه مطالعه

    • چرا شانون معنا را کنار می‌گذارد و این کار چه سودی برای ما دارد؟
    • برآورد آنتروپی زبان انگلیسی کجا به انتخاب‌های مدل‌سازی وابسته است؟
    • کدی با نرخی درست زیر ظرفیت را چگونه طراحی می‌کنید؟
    • کدام فرض نظریه در سامانه‌ای که می‌شناسید شکننده‌تر است؟