Она вводится в рамках подхода Шеннона, который занимался теорией кодирования и поэтому учитывал лишь формальную, а не содержательную часть сообщения. Достаточно сказать, что при таком подходе строгое математическое доказательство, гениальное стихотворение и графоманский бред могут иметь одинаковый "объем информации".
Вас понесло куда-то в сторону. Давайте, прежде чем обобщать, рассмотрим ту конкретную ситуацию, которую мы рассматривали, и послушаем, какие конкретные претензии у вас есть в этой конкретной ситуации. Когда мы поймём в чём суть, мы попробуем обобщить.
Моё рассуждение дало как раз тот ответ, который и выглядит правильным. Вы можете придумать ситуацию, в которой аналогичное рассуждение даст неправильный ответ или ответ, кажущийся неправильным? Если да, приведите такую ситуацию, это будет очень интересно, если нет, то говорить не о чем. И в любой ситуации я бы предложил вам подумать вот над чем: если взять шенноновское определение информации, но заменить там частотные вероятности байесианскими, то как это отразится на значении понятия "информация"?
А чем же эти реальности вообще отличаются?
Я-то лично не вижу ничего неестественного в том, что нам неизвестны свойства монеты. Более того, условия в данной задаче я выбрал по образцу другой задачи, приводимой в качестве примера байесовского подхода: "У вас есть коробка с черными и белыми шарами и никакой информации относительно их количества. Байесовская вероятность вытащить черный шар равна 1/2".
Та задача так же нереальна как и ваша. Если мне в реальности кто-то предложит подкинуть монету сделав ставки, то у меня будет больше информации о монете, чем в задаче. Хотя бы формулировки, в которых мне предложили игру, позволят мне предполагать к какому социальному слою принадлежит тот, кто предложил, они позволят мне предполагать его уровень интеллекта. Всё это будет происходить в каком-то контексте -- может быть на улице, может быть в кафе, может быть на вокзале, может быть ещё где-то. При этом, вероятно, у меня будут какие-то свои планы, и может быть я буду рассматривать гипотезу о том, что предложение сыграть -- это отвлекающий манёвр, а задача -- нарушить мои планы. Если мне в почту прилетит предложение сыграть, то я задумаюсь о том, как предлагающий узнал мой адрес. В любом случае я задумаюсь о мотивах предлагающего. И реалистичная игра окажется в контексте насыщенном информацией. Здесь же примеры задач, которые наоборот катастрофически обеднены информацией.
Кстати это напомнило мне критику когнитивной психологии, которая указывает на то, что когнитивная психология склонна проводить свои эксперименты в специально сформированных условиях, откуда удалены все факторы, которые могут влиять на поведение испытуемого, кроме изучаемых. Но где гарантия, что в таком депривационном окружении человек будет действовать нормальным для себя образом? Или почему мы делаем вывод о когнитивном искажении на основании того, что человек в ненормальной для себя ситуации повёл себя не лучшим образом? Человек не заточен на то, чтобы оказываться в таких ситуациях, поэтому нет ничего удивительного, что он повёл себя не лучшим образом и это мало что говорит нам о том, как он поведёт себя в реалистичной ситуации.
Но, возвращаясь к задаче: я далёк от того, чтобы заявлять, что методологически неверно рассматривать упрощённые условия задачи в искусственно созданном контексте, с искусственными и нереалистичными ограничениями на доступную информацию. Но я заявляю, что рассматривая такие искусственные задачи в искусственных условиях, надо помнить об искусственности и учитывать её.