Пилю программку по обсчёту китайского покера

Цитата (БиллиУбили @ 23.5.2020)
Естественно, это разные евешки. Во первом случае у меня будут продолжения только с одним А, их будет меньше(чем с двумя АА) и они закономерно внесут меньше очков в итоговое ЕВ

Хорошо , а теперь разрушение сладких мечтаний БиллиУбилли:
А состояния
ДД
А(1 аут )
222
И
ДД
К(1 аут)
222

Разные?)
Это одинаковые узлы

Цитата (c00l0ne @ 23.5.2020)
Как они связаны между собой...

какая мне разница, как они между собой связаны? просыпайся, дядь
Одно даёт +17, а другое -6. Это всё, что мне нужно знать

Цитата (c00l0ne @ 23.5.2020)
дерево решений знаю, дерево событий знаю

вопрос терминологии. Корень можно называть узлом. Ветвь - листом и т.д.
я тоже не знаю, что ты понимаешь под "деревом(?) решений", "деревом(?) событий"

Цитата (c00l0ne @ 23.5.2020)
Это одинаковые узлы

Это разные узлы в моём дереве. Но они дадут одинаковое ЕВ

Цитата (БиллиУбили @ 23.5.2020)
какая мне разница, как они между собой связаны? просыпайся, дядь
Одно даёт +17, а другое -6. Это всё, что мне нужно знать

Это верно для посл сдачи...
Для остальных это бред
В примере
ДД
А
222

Дамы не 17 Кушей стоят наверху на первой сдаче и у туза появляется евшка, т.к. он перекупает дам

Цитата (c00l0ne @ 23.5.2020)
17 Кушей стоят наверху на первой сдаче

а с чего ты взял, что после разложения стартера(в указанном тобой узле) ЕВ будет +17? может +9 а может и вообще +5

БиллиУбили, а почему будет меньше?)))
Должно быть 17 кстати за ДД в мк
Но в сумме узел будет меньше
т.к. надо доехать

Это я перепутал РЛ с МК

Цитата (c00l0ne @ 23.5.2020)
а почему будет меньше?)))

Так примерно почуВствовал)

Цитата (c00l0ne @ 23.5.2020)
РЛ с МК

хотя бы обьяснил, что такое РЛ и МК

БиллиУбили, RL reinforcement learning
MK Monte Karlo

Читай книги иди( стыдно не знать

Цитата (c00l0ne @ 23.5.2020)
RL reinforcement learning
MK Monte Karlo

уфф, у меня ни то, ни другое. Похоже, пронесло

БиллиУбили, а ну ок, интересно каким ты методом решаешь, может "никаким"...
Других то нету Карл

c00l0ne, ты предполагаешь выкидывать ветки случайно, а это (если надо) надо делать рационально.
ЗЫ Обучающее видео с селёдкой. Что дальше? Аниме? Хентай?

БиллиУбили, ой блин, MCTS как полностью в Китае выглядит, берутся случайные сдачи карт, состовляется 🌲 состояний или событий или решений(стратегий)... Далее каждому узлу через который прошли прибавляем посещение, доходим до терминального и значение терминального распространяем по всему пути который прошли, грубо говоря суммируем, так в каждом узле появится евшка узла после миллионов миллиардов случайных раздач и выбрав Макс на каждом этапе мы получим оптимум

Нет видео с девушкой простой по MCTS
На русском вообще ничего нет, но есть Эмма Б.:


MCTS это то чем ты пытаешься заняться уже полтора года:
Monte Carlo Tree Search

Без знания технического англ. тебе дальше будет трудно, рекомендую подтянуть, я свой английский на документации msdn поднимал) лет 15 назад) помню ещё windows 3.1 sdk и ddk читал ,вау Ностальжи

Про деревья и их виды

Цитата (c00l0ne @ 23.5.2020)
Monte Carlo Tree Search

по-прежнему не понимаю, при чём тут Монте-карло? В Го и Шахматах ЕВ конечных(последующих) состояний не известно, в китайском они известны(по крайней мере, для 1ой руки в вакууме).
Что за дурная попытка решить более простую задачу сведением к более сложной?

БиллиУбили, в го неизвестно лол и в шахматах не известно лололололол... А мне казалось эти игры с полной информацией и все там известно , просто глубина огромная...ветвей много... И чтобы посчитать Ев состояния придется подождать пару сотен лет)))
Цель то решить в разумные сроки

И 🌲 обходить надо с умом, чем альфазеро и занимается...

В китайском все так же только ещё есть карты в сбросе опа неизвестные... И пока конечного состояния ты не достигнешь , результата раздачи ты не узнаешь, как в шахматах

Цитата (БиллиУбили @ 23.5.2020)
дурная

Старайся такие слова не употреблять когда со мной общаешься

Цитата (БиллиУбили @ 23.5.2020)
более простую задачу сведением к более сложной?

Ой блин решить китайский покер это одна из топовых задач, т.е. уровень сложности высокий, то что тебе кажется что это просто это ничего не значит...

Ладно лимит времени исчерпан... Займись матчастью , очевидно теоретическая подготовка тебе сэкономит время, а может и жизнь

Цитата (c00l0ne @ 23.5.2020)
А мне казалось эти игры с полной информацией и все там известно

зря тебе так казалось. Потому что в шахматах если осталось по 1 фигуре и несколько пешек, то преимущество ниоткуда не следует - надо опять строить дерево до мата или известных(!) состояний (типа король против короля и 2ух слонов, их очень мало)

Цитата (c00l0ne @ 23.5.2020)
В китайском все так же только ещё есть карты в сбросе опа неизвестные...

ну, есть и есть. в первом приближении можно считать, что они остались в колоде.

Цитата (c00l0ne @ 23.5.2020)
И пока конечного состояния ты не достигнешь , результата раздачи ты не узнаешь, как в шахматах

И поэтому китай надо решать также, как и шахматы?

Цитата (c00l0ne @ 23.5.2020)
Старайся такие слова не употреблять

Зачем ты MCTS выдаёшь за единственную панацею от всего? Потому что дерево? Потому что гладиолус? Просто хочу понять....
А сведение Reinforcement Learning только к дереву...это вообще абсурд. Автомат может быть реализован как угодно.

Цитата (БиллиУбили @ 23.5.2020)
И поэтому китай надо решать также, как и шахматы?

Любая игра с полной информацией решается одинаково, абстракции разные просто

Цитата (БиллиУбили @ 23.5.2020)
зря тебе так казалось. Потому что в шахматах если осталось по 1 фигуре и несколько пешек, то преимущество ниоткуда не следует - надо опять строить дерево до мата или известных(!) состояний (типа король против короля и 2ух слонов, их очень мало)

Абсолютно так же считается евшка как для предыдущих ходов.. , колвом симуляцией приближаем ее к оптимальной, дерево строить не нужно, только добавлять новые узлы если их нет

Появилась следующая идея. Для рассмотрим её на примере руки из 2ух лайнов


Да, MCTS можно использовать, но метода НЕ уменьшает кол-во ветвлений.
Поэтому, будем введём эвристическую оценку ЕВ руки и будем добавлять нового потомка по мере надобности.
Эвристическая ЕВ - максимальное кол-во очков, которая рука может набрать к завершению.
Найдём все продолжения за 1 подьём и отсортируем их по оценке ЕВ.
Очевидно, это будут , где - совершенно произвольная карта.
Рука превратиться в \ , оценка 12(4+8)
Такую же оценку получит подьём , где - не буба и не крести
Рука \ также получит оценку(потенциал) 12
С подьём аналогично.
А вот подьём заставит нас "убить верхний флаш" и оценка упадёт до 4 (убивать нижний флаш ещё хуже, оценка упадёт до 0)
Теперь мы делаем ход конём.
Подгружаем в дерево только руки с оценкой > 7 очков и гоняем поиск. Гоняем-гоняем, и тут все эти оценки падают ниже 7 очков, ниже 7 очков падает и посчитанное методом MCTS ЕВ руки.
И вот тут мы либо можем остановиться, либо подгрузить дополнительные ветки 1ого подьёма. Совершенно естественно, что с MCTS перекинется на них и ЕВ ответвлений тоже будет падать, но, предположительно, не так резко, как на ветках с предварительной оценкой 12очков.
Наконец, мы посчитали ЕВ руки и оно, скажем, 3.5 очка. Всё. Добавлять ветки 1ого подьёма с оценкой руки < 3.5 очка бессмысленно: ЕВ руки не увеличится.
Единственное в чём я не разобрался, это какую формулу использовать для выбора ветки для следующего поиска.
Там 2 формулы

и

Тут уже математики подскажут. Пока начнём со второй, она попроще )

БиллиУбили, молодец, любой метод обхода хорош
Это формула модификация алгоритма UCB , пойдет

Старайся меньше думать про то как это работает, за тебя давно математики все придумали, ты как программист должен думать о деталях задачи...

Цитата (БиллиУбили @ 25.5.2020)
Эвристическая ЕВ - максимальное кол-во очков, которая рука может набрать к завершению.

Бред сивой кобылы
Ев это математическое ожидание, которое ты получишь в каждом узле , применяя алгоритм обхода дерева... UCB например

Твои прогоны симуляции и подсчёты это ясельная группа по восхождению на Еверест, а на верху горы Эверест находится алгоритм MCTS:troll: а ты его в помощники записал:

Цитата (БиллиУбили @ 25.5.2020)
посчитанное методом MCTS ЕВ руки.

Это не метод, это основной алгоритм...
Тебе давно пора понять по колву упоминаний MCTS это главный алгоритм (твой главный инструмент (по Фрейду))))решения твоей задачи и реализация его ложится на твои не сильно широкие пока что плечи, пока что хромая 🏇 получается...
Тебе повезло что я занялся твоей прокачкой...
Основная твоя работа описать узлы, какие идеи?

Цитата (c00l0ne @ 25.5.2020)
Основная твоя работа описать узлы, какие идеи?

да какие идеи? Добавить счётчик захода в корень и счётчик обходов всего
Ну, и сами очки.
Всё по ГОСТу, в соответствии с

Цитата (c00l0ne @ 25.5.2020)
Бред сивой кобылы

Это моё право выбирать эвристическую(!) оценку(!!) ЕВ. Мог бы взять сумму(кол-во карт + кол-во карт ).