Poker learner: modelação de jogadores através de data mining

Abstract

O poker tem vindo a obter cada vez mais atenção por parte da população em geral devido, essencialmente, à existência de grandes torneios que são transmitidos para todo o mundo via canais televisivos. O interesse pelo poker tem vindo a alargar-se, nos últimos anos, também à comunidade científica, mais propriamente aos investigadores que se encontram ligados à área da inteligência artificial. Isto acontece devido aos enormes desafios que o poker proporciona à investigação nesta área. Ao contrário de muitos outros jogos, o poker é um jogo estocástico e de informação imperfeita, o que cria uma elevada quantidade de possibilidades para cada estado do jogo. Muitos têm sido os esforços para se criar um agente virtual capaz de se bater com os melhores jogadores humanos de poker. No entanto, até ao momento, tal tem-se revelado infrutífero uma vez que, apesar dos resultados demonstrarem uma evolução positiva ao longo do tempo sobretudo em variantes simplificadas do Poker, a criação de um agente que supere os melhores jogadores humanos na vertente Texas Hold’em, No Limit, Multi-Player Poker ainda não foi conseguida. Nesta dissertação é seguida uma linha de pensamento diferente da grande maioria dos trabalhos de investigação anteriores sobre este jogo. Em vez de ser tentada a criação de um agente virtual imbatível, será tentada a criação de um agente capaz de reproduzir a forma de jogar de um jogador humano. Para tal, é necessária a construção de um modelo de dados de alto nível, capaz de abarcar o máximo de informação relevante para cada estado de jogo. Esse modelo é depois carregado com dados provenientes de uma base de dados que contém milhares de jogadas de um jogador humano real. Ao modelo de dados são aplicadas técnicas de data mining de forma a extrair um modelo de jogador. São extraídos vários modelos de jogador para cada fase do jogo, sendo eles comparados entre si (dentro de cada fase de jogo) através da utilização de vários dados estatísticos. Como resultado desta dissertação foi possível verificar a hipótese da criação de um modelo de jogador capaz de copiar as ações de um jogador profissional de poker. Para tal, foram criados quatro modelos de dados, um para cada fase do jogo, sendo depois populados com os dados de um jogador profissional, através de um processo de extração e carregamento de dados. Os resultados atingidos foram superiores nas duas primeiras fases do poker em comparação com as duas últimas onde os resultados foram de menor relevância. Esta discrepância nos resultados entre as primeiras e as últimas fases do poker pode-se dever à acentuada diminuição de dados disponíveis para utilização nas últimas fases.

Poker has been gradually gaining the attention of people in general, in great part due to the worldwide broadcast of big tournaments by TV channels. In recent years, the interest in poker has also been extended to the scientific community especially to artificial intelligence researchers, since poker provides great challenges to the research in the area. Unlike many other games, poker is a stochastic game of imperfect information, which creates a high amount of possibilities to every state of the game. Many have been the efforts to create a virtual agent capable of standing against the best human poker players. Yet, so far, they have proved to be unfruitful. Despite the positive evolution of the results over time, mainly in simplified poker variants, the creation of an unbeatable agent in the variant Texas Hold’em, No limit, Multi-Player Poker has yet to be accomplished. In this thesis a different line of thought is followed: instead of trying to create an unbeatable agent, as previous research works have tried; the aim is to create one capable of reproducing the way a human player plays. With that end, a high level data model able to comprehend the maximum of information relevant to every state of the game has to be built. That model is, then, loaded with data from a database containing millions of plays made by a human player. Data mining techniques are applied to the data model, in such a way as to extract a model of player. Several models are extracted for each stage of the game, and then compared among themselves (in every game stage) by applying several statistic data. As a result of this thesis, it was possible to verify the hypothesis of creating a player model able to copy the moves of a professional poker player. In order to accomplish that, four data models were created (one for each stage of the game), which were then populated with data from a professional player, using a data extraction and loading process. The results achieved were superior in the first two stages of poker compared to the last two, in which the results were of less relevance. This discrepancy in the results can be explained by a pronounced decreasing of available data for the last two stages.