\noindent La compañía alemana KUKA Roboter GmbH es uno de los principales fabricantes mundiales de robots industriales. Actualmente está trabajando en el diseño de un robot móvil cuya función será recoger latas vacías en el entorno de una oficina. El robot cuenta con una batería recargable como fuente de energía, la cual puede tener tres niveles de carga: alto, bajo y descargada. Cada 15 minutos el robot debe tomar alguna de las siguientes acciones: buscar activamente latas en la oficina, permanecer inmóvil esperando a que un humano le entregue una lata, o regresar a la base de operaciones para recargar la batería. Asuma que el tiempo que le toma al robot recargar su batería es de 15 minutos. 

\noindent Se ha estimado que, en promedio, en 15 minutos el robot alcanza a encontrar una lata si decide buscar activamente en la oficina, y 0.5 latas si decide esperar a que un humano le entregue una lata. Si el robot se dedica a la búsqueda activa de latas, dependiendo de su nivel de carga,  existe la posibilidad de que la batería se agote por completo; en dado caso, el robot se apaga, y es rescatado por alguien al final de los 15 minutos, que lo lleva a la base de operaciones para recargar su batería. Si el robot permanece inactivo (esperando a que un humano le entregue una lata), no hay consumo de energía. 

\noindent Si el nivel de la batería es alto, los diseñadores estiman que el robot puede buscar activamente latas sin que se descargue la batería. En este caso, al final del ciclo, el nivel de la batería será alto con probabilidad de $\alpha$. Por el contrario, si se inicia la búsqueda activa de latas con un nivel de batería bajo, los experimentos realizados han demostrado que la probabilidad de que el robot se quede sin batería es $\beta$. Para realizar el entrenamiento del robot, \textbf{se busca maximizar el número de latas que el robot recoge a lo largo del tiempo.} Si al robot se le descarga la batería, este es penalizado con -3 latas. 
    \begin{enumerate}[label=\alph*.] 
        \item Plantee un proceso de decisión de Márkov que permita maximizar las recompensas del robot en el largo plazo. \\
        \noindent \textbf{Solución} \\

\noindent \textbf{Épocas}: $E=\{1,2,\dots, \infty\}$ \\
\textbf{Variable de estado:}
    \begin{itemize}
        \item[] $X_t$: Nivel de carga del robot al inicio de los t-ésimos 15 minutos
    \end{itemize}
\textbf{Espacio de estados:}
    \begin{itemize}
        \item[] $S_X=\{Alto, Bajo, Descargado\}$ 
    \end{itemize}
\textbf{Decisiones:}
    \begin{itemize}
        \item[] $A\{Descargado\}=\{Recargar\}$
        \item[] $A\{Bajo\}=\{Buscar, Esperar, Recargar\}$
        \item[] $A\{Alto\}=\{Buscar, Esperar\}$ o $\{Buscar, Esperar, Recargar\}$, ya que aunque no tenga sentido recargar, la optimización por si sola determinará que no es una opción eficiente.
    \end{itemize}
\textbf{Probabilidades de transición:}
    \begin{table}[H]
    \centering
    \begin{tabular}{|l|c|c|c|}
    \hline
    \textbf{Buscar}     & \textbf{Descargada} & \textbf{Baja} & \textbf{Alta} \\ \hline   
    \textbf{Baja} & $\beta$   & $1-\beta$     & 0        \\ \hline              
    \textbf{Alta} & 0     & 1-$\alpha$      & $\alpha$           \\ \hline  
    \end{tabular}
    \end{table}
    \begin{table}[H]
    \centering
    \begin{tabular}{|l|c|c|c|}
    \hline
    \textbf{Esperar}     & \textbf{Descargada} & \textbf{Baja} & \textbf{Alta} \\ \hline   
    \textbf{Baja} & 0   & 1    & 0        \\ \hline              
    \textbf{Alta} & 0     & 0     & 1          \\ \hline  
    \end{tabular}
    \end{table}
    \begin{table}[H]
    \centering
    \begin{tabular}{|l|c|c|c|}
    \hline
    \textbf{Recargar}     & \textbf{Descargada} & \textbf{Baja} & \textbf{Alta} \\ \hline   
    \textbf{Descargada} & 0   & 0   & 1       \\ \hline   
    \textbf{Baja} & 0   & 0    & 1       \\ \hline              
    \textbf{Alta} & 0     & 0     & 1          \\ \hline  
    \end{tabular}
    \end{table}
    \textbf{Recompensas:}\\
    \begin{table}[H]
    \centering
    \begin{tabular}{| r | c|c|c |}
    \hline
     & \textbf{Buscar} & \textbf{Esperar} & \textbf{Recargar}\\
    \hline
    \textbf{Alto} & 1 & 0.5 & 0 \\
    \hline
    \textbf{Bajo} & 1 & 0.5 & 0 \\
    \hline
    \textbf{Descargado} & NA & NA & -3 \\
    \hline
    \end{tabular}
    \end{table}
    \end{enumerate}