structuredPlaner.h

Go to the documentation of this file.

/****************************************************************************
 *   This file is part of the aGrUM/pyAgrum library.                        *
 *                                                                          *
 *   Copyright (c) 2005-2025 by                                             *
 *       - Pierre-Henri WUILLEMIN(_at_LIP6)                                 *
 *       - Christophe GONZALES(_at_AMU)                                     *
 *                                                                          *
 *   The aGrUM/pyAgrum library is free software; you can redistribute it    *
 *   and/or modify it under the terms of either :                           *
 *                                                                          *
 *    - the GNU Lesser General Public License as published by               *
 *      the Free Software Foundation, either version 3 of the License,      *
 *      or (at your option) any later version,                              *
 *    - the MIT license (MIT),                                              *
 *    - or both in dual license, as here.                                   *
 *                                                                          *
 *   (see https://agrum.gitlab.io/articles/dual-licenses-lgplv3mit.html)    *
 *                                                                          *
 *   This aGrUM/pyAgrum library is distributed in the hope that it will be  *
 *   useful, but WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED,          *
 *   INCLUDING BUT NOT LIMITED TO THE WARRANTIES MERCHANTABILITY or FITNESS *
 *   FOR A PARTICULAR PURPOSE  AND NONINFRINGEMENT. IN NO EVENT SHALL THE   *
 *   AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER *
 *   LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,        *
 *   ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR  *
 *   OTHER DEALINGS IN THE SOFTWARE.                                        *
 *                                                                          *
 *   See LICENCES for more details.                                         *
 *                                                                          *
 *   SPDX-FileCopyrightText: Copyright 2005-2025                            *
 *       - Pierre-Henri WUILLEMIN(_at_LIP6)                                 *
 *       - Christophe GONZALES(_at_AMU)                                     *
 *   SPDX-License-Identifier: LGPL-3.0-or-later OR MIT                      *
 *                                                                          *
 *   Contact  : info_at_agrum_dot_org                                       *
 *   homepage : http://agrum.gitlab.io                                      *
 *   gitlab   : https://gitlab.com/agrumery/agrum                           *
 *                                                                          *
 ****************************************************************************/
 

 
// =========================================================================
#ifndef GUM_STRUCTURED_PLANNING_H
#define GUM_STRUCTURED_PLANNING_H
// =========================================================================
#include <thread>
// =========================================================================
// =========================================================================
// =========================================================================
#include <agrum/FMDP/planning/mddOperatorStrategy.h>
#include <agrum/FMDP/planning/treeOperatorStrategy.h>
#include <agrum/FMDP/SDyna/Strategies/IPlanningStrategy.h>
 
// =========================================================================
 
namespace gum {

  template < typename GUM_SCALAR >
  class StructuredPlaner: public IPlanningStrategy< GUM_SCALAR > {
    // ###################################################################
    // ###################################################################
 
    public:
    // ==========================================================================
    // ==========================================================================
    static StructuredPlaner< GUM_SCALAR >* spumddInstance(GUM_SCALAR discountFactor = 0.9,
                                                          GUM_SCALAR epsilon        = 0.00001,
                                                          bool       verbose        = true) {
      return new StructuredPlaner< GUM_SCALAR >(new MDDOperatorStrategy< GUM_SCALAR >(),
                                                discountFactor,
                                                epsilon,
                                                verbose);
    }
 
    // ==========================================================================
    // ==========================================================================
    static StructuredPlaner< GUM_SCALAR >* sviInstance(GUM_SCALAR discountFactor = 0.9,
                                                       GUM_SCALAR epsilon        = 0.00001,
                                                       bool       verbose        = true) {
      return new StructuredPlaner< GUM_SCALAR >(new TreeOperatorStrategy< GUM_SCALAR >(),
                                                discountFactor,
                                                epsilon,
                                                verbose);
    }

 
    // ###################################################################
    // ###################################################################
 
    protected:
    // ==========================================================================
    // ==========================================================================
    StructuredPlaner(IOperatorStrategy< GUM_SCALAR >* opi,
                     GUM_SCALAR                       discountFactor,
                     GUM_SCALAR                       epsilon,
                     bool                             verbose);
 
    // ==========================================================================
    // ==========================================================================
 
    public:
    virtual ~StructuredPlaner();

 
    // ###################################################################
    // ###################################################################
 
    public:
    // ==========================================================================
    // ==========================================================================
    INLINE const FMDP< GUM_SCALAR >* fmdp() { return fmdp_; }
 
    // ==========================================================================
    // ==========================================================================
    INLINE const MultiDimFunctionGraph< GUM_SCALAR >* vFunction() { return vFunction_; }
 
    // ==========================================================================
    // ==========================================================================
    virtual Size vFunctionSize() { return vFunction_ != nullptr ? vFunction_->realSize() : 0; }
 
    // ==========================================================================
    // ==========================================================================
    INLINE MultiDimFunctionGraph< ActionSet, SetTerminalNodePolicy >* optimalPolicy() {
      return optimalPolicy_;
    }
 
    // ==========================================================================
    // ==========================================================================
    virtual Size optimalPolicySize() {
      return optimalPolicy_ != nullptr ? optimalPolicy_->realSize() : 0;
    }
 
    // ==========================================================================
    // ==========================================================================
    std::string optimalPolicy2String();

 
 
    // ###################################################################
    // ###################################################################
 
    public:
    // ==========================================================================
    // ==========================================================================
    virtual void initialize(const FMDP< GUM_SCALAR >* fmdp);
 
 
    // ==========================================================================
    // ==========================================================================
    virtual void makePlanning(Idx nbStep = 1000000);

 
 
    // ###################################################################
    // ###################################################################
 
    protected:
    // ==========================================================================
    // ==========================================================================
    virtual void initVFunction_();
 
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >* valueIteration_();
 
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
        evalQaction_(const MultiDimFunctionGraph< GUM_SCALAR >*, Idx);
 
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
        maximiseQactions_(std::vector< MultiDimFunctionGraph< GUM_SCALAR >* >&);
 
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
        minimiseFunctions_(std::vector< MultiDimFunctionGraph< GUM_SCALAR >* >&);
 
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
        addReward_(MultiDimFunctionGraph< GUM_SCALAR >* function, Idx actionId = 0);

 
 
    // ###################################################################
    // ###################################################################
 
    protected:
    // ==========================================================================
    // ==========================================================================
    virtual void evalPolicy_();
 
    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*
        makeArgMax_(const MultiDimFunctionGraph< GUM_SCALAR >* Qaction, Idx actionId);
 
    private:
    // ==========================================================================
    // ==========================================================================
    NodeId _recurArgMaxCopy_(
        NodeId,
        Idx,
        const MultiDimFunctionGraph< GUM_SCALAR >*,
        MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*,
        HashTable< NodeId, NodeId >&);
 
    protected:
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*
        argmaximiseQactions_(std::vector< MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                                                 SetTerminalNodePolicy >* >&);
 
    // ==========================================================================
    // ==========================================================================
    void extractOptimalPolicy_(
        const MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*
            optimalValueFunction);
 
    private:
    // ==========================================================================
    // ==========================================================================
    NodeId _recurExtractOptPol_(
        NodeId,
        const MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*,
        HashTable< NodeId, NodeId >&);
 
    // ==========================================================================
    // ==========================================================================
    void _transferActionIds_(const ArgMaxSet< GUM_SCALAR, Idx >&, ActionSet&);
 

 
    protected:
    // ==========================================================================
    // ==========================================================================
    const FMDP< GUM_SCALAR >* fmdp_;
 
    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< GUM_SCALAR >* vFunction_;
 
    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< ActionSet, SetTerminalNodePolicy >* optimalPolicy_;
 
    // ==========================================================================
    // ==========================================================================
    gum::VariableSet elVarSeq_;
 
    // ==========================================================================
    // ==========================================================================
    GUM_SCALAR discountFactor_;
 
    IOperatorStrategy< GUM_SCALAR >* operator_;
 
    // ==========================================================================
    // ==========================================================================
    bool verbose_;
 
 
    private:
    // ==========================================================================
    // ==========================================================================
    GUM_SCALAR _threshold_;
    bool       _firstTime_;
  };
 
} /* namespace gum */
 
#include <agrum/FMDP/planning/structuredPlaner_tpl.h>
 
#endif   // GUM_STRUCTURED_PLANNING_H