试题列表
单选题
题型：单选题客观题分值5分难度：简单得分：5
1
Bellman方程在计算Q(s, a)时，折扣因子γ的作用是什么？
A
它决定了未来奖励的重要性
B
它用来衡量当前奖励的重要性
C
它是奖励的直接来源
D
它只影响状态的转换
学生答案：A
老师点评：
题型：单选题客观题分值5分难度：一般得分：5
2
下列关于状态价值V(s)的表达式正确的是（ ）
注：下列选项中
表示策略，
表示折扣因⼦，
表示t时刻奖励，
表示t时刻状态， 
表示t时刻动作。
A
B
C
D
学生答案：D
题型：单选题客观题分值5分难度：简单得分：5
3
在三连棋游戏中，如果玩家的第⼀步棋选择⾛中间，那么下列分析错误的是（ ）
A
电脑下⼀步选择⻆或边的概率各为1/2。
B
若电脑选择边，则⼈类玩家有必胜策略。
C
若电脑选择⻆，则⼈类玩家的最佳动作是选择边，有的概率可以获胜。
D
可以获得的期望奖励为1*1/2+1*(1/2)*(2/3)=5/6。
学生答案：C
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
4
Sarsa和Q-learning的主要区别是：
A
Sarsa是基于策略的，而Q-learning是基于值的
B
Q-learning是基于策略的，而Sarsa是基于值的
C
Sarsa更新时采用当前策略的动作，而Q-learning采用最优动作
D
Sarsa通过回放来更新Q值，而Q-learning不使用回放
学生答案：C
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
5
DQN使用经验回放机制的主要目的是（ ）。
A
增大智能体的动作空间
B
保存所有神经网络参数
C
降低连续样本之间的相关性，提高训练稳定性
D
保证每次都选择最优动作
学生答案：C
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
6
Q-learning算法中，Q函数是
A
状态-动作值函数
B
状态函数
C
估值函数
D
奖励函数
学生答案：A
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
7
Q表格中Q 函数的意义是（）
A
在强化学习里面，我们可以每走一步更新一次Q 表格，用下一个状态的Q 值来更新当前状态的Q 值。
B
Q 表格，一般它的行数是所有动作的数量。
C
最开始的时候，Q 表格会全部初始化任意值。
学生答案：A
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
8
Q 表格的概念中，（）
A
表格中每一个坐标点对应某时刻智能体的状态
B
以每执行若干步，就对Q 表格进行更新
C
与时间差分法毫无关系
D
其表示形式是表格，其中表格的横轴为动作（智能体的动作），纵轴为环境的状态。
学生答案：D
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
9
Sarsa算法名称中的五个字母分别对应（ ）。
A
状态、动作、奖励、状态、动作
B
状态、奖励、动作、状态、奖励
C
策略、动作、奖励、策略、动作
D
状态、动作、回报、状态、价值
学生答案：A
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
10
动态规划的核心思想是什么？
A
通过分治将问题拆分为更小的子问题
B
通过试探和回溯来探索所有可能的解决方案
C
将问题拆解为子问题并通过存储子问题的解来避免重复计算
D
通过贪心选择每次局部最优解来得到全局最优解
学生答案：C
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
11
蒙特卡洛方法（）
A
蒙特卡洛方法需要马尔可夫决策过程的状态转移函数和奖励函数。
B
蒙特卡洛方法需要更新多条轨迹的状态。
C
适用于环境未知的情况。
D
蒙特卡洛方法与动态规划是一个概念。
学生答案：C
老师点评：
题型：单选题客观题分值5分难度：简单得分：5
12
在蒙特卡洛方法中，估计一个问题的期望值通常依赖于：
A
通过穷举所有可能的情况来计算期望
B
随机生成多个样本，并计算它们的平均值
C
通过公式直接计算期望
D
使用动态规划来避免重复计算
学生答案：B
老师点评：
多选题
题型：多选题客观题分值5分难度：简单得分：5
1
在强化学习中，以下哪些因素会影响状态-动作价值函数Q(s, a)的计算？
A
当前状态s和动作a
B
状态转移概率
C
即时奖励R(s, a)
D
折扣因子γ
E
未来状态s’及其对应的动作a’的价值
学生答案：A；B；C；D；E
老师点评：
题型：多选题客观题分值5分难度：简单得分：5
2
下列哪些是常见的用于强化学习实验的环境和框架？
A
OpenAI Gym
B
TensorFlow
C
PyTorch
D
Scikit-learn
E
Unity ML-Agents
F
Pandas
G
Keras
学生答案：A；B；C；E
老师点评：
题型：多选题客观题分值5分难度：一般得分：5
3
策略迭代法的核⼼步骤包括哪两个部分（ ）
A
策略评估
B
状态价值计算
C
策略提升
D
使⽤贪心策略
学生答案：A；C
老师点评：
题型：多选题客观题分值5分难度：简单得分：5
4
对于Gym实验环境库，使用（）指令可以加载环境，使用（）可以初始化环境，使用（）可以执行一步环境。
A
env.close()
B
env=gym.make(环境名)
C
env.reset()
D
env.step(动作)
E
env.render()
学生答案：B；C；D
老师点评：
简答题
题型：简答题主观题分值10分难度：简单得分：10
1
简述DQN的基本原理，并说明Gym环境在强化学习实验中的作用。
题型：简答题主观题分值10分难度：简单得分：9
2
请描述REINFORCE算法的计算过程。
评论0