Data 102最终项目 数据集的引导分析

数据102最终项目,2024年春季
截止日期:2024年5月6日星期一晚上11:59
在这个项目中,您将完成对您选择的代 写Data 102最终项目 数据集的引导分析。我们策划了一个建议的数据集列表,但欢迎您选择外部数据集。你的分析应该包括以下步骤:
1.数据概述描述并讨论您的数据集。
2.EDA执行探索性数据分析(EDA)并描述数据集的关键功能。你在决定下面的研究问题之前,可能需要完成此步骤。
3.研究问题列出你将在本项目中探索的两个研究问题。在这两个研究问题之间,你应该至少使用以下四种技巧中的两种你这学期学到的。您可以使用两种以上的技术,并且可以使用针对任何特定问题的一种以上技术(示例见第1节)。
二元决策和假设检验
贝叶斯分层建模
将广义线性模型(GLM)与非参数预测方法进行比较
因果推断
至少有一种技术应该是贝叶斯层次建模或因果建模
推论您应该使用相同的数据集来回答这两个问题。请参阅第1节举例说明。
4.推理和决策运用你上面选择的两种技巧来回答你的研究问题,解释你的选择。
5.结论强调关键发现,确定潜在的下一步行动,并评估优势和分析的局限性。
你必须四人一组工作,并且你必须通过填写项目组表格
3月20日,星期三。如果你没有一个小组,你必须填写同样的表格,同样的表格,你将被随机分配到一个小组。如果你有一个小组,必须由一个人填写在截止日期前以相同的表格申报您的团队。在非常特殊的情况下(例如,情有可原个人情况或正在进行的个人项目,如高年级论文),我们将允许学生独自工作。如果您认为自己符合此例外条件,请发送电子邮件至data102@berkeley.edu尽快以及相关信息/文件。除非您
接收确认电子邮件。请注意,您将在
项目结束:我们强烈鼓励您与团队讨论并解决任何冲突
成员们应该尽早加入。
详细指南如下。开始前请通读这份文件全文
工作
1.
目录
1研究问题示例3
2节指南3
2.1数据概述。3.
2.2研究问题。4.
2.3 EDA。4.
2.4选项A:多重假设检验/决策。4.
2.5选项B:贝叶斯层次建模。5.
2.6选项C:GLM和非参数方法的预测。6.
2.7选项D:因果推理。7.
2.8结论。7.
3项目可交付成果9
3.1项目建议书(4月5日星期五到期)。9
3.2检查点1:EDA(定于4月18日星期五)。93.3检查点2:研究问题结果(定于4月25日星期五)。93.4书面报告。9
3.5 Jupyter笔记本。10
3.6数据集(用于外部数据集)。10
3.7团队成员评估。10
4数据集11
4.1数据集1:慢性病与空气质量。11
4.2数据集2:初选背书和融资。12
4.3数据集3:电力和碳排放预测。12
4.4有用的附加数据集。13
4.5外部数据指南。14
4.6外部数据源。14
4.7大型数据集。15
5分级16
6分组工作16
2.
1研究问题示例
以下是一些关于假设数据集的研究问题的例子。请注意,所有这些使用贝叶斯层次建模或因果推理,所有这些都使用至少两个所描述的技术,所有这些都使用相同的数据集回答了至少两个研究问题。如果你正在查看Data 102学生的数据集,你可以选择作为你的研究问题(1)上班时间是否会提高家庭课业成绩(因果关系推理),以及(2)我们能将贝叶斯层次模型拟合到分配的分布吗按学年划分的成绩(贝叶斯层次模型)。
如果你正在查看一个涉及果冻消费、痤疮和其他人口统计数据集,你可以像你的研究问题一样选择(1)消费不同颜色的果冻引起痤疮(因果推断和多重假设检验),以及(2)预测使用负二项回归和
随机森林(使用GLM和非参数方法进行预测)。
如果你在看一个涉及电视节目中角色的数据集(对话行、性别、,年龄等),你可以选择作为你的研究问题(1)性格人口统计学有多好信息预测每个季节的对话线,将GLM与非参数方法进行比较(使用GLM和非帧的预测);以及(2)对于每一季的节目,有没有性别和口语之间的显著关联(多重假设检验)。
2节指南
您的报告应包括以下各部分,并至少解决列出的问题。您应该在每一节中加入针对数据集的功能。
根据你的研究问题,你应该至少选择两个相应的部分
对于选项A到D。
2.1数据概述
您的数据是如何生成的?这是抽样调查还是人口普查?
如果您选择使用自己的数据,请描述数据源和下载过程。如果您选择添加其他数据源,请解释原因。
如果您的数据代表一个样本:
–将其中一个变量的分布与人群中的预期进行比较。
例如,如果您的数据具有年龄变量,请将其与的年龄结构进行比较人口
*你注意到有什么不同吗?
*这对您的结果的可推广性有何影响?
如果您的数据代表人口普查:
–是否有任何群体被系统地排除在您的数据之外?
3.
参与者在多大程度上了解这些数据的收集/使用?
您的数据粒度是多少?每一行代表什么?这将产生怎样的影响对你的发现的解释?
以下任何问题是否与您的数据相关?
–选择偏差
–测量误差
–方便取样
您的数据集是否进行了差异隐私修改?如果是,请解释如何操作。是否有您希望拥有但不可用的重要功能/列?是什么
他们会帮助你回答哪些问题?
是否有数据缺失的列?遗漏的条目是什么意思?你将如何处理你的分析中有这个吗?
您对数据进行了哪些清洗或预处理?为什么?这些决定将如何影响你的模型和推论?
2.2研究问题
您的研究问题应包括使用上述方法(即
你已经在数据102中学习了)来回答它们。对于您的两个研究问题中的每一个,请描述:–研究问题是什么?通过回答可以做出哪些现实世界的决定它
–解释为什么你将使用的方法非常适合这个问题(例如,如果选择因果推理,你应该解释为什么因果推理很适合回答
您的研究问题)。
–您选择的方法有哪些局限性?在什么情况下可能
做得不好,在这种情况下会出什么问题?
2.3 EDA
可视化至少两个定量变量和两个分类变量。您的可视化效果必须与您的研究问题相关!
描述你观察到的任何趋势,以及你可能想要跟进的任何关系。解释你的可视化应该如何与你的研究问题相关:要么通过激发问题,要么提出潜在的答案。你必须解释为什么它们是相关的。2.4选项A:多重假设检验/决策
测试至少六个不同的假设,正确计算每个假设的p值,并使用两个不同的多种假设检验校正技术来控制错误率。
方法
4.
–描述您将使用数据集进行测试的假设,并解释原因
检验多个假设而不是只回答一个问题是有意义的。
–对于至少一项测试,描述一个特定的替代假设,并计算你计划使用的测试的力量。
–描述您将如何测试每个假设(A/B测试、相关性/关联性等),并证明你的选择是合理的。
–描述至少两种不同的方法来纠正多重假设测试,并解释误差率受到控制。
–比较和对比测试中的FWER控制和FDR控制:具体而言,使用一种控制FWER的方法和一种控制FDR的方法,并比较每个人的发现。解释哪一个更适合你的研究问题。
结果
–总结和解释假设测试的结果。
–对于您选择的两种校正方法,请清楚地解释错误率是多少由每一个控制。
讨论
–应用校正程序后,哪些发现仍然具有重要意义?如果没有做了,解释了原因。
–个人测试可以或应该做出哪些决定?从
总的结果?
–讨论分析中的任何局限性,如果相关,还应讨论如何避免p黑客攻击。–如果您有更多的数据,您还会进行哪些额外的测试?
2.5选项B:贝叶斯层次建模
建立一个层次贝叶斯模型,类似于你在课堂、实验室和家庭课业中看到的模型(例如,来自第7讲的肾脏癌症数据,来自HW2的学校资助模型,COVID传播来自实验室4的模型)。使用此模型从数据集中估计感兴趣的参数。你必须在PyMC中实现您的模型并呈现结果。
方法
–绘制一个图形模型,清楚地指出观察到的变量。提供您试图估计的任何隐藏变量的描述。–清楚地描述数据集中的组,并解释为什么层次模型是
很好地选择建模跨组的可变性。
–证明并解释您对模型中每个先验分布和条件分布的选择(高斯、贝塔等)。
结果
–解释您是如何为之前的分布选择超参数的:您是否使用经验贝叶斯?一个完整的分层模型?为什么?
5.
–总结并解释您的结果。是否有任何违反直觉的发现或意外?–为模型中至少一个隐藏变量提供可信的区间,并提供清晰的简明英语中不确定性的定量陈述。
讨论
–详细说明您的方法的局限性。
–如果你的推理过程难以收敛,你能解释一下原因吗?
–您是否尝试过其他配方/图形模型?如果是,什么有效或无效关于每一个?
–哪些额外的数据对回答这个问题有用,为什么?怎么会你把它添加到图形模型中了吗?
2.6选项C:GLM和非参数方法预测
设置一个预测问题,并使用广义线性模型(GLM)和非参数模型来进行预测。您应该为您的GLM确定链接函数/似然模型的最佳选择,并提供来自频率学家或贝叶斯的结果视角取决于您的喜好。同样,你也应该选择一到两种非参数方法(最近邻、决策树、随机森林和神经网络)进行预测,并对结果进行比较。
方法
–描述您试图预测的内容以及您正在使用的功能。为您的选择。如果有与预测相关的附加特征,并且很容易
在公共数据集中可用,您必须至少包括一个这样的功能。–描述您将要使用的GLM,证明您的选择是合理的。描述任何假设由您的模特选择。如果您使用的是贝叶斯系数的先验
GLM,解释一下你为什么选择之前的。
–描述您将要使用的非参数方法,以证明您的选择是合理的。描述您的建模选择所做的任何假设。
–您将如何评估每个模型的性能?
结果
–总结并解释模型的结果。
–估计GLM预测中的任何不确定性,用通俗易懂的英语提供明确的不确定性定量说明。讨论
–哪种型号表现更好,为什么?你有多大信心将其应用于未来的数据集?
–讨论每个模型与数据的拟合程度。
6.
–解释每个模型的结果:根据模型的参数,可以
你对结果和
特征?你可以选择不提供解释,但你必须证明这个选择是合理的。–详细说明每个模型的局限性。
–哪些额外的数据对改进您的模型有用?
–解释你的结果中的不确定性:它在质量上是高还是低?解释为什么可能是(例如,噪声数据、数据集大小、估计中的方差等)。请注意,您不会根据模型精度进行评分:如果您的精度很高,您应该解释为什么预测问题相对容易,如果它很低,你应该解释为什么这个问题比较棘手。
2.7选项D:因果推理
提出一个因果问题,明确定义治疗、控制和单位(人、州、,月份等)。使用你在课堂上学到的一种技巧来回答问题,清楚地陈述以及证明你所做的任何和所有假设的合理性。
方法
–描述哪些变量对应于治疗和结果。
–描述哪些变量(如果有的话)是混杂因素。如果不成立的假设坚持,提出一个令人信服的理由。
–您将使用什么方法来调整混杂因素?
–数据集中是否有对撞机?如果是,它们是什么?
–为变量绘制因果DAG。
结果
–总结并解释您的结果,提供关于因果关系的清晰陈述(或缺乏),包括任何必要的假设。除了统计学意义之外,
讨论你发现的任何影响的大小。
–在可能的情况下,讨论您的估计和/或不利于
你正在调查的假设。
讨论
–详细说明您的方法的局限性。
–哪些额外的数据对回答这个因果问题有用,为什么?
–您对所选内容之间存在(或不存在)因果关系的信心有多大治疗和结果?为什么?
2.8结论
总结你的主要发现。
你的结果有多普遍?你的发现范围有多广或有多窄?
7.
根据你的结果,建议采取行动。根据您的调查结果,应采取哪些干预措施、政策、现实决策或行动?您是否合并了不同的数据源?合并不同来源的好处和/或后果是什么?您在分析中无法解释的数据有哪些限制?
未来的哪些研究可以建立在你的工作基础上?
你在项目中学到了什么?
8.
3项目可交付成果
你必须四人一组工作。每组将提交一组以下可交付成果,以zip文件的形式提交给Gradescope。
3.1项目建议书(4月5日星期五到期)
请在4月5日星期五晚上11:59之前填写项目建议书表格(更多信息将在在Ed上提供),以指示您将要处理的数据集和研究问题。如果您计划使用数据102中所学之外的任何方法,请将其包含在您的建议(或者,如果您在建议到期后决定这样做,请在Ed上告诉我们):请注意如果您选择这样做,工作人员将无法为您提供帮助。
你的研究问题应该明确界定。课程工作人员将通过以下方式回应您的建议4月10日,星期三,带反馈:您必须将此反馈纳入,才能收到完整的反馈该项目值得称赞!
该提案(以及两个检查点)将在信用/无信用的基础上进行评分。3.2检查点1:EDA(定于4月18日星期五)
在4月18日星期五晚上11:59之前,您必须提交项目EDA部分的草案。如果(且仅当)您满足了上面EDA部分中的所有标准,您将在检查点。
您可以自由更改EDA部分或在检查点和之间添加(或删除)内容您的最终提交。课程工作人员不会对EDA检查点提供任何反馈。3.3检查点2:研究问题结果(定于4月25日星期五)在4月25日星期五晚上11:59之前,您必须提交至少一项研究的结果草案问题(我们建议在这个时候把两者都起草好)。如果(且仅当)解决上面相应的方法和结果部分中的所有标准,您将收到检查站的全部功劳。请注意,您不需要为此完成“讨论”部分
检查点。
您可以自由更改结果部分,或在检查点和之间添加(或删除)内容您的最终提交。课程工作人员不会对研究问题检查点提供任何反馈。3.4书面报告
您必须提交一份键入的PDF文档,其中包含“章节”中描述的每个章节指导方针你的报告除了表格外,还应该有3000到5000字的文本,附图和参考文献。所有数学方程式必须在LATEX中正确呈现,方程式编辑器或类似程序。我们不会严格执行这一限制,但报告的时间要长得多比这要受到惩罚(短得多的报告可能会遗漏重要内容
讨论
你的报告应该是一份合适的书面文件:你不能只提交打印的Jupyter笔记本(包括数据源、代码、输出等)我们强烈推荐使用背页或谷歌文档。为了您的方便,我们将在Ed。
9
如果相关,包括一个引用所有外部来源的参考页面。
你的书面报告中应包括所有的数字和表格。清楚地标记所有数字并包括信息性字幕。这些标签应用于参考书面文件中的图表
汇报有关将图像插入LATEX文件的说明,请参阅本指南。3.5 Jupyter笔记本
您必须提交一个包含项目运行的所有代码的笔记本。您的代码应该要清楚并有充分的记录。请标记代码的每一部分。
您提交的代码应能完全重现您的结果。对于所有随机过程,我们建议您设置种子状态或随机状态,以确保您的结果在您的代码将重新运行。如果您使用非标准库(换句话说,任何尚未到目前为止在课程中使用),请包括安装代码。
3.6数据集(用于外部数据集)
如果您选择使用自己的数据集,请提交文件。确保文件名和文件路径与您在Jupyter笔记本中加载数据的方式相对应。3.7团队成员评估
在项目中期和提交时,您将被要求填写一份表格
总结每个团队成员(包括你自己)对项目的贡献。
如果您在与小组成员合作时遇到问题,我们鼓励您共同努力解决他们早一点而不是晚一点!
10
4个数据集
我们强烈建议从列出的数据集中进行选择;课程工作人员已确保这些数据集足以满足项目要求。您可以而且应该补充建议
具有公开可用的二级数据集的数据(例如,美国人口普查、美国社区调查)。如果如果您使用了其他数据,请在您的文章中参考来源,并在您的ZIP文件。(见第3.6节)。
如果您选择使用外部数据集,请参阅建议的指南。请注意工作人员将无法提供建议清单以外的数据协助。
请注意,一些补充读物包括已经回答的研究问题:制作
确保你的研究问题和方法与他们不同!如果有,请联系课程工作人员你不确定这个要求。
4.1数据集1:慢性病与空气质量
数据描述:
美国疾病控制与预防中心(CDC)维持美国慢性病指标数据集,包含各州特定的慢性病流行率数据以及相关政策和条例。
美国疾病控制与预防中心还通过国家环境公共卫生局发布每日空气质量数据监测环境暴露的跟踪网络。
其中一些数据集很大:我们建议将数据细分到特定的地理位置区域和/或慢性疾病,以使数据更易于处理。请参阅“大型数据集”部分下面是一些额外的提示。
潜在方向:
1.物质调节对慢性病发作有什么影响?
2.颗粒物和臭氧水平如何影响慢性疾病的发作,如
气喘
3.空气污染和/或慢性病是否有任何地理趋势?
相关数据集:
1.美国疾病控制与预防中心:年度州一级美国慢性病指标(a) COPD过滤
(b) 哮喘过滤
(c) 心血管疾病过滤
(d) 过滤烟草
2.美国疾病控制与预防中心:每日人口普查区PM2.5浓度3.美国疾病控制与预防中心:每日人口普查区臭氧浓度补充阅读:
11
1.气候变化导致的全球变暖对公共健康的影响:对慢性病的潜在影响非传染性疾病(2009年)
2.过去的种族主义“红线”做法增加了少数民族社区的气候负担(2020)
4.2数据集2:初选背书和融资
数据描述:
FiveThirtyEight汇编了一个数据集,其中包含2022年多次初选的信息(初选决定了每个政党提名的大选候选人)。这些数据包含了每个候选人的信息,包括他们的政治倾向、支持率、,以及性别、种族和退伍军人身份。数据集还报告每次选举的结果。联邦选举委员会公布竞选资金数据,包括
每个候选人提出和花费的数据。公开数据包括捐助者姓名、捐款数额、,以及缴款日期。
潜在方向:
1.候选人收到的独特捐款数量与
他们在初选中获得的选票比例?
2.乔拜登、唐纳德特朗普或伯尼桑德斯支持哪种类型的候选人?什么候选人在不同的特殊利益群体中很受欢迎?
3.最具争议的选举有哪些特点?
相关数据集:
1.FiveThirtyEight:2018年初选候选人背书2.联邦选举委员会:2022年竞选融资数据
补充阅读:
1.政治背书的说服效应(2016)
2.金钱如何影响选举(2018)
4.3数据集3:电力和碳排放预测
数据描述:
鉴于全球变暖的速度和强度,人们非常关注电力、排放和气候是如何紧密交织在一起的。特别是美国政府(以及ElectricityMaps等公司)已经开放了他们所拥有的数据来源收集的排放量、气候/天气模式和发电量。
潜在方向:
1.我们如何根据天气/温度数据预测电力需求?我们如何利用点估计温度来估计整个州的电力需求?
2.排放、电力需求和电力生产有何关联?有什么特别的吗导致排放量激增的事件?我们可以用它来预测排放率吗?12
3.电气化(即电动汽车的采用,电力/电池供电的电器相对于化石燃料供电的电器的采用)如何影响电网的电力需求?相关数据集:
1.美国能源信息管理局:有一个API,提供每小时预测和实际美国各州/电力当局的电力需求我们鼓励您
探索各种可用的数据,但以下是通过
环评:
历史州数据显示了按州划分的发电量、消耗量和排放量,以及1960-2022年不同年份的能量类型。
发电厂EIA-923数据包含美国各地发电厂的数据,显示电力以及生成的数据。
2.EPA电子电网:包含美国发电的信息,包括电力
发电、二氧化碳排放等等。
3.美国国家海洋和大气管理局:提供天气、温度和气候的短期和长期预报和报告。对于访问历史数据的API来说,请参阅气候数据在线页面。
4.ElectricityMaps:提供各种空间的免费、开源的国际排放数据和时间粒度
补充阅读
1.今年夏天,美国三分之二的地区面临停电风险,但这并不能阻止美国人从给家里的所有东西通电
2.万物通电如何成为关键的气候解决方案
3.联合国报告显示世界远未实现气候目标
4.4有用的附加数据集
根据您的研究问题,您可能会发现将以下数据集与
上述类别之一。这些可能有用作因果推断中的混淆变量,用于分层贝叶斯建模或A/B测试的组、用于预测的功能或您的任何其他功能可能想使用它们。
人口普查和美国社区调查是人口统计数据的宝贵来源
(种族、社会经济地位、住房等)。我们提供了一个简短的教程视频解释如何使用他们的网站。
欢迎(并鼓励)在数据集中混合和匹配各个数据文件
如果它有助于回答你的研究问题。
Opportunity Insights数据库包含有关社会流动性和经济机会的数据,可能是任何分析的宝贵补充。请注意,其中一些数据集是大型:有关一些提示,请参阅下面的大型数据集部分。)美国运输统计局(隶属于美国运输部)每月公布运输利用率和支出数据。数据集包括信息13关于航空交通、公交乘客量、交通就业、建筑支出的信息,以及跨境流动。
这些只是简单的建议:欢迎您添加您发现的任何公开可用的数据集,遵循以下指南。
4.5外部数据指南
如果您选择不使用建议的三个数据集中的一个,则您的数据集必须满足以下条件指导方针
1.数据不能包含敏感和/或识别数据。如果您没有共享权限数据与课程人员,您不允许将其用于此项目。
2.数据源必须是已知的。为什么要收集数据?谁进行/资助数据收集?数据是何时测量或记录的?数据是如何收集的?3.组合数据至少应包括2个数值变量和2个分类变量(好吧,如果任何单独的来源少于这个)。
4.你的数据集应该有足够数量的观测结果。这是一个相当主观的问题措施:如果您担心数据集太小,请与工作人员核实。
4.6外部数据源
以下列出了外部数据集或补充数据的一些建议数据源
对于我们提供的一个数据集。这不是一个全面的列表,我们也不能保证数据在这些网站上发现的将符合该项目的指导方针。
1.人道主义数据交换
2.间隙管理器
3.世界银行
4.世界卫生组织
5.联合国儿童基金会
6.加州大学欧文分校机器学习库
7.谷歌数据存储库
8.AWS数据存储库
9.五三八
10.卡格尔
11.Dataverse
12.Meta的数据
13.一般社会调查
14
4.7大型数据集
在加载大型数据集时,您可能会发现使用的chunksize或nrows参数很有帮助pd.read_csv:有关更多信息,请参阅文档。此堆栈溢出答案描述如何在panda中读取大文件可能也会有所帮助。
15
5分级
期末项目的价值是你总成绩的20%。项目的每个部分都将进行加权如下所示:
1.项目建议书(5%)
2.检查点1:EDA(5%)
3.检查点2:研究问题(5%)
4.数据概述(7%)
5.EDA(10%)
6.研究问题1(25%)
7.研究问题2(25%)
8.结论(15%)
9.集团成员评估(3%;可根据个人情况进行额外调整贡献)
这些值可能会发生变化(少量)。有关更多信息,请参阅标题(链接到Ed)关于如何对每个部分进行评分的详细信息。
6分组工作
以下是在项目组中工作的一些技巧。如果您对团队有任何顾虑会员,解决问题的最好方法通常是积极、直接和周到的沟通!其中大多数都是基于课程工作人员的集体智慧和上学期的建议数据102名学生。
开始群聊,确保每个人都知道要定期查看。
考虑亲自会面,而不是在线会面:学生们告诉我们,这往往是效率更高,也更有趣。
如果您的团队是
努力完善你的研究问题。像往常一样,你可能会更加专注本周早些时候在教员办公室提供帮助。
即使你分担了工作,让所有小组成员为
集思广益,审查结果,并讨论如何最好地撰写报告。
如果你与团队成员有顾虑,请尽早沟通:不要等到
最后一分钟!早期解决问题和改进协作要比
截止日期前一晚。
在本学期剩下的时间里,所有维生素都将包含一个关于效果的简短调查你的项目正在进行中。虽然我们不会直接与您的其他人分享您的评论小组,课程工作人员将联系任何提出问题的小组,以便我们能够帮助您解决这些问题,并与团队高效合作。
WX:codinghelp

评论

暂无评论