Lecture 4: Estimation, Hypothesis Testing, and Confidence Intervals

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.3%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22pandas%3D%3D3.0.2%22%2C%20%22altair%3D%3D6.0.0%22%2C%20%22scipy%3D%3D1.17.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.1%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20app_title%3D%22Lecture%204%3A%20Estimation%2C%20Hypothesis%20Testing%2C%20and%20Confidence%20Intervals%22%2C%0A%20%20%20%20css_file%3D%22marimo-overrides.css%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20from%20scipy%20import%20stats%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20np%2C%20pd%2C%20stats%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2F%22%20target%3D%22_self%22%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%200.5em%3B%20margin%3A%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cimg%20src%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2FLMU_SquareOrig.png%22%20alt%3D%22%22%20style%3D%22height%3A%201.6em%3B%20width%3A%20auto%3B%20display%3A%20block%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cspan%3EECON%203300%20Course%20home%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fa%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-weight%3A%20700%3B%20font-size%3A%201.05em%3B%22%3ECourse%20Outline%3C%2Fdiv%3E%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec1Introduction.html%22%20target%3D%22_self%22%3EIntroduction%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec2RandomVariables.html%22%20target%3D%22_self%22%3ERandom%20Variables%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%203.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec3WorkingWithMultipleRandomVariables.html%22%20target%3D%22_self%22%3EMultiple%20Random%20Variables%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204.%20**%5BEstimation%20and%20Hypothesis%20Testing%5D(%23top)**%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BEstimators%20and%20estimates%5D(%23sec1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BBias%20and%20consistency%5D(%23sec2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BMean%20squared%20error%20and%20efficiency%5D(%23sec3)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BHypothesis%20tests%5D(%23sec4)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BP-values%20and%20the%20t-statistic%5D(%23sec5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BConfidence%20intervals%5D(%23sec6)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205.%20%3Cspan%20class%3D%22soon%22%3ESimple%20Linear%20Regression%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%206.%20%3Cspan%20class%3D%22soon%22%3EOLS%20Assumptions%20for%20Causal%20Inference%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%207.%20%3Cspan%20class%3D%22soon%22%3EInference%20and%20Omitted%20Variable%20Bias%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%208.%20%3Cspan%20class%3D%22soon%22%3EMultiple%20Regression%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%209.%20%3Cspan%20class%3D%22soon%22%3EControl%20Variables%20and%20Inference%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2010.%20%3Cspan%20class%3D%22soon%22%3EReading%20Regression%20Tables%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2011.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Polynomials%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2012.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Logarithms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2013.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Interaction%20Terms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2014.%20%3Cspan%20class%3D%22soon%22%3EInternal%20and%20External%20Validity%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2015.%20%3Cspan%20class%3D%22soon%22%3EPanel%20Data%20I%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2016.%20%3Cspan%20class%3D%22soon%22%3EPanel%20Data%20II%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2017.%20%3Cspan%20class%3D%22soon%22%3EBinary%20Dependent%20Variable%20Regressions%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2018.%20%3Cspan%20class%3D%22soon%22%3EExperiments%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2019.%20%3Cspan%20class%3D%22soon%22%3EQuasi-Experiments%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20width%3D%22350px%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec3WorkingWithMultipleRandomVariables.html%22%20target%3D%22_self%22%3E%E2%86%90%20Lecture%203%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fpdf%2FLec4EstimationHypothesisTestingAndConfidenceIntervals.pdf%22%20target%3D%22_blank%22%3EDownload%20PDF%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Cspan%20class%3D%22nav-soon%22%3ELecture%205%20(coming%20soon)%3C%2Fspan%3E')%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-between%22%2C%20align%3D%22center%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22top%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%20Lecture%204%3A%20Estimation%2C%20Hypothesis%20Testing%2C%20and%20Confidence%20Intervals%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Contents%0A%0A%20%20%20%204.1%20%5BEstimators%20and%20estimates%5D(%23sec1)%3Cbr%3E%0A%20%20%20%204.2%20%5BBias%20and%20consistency%5D(%23sec2)%3Cbr%3E%0A%20%20%20%204.3%20%5BMean%20squared%20error%20and%20efficiency%5D(%23sec3)%3Cbr%3E%0A%20%20%20%204.4%20%5BHypothesis%20tests%5D(%23sec4)%3Cbr%3E%0A%20%20%20%204.5%20%5BP-values%20and%20the%20t-statistic%5D(%23sec5)%3Cbr%3E%0A%20%20%20%204.6%20%5BConfidence%20intervals%5D(%23sec6)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec1%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.1%20Estimators%20and%20estimates%0A%0A%20%20%20%20The%20previous%20two%20lectures%20introduced%20random%20variables%20and%20their%20distributions.%20We%20now%20formally%20turn%20to%20the%20central%20task%20of%20statistical%20inference%2C%20which%20is%20using%20a%20sample%20of%20data%20to%20learn%20about%20a%20population%20we%20cannot%20fully%20observe.%0A%0A%20%20%20%20An%20*estimator*%20is%20a%20rule%20that%20turns%20a%20random%20sample%20into%20a%20guess%20about%20a%20population%20quantity%2C%20often%20called%20a%20*parameter*.%20The%20sample%20mean%20%24%5Chat%7B%5Cmu%7D_X%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20X_i%24%20is%20an%20estimator%20of%20the%20population%20mean%20%24%5Cmu_X%24%2C%20a%20parameter.%20Because%20the%20sample%20is%20drawn%20at%20random%2C%20the%20estimator%20is%20itself%20a%20random%20variable%2C%20with%20a%20distribution%2C%20an%20expected%20value%2C%20and%20a%20variance%2C%20exactly%20like%20the%20random%20variables%20from%20Lecture%202.%20The%20particular%20number%20an%20estimator%20produces%20from%20one%20specific%20sample%20is%20called%20an%20*estimate*.%20The%20estimator%20is%20the%20rule%2C%20and%20the%20estimate%20is%20the%20realized%20number%2C%20in%20the%20same%20way%20that%20a%20random%20variable%20is%20a%20rule%20and%20its%20realization%20is%20a%20single%20observed%20data%20point.%0A%0A%20%20%20%20A%20population%20quantity%2C%20or%20parameter%2C%20can%20be%20estimated%20in%20more%20than%20one%20way.%20To%20see%20this%2C%20suppose%20we%20want%20to%20estimate%20the%20expected%20value%20of%20a%20fair%20die%20roll%2C%20which%20we%20know%20is%20equal%20to%20%24%5Cleft(%5Cfrac%7B1%7D%7B6%7D%20%2B%20%5Cfrac%7B2%7D%7B6%7D%20%2B%20%5Cfrac%7B3%7D%7B6%7D%20%2B%20%5Cfrac%7B4%7D%7B6%7D%20%2B%20%5Cfrac%7B5%7D%7B6%7D%20%2B%20%5Cfrac%7B6%7D%7B6%7D%20%5Cright)%20%3D%203.5%24.%20We%20could%20use%20the%20sample%20mean%20of%20%24n%24%20rolls%2C%20or%20only%20the%20first%20value%20of%20%24n%24%20rolls%2C%20or%20the%20lowest%20value%20among%20%24n%24%20rolls.%20Each%20of%20these%20is%20a%20valid%20estimator%2C%20and%20each%20produces%20a%20different%20guess.%20Some%20estimators%20are%20clearly%20better%20than%20others%2C%20so%20we%20need%20a%20way%20to%20compare%20them.%20The%20next%20two%20sections%20give%20three%20properties%20that%20help%20us%20evaluate%20the%20quality%20of%20an%20estimator.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec2%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.2%20Bias%20and%20consistency%0A%0A%20%20%20%20The%20first%20property%20of%20an%20estimator%20concerns%20where%20it%20is%20centered%20across%20repeated%20samples%20of%20the%20same%20size.%20The%20*bias*%20of%20an%20estimator%20%24%5Chat%7B%5Ctheta%7D%24%20of%20a%20population%20quantity%20%24%5Ctheta%24%20is%20the%20difference%20between%20the%20estimator's%20expected%20value%20and%20the%20population%20quantity%20it%20is%20trying%20to%20estimate%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctext%7BBias%7D(%5Chat%7B%5Ctheta%7D)%20%3D%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20-%20%5Ctheta.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20An%20estimator%20is%20*unbiased*%20when%20this%20difference%20is%20zero%2C%20so%20that%20%24%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20%3D%20%5Ctheta%24.%20This%20does%20not%20mean%20that%20every%20estimate%20equals%20the%20true%20parameter.%20A%20single%20sample%20can%20still%20produce%20an%20estimate%20that%20is%20too%20high%20or%20too%20low.%20Unbiasedness%20means%20that%20across%20many%20independent%20samples%20of%20the%20same%20size%2C%20the%20estimates%20are%20centered%20around%20the%20true%20parameter.%0A%0A%20%20%20%20The%20sample%20mean%20is%20an%20unbiased%20estimator%20of%20the%20expected%20value%20because%20%24%5Cmathbb%7BE%7D%5B%5Chat%7B%5Cmu%7D_X%5D%20%3D%20%5Cmu_X%24%2C%20as%20we%20saw%20in%20Lecture%202.%20A%20single%20die%20roll%20is%20also%20an%20unbiased%20estimator%20of%20the%20die's%20expected%20value%2C%20%243.5%24%2C%20because%20the%20expected%20outcome%20of%20one%20roll%20is%20%243.5%24.%20The%20lowest%20of%20%24n%24%20rolls%2C%20by%20contrast%2C%20is%20biased%20downward%20because%20the%20minimum%20of%20several%20rolls%20tends%20to%20fall%20below%20%243.5%24.%0A%0A%20%20%20%20The%20second%20property%20concerns%20what%20happens%20as%20the%20sample%20size%2C%20%24n%24%2C%20grows.%20An%20estimator%20is%20*consistent*%20when%20it%20gets%20closer%20to%20the%20true%20parameter%20as%20the%20sample%20size%20increases.%20We%20write%20this%20as%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Chat%7B%5Ctheta%7D%20%5Cxrightarrow%7Bp%7D%20%5Ctheta%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20which%20reads%20as%20''%24%5Chat%7B%5Ctheta%7D%24%20converges%20in%20probability%20to%20%24%5Ctheta%24''.%20It%20means%20that%2C%20with%20enough%20data%2C%20the%20probability%20that%20the%20estimate%20sits%20far%20from%20the%20true%20parameter%20shrinks%20toward%20zero.%0A%0A%20%20%20%20The%20sample%20mean%20is%20consistent%20by%20the%20law%20of%20large%20numbers%20from%20Lecture%202%2C%20since%20%24%5Chat%7B%5Cmu%7D_X%20%5Cxrightarrow%7Bp%7D%20%5Cmu_X%24%20as%20%24n%24%20grows.%20A%20single%20die%20roll%20is%20not%20consistent%20because%20it%20does%20not%20use%20the%20additional%20data.%20Even%20as%20we%20collect%20more%20rolls%2C%20an%20estimator%20based%20only%20on%20the%20first%20roll%20does%20not%20become%20more%20accurate.%0A%0A%20%20%20%20Bias%20and%20consistency%20are%20separate%20ideas.%20A%20single%20die%20roll%20is%20an%20unbiased%20estimator%20of%20the%20die's%20expected%20value%2C%20%243.5%24%2C%20but%20it%20is%20not%20consistent.%20Conversely%2C%20the%20sample%20mean%20plus%20%241%2Fn%24%20is%20a%20biased%20estimator%20of%20%24%5Cmu_X%24%20in%20any%20finite%20sample%2C%20since%20%24%5Cmathbb%7BE%7D%5B%5Chat%7B%5Cmu%7D_X%20%2B%201%2Fn%5D%20%3D%20%5Cmu_X%20%2B%201%2Fn%20%3E%20%5Cmu_X%24%2C%20but%20it%20is%20consistent%20because%20the%20%241%2Fn%24%20term%20approaches%20zero%20as%20%24n%24%20grows.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec3%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.3%20Mean%20squared%20error%20and%20efficiency%0A%0A%20%20%20%20Bias%20and%20consistency%20each%20capture%20one%20aspect%20of%20a%20good%20estimator%2C%20but%20we%20often%20want%20a%20single%20number%20that%20measures%20how%20close%20an%20estimator%20lands%20to%20the%20true%20parameter%20value.%20The%20*mean%20squared%20error*%20averages%20the%20squared%20distance%20between%20the%20estimator%20and%20the%20true%20parameter%20value%2C%0A%0A%20%20%20%20%24%24%20%5Ctext%7BMSE%7D(%5Chat%7B%5Ctheta%7D)%20%3D%20%5Cmathbb%7BE%7D%5Cbig%5B(%5Chat%7B%5Ctheta%7D%20-%20%5Ctheta)%5E2%5Cbig%5D.%20%24%24%0A%0A%20%20%20%20An%20estimator%20with%20a%20smaller%20mean%20squared%20error%20is%20generally%20preferable%20because%20it%20tends%20to%20produce%20estimates%20closer%20to%20the%20true%20parameter.%20The%20mean%20squared%20error%20splits%20cleanly%20into%20two%20parts%2C%20the%20variance%20of%20the%20estimator%20and%20its%20bias%20squared%2C%0A%0A%20%20%20%20%24%24%20%5Ctext%7BMSE%7D(%5Chat%7B%5Ctheta%7D)%20%3D%20%5Ctext%7Bvar%7D(%5Chat%7B%5Ctheta%7D)%20%2B%20%5Ctext%7BBias%7D(%5Chat%7B%5Ctheta%7D)%5E2.%20%24%24%0A%0A%20%20%20%20The%20split%20shows%20the%20two%20ways%20an%20estimator%20can%20miss%20the%20true%20parameter.%20It%20can%20be%20off-center%2C%20which%20is%20captured%20by%20the%20bias%20term%2C%20or%20it%20can%20vary%20from%20one%20sample%20to%20the%20next%2C%20which%20is%20captured%20by%20the%20variance%20term.%20A%20good%20estimator%20keeps%20both%20of%20these%20misses%20small.%0A%0A%20%20%20%20When%20we%20compare%20two%20unbiased%20estimators%2C%20the%20bias%20term%20is%20zero%20for%20both%2C%20so%20the%20estimator%20with%20the%20smaller%20variance%20also%20has%20the%20smaller%20mean%20squared%20error.%20We%20say%20that%20an%20unbiased%20estimator%20%24%5Chat%7B%5Ctheta%7D_1%24%20is%20more%20*efficient*%20than%20another%20unbiased%20estimator%20%24%5Chat%7B%5Ctheta%7D_2%24%20when%20it%20has%20a%20smaller%20variance%2C%20%24%5Ctext%7Bvar%7D(%5Chat%7B%5Ctheta%7D_1)%20%3C%20%5Ctext%7Bvar%7D(%5Chat%7B%5Ctheta%7D_2)%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec4%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.4%20Hypothesis%20tests%0A%0A%20%20%20%20Estimation%20gives%20us%20a%20best%20guess%20about%20a%20population%20quantity.%20A%20*hypothesis%20test*%20asks%20whether%20the%20data%20provide%20enough%20evidence%20against%20a%20specific%20claim%20about%20that%20quantity.%0A%0A%20%20%20%20The%20claim%20being%20tested%20is%20called%20the%20*null%20hypothesis*%20and%20is%20written%20as%20%24H_0%24.%20The%20*alternative%20hypothesis*%2C%20written%20as%20%24H_1%24%2C%20is%20the%20competing%20claim%20about%20the%20population%20quantity.%20It%20describes%20what%20we%20would%20conclude%20instead%20if%20the%20data%20provide%20sufficiently%20strong%20evidence%20against%20the%20null%20hypothesis.%20A%20hypothesis%20test%20uses%20a%20sample%20to%20decide%20whether%20to%20reject%20%24H_0%24%20in%20favor%20of%20%24H_1%24%2C%20or%20whether%20the%20evidence%20is%20not%20strong%20enough%20to%20reject%20%24H_0%24.%0A%0A%20%20%20%20For%20example%2C%20suppose%20we%20want%20to%20test%20whether%20the%20mean%20hourly%20earnings%20of%20recent%20college%20graduates%20is%20%5C%2420.%20Let%20%24%5Cmu_X%24%20be%20the%20population%20mean%20hourly%20earnings%20of%20recent%20college%20graduates.%20The%20null%20hypothesis%20is%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H_0%3A%20%5Cmu_X%20%3D%2020.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20alternative%20hypothesis%20depends%20on%20the%20question%20we%20want%20to%20ask.%20A%20*two-sided%20alternative*%20allows%20the%20mean%20to%20be%20either%20above%20or%20below%20%5C%2420%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H_1%3A%20%5Cmu_X%20%5Cneq%2020.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20A%20*one-sided%20alternative*%20allows%20only%20one%20direction.%20For%20example%2C%20if%20we%20want%20to%20know%20whether%20mean%20hourly%20earnings%20are%20below%20%5C%2420%2C%20we%20would%20write%0A%0A%20%20%20%20%24%24%0A%20%20%20%20H_1%3A%20%5Cmu_X%20%3C%2020.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Throughout%20this%20course%2C%20however%2C%20we%20will%20focus%20on%20two-sided%20alternative%20hypotheses.%20The%20next%20section%20explains%20how%20we%20measure%20the%20strength%20of%20the%20evidence%20against%20%24H_0%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec5%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.5%20P-values%20and%20the%20t-statistic%0A%0A%20%20%20%20Suppose%20the%20null%20hypothesis%20says%20that%20the%20population%20mean%20is%20%24%5Cmu_%7BX%2C0%7D%24%2C%20and%20our%20estimator%20is%20the%20sample%20mean%2C%20%24%5Chat%7B%5Cmu%7D_X%24.%20In%20any%20particular%20sample%2C%20the%20estimate%20may%20come%20out%20above%20or%20below%20the%20null%20value%2C%20%24%5Cmu_%7BX%2C0%7D%24.%20If%20the%20estimate%20is%20far%20from%20%24%5Cmu_%7BX%2C0%7D%24%2C%20there%20are%20two%20possible%20explanations.%20The%20null%20hypothesis%20may%20be%20false%2C%20meaning%20the%20true%20population%20mean%20differs%20from%20%24%5Cmu_%7BX%2C0%7D%24%2C%20or%20the%20null%20may%20be%20true%20and%20our%20sample%20happened%20to%20produce%20an%20estimate%20far%20from%20the%20null%20value%20by%20chance.%0A%0A%20%20%20%20A%20*p-value*%20measures%20how%20surprising%20our%20estimate%20would%20be%20if%20the%20null%20hypothesis%20were%20true.%20For%20a%20two-sided%20test%2C%20it%20is%20the%20probability%2C%20computed%20assuming%20the%20null%20hypothesis%20is%20true%2C%20of%20obtaining%20an%20estimate%20at%20least%20as%20far%20from%20%24%5Cmu_%7BX%2C0%7D%24%20as%20the%20estimate%20we%20actually%20observed%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p%5Ctext%7B-value%7D%0A%20%20%20%20%3D%0A%20%20%20%20%5Cmathbb%7BP%7D_%7BH_0%7D%0A%20%20%20%20%5Cleft(%0A%20%20%20%20%5Cleft%7C%20%5Chat%7B%5Cmu%7D_X%20-%20%5Cmu_%7BX%2C0%7D%20%5Cright%7C%0A%20%20%20%20%5Cgeq%0A%20%20%20%20%5Cleft%7C%20%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%20-%20%5Cmu_%7BX%2C0%7D%20%5Cright%7C%0A%20%20%20%20%5Cright).%0A%20%20%20%20%24%24%0A%0A%20%20%20%20In%20the%20expression%20above%2C%20%24%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%24%20is%20the%20estimate%20computed%20from%20the%20actual%20sample.%3Csup%3E%3Ca%20id%3D%22fnref1%22%20href%3D%22%23fn1%22%3E1%3C%2Fa%3E%3C%2Fsup%3E%20A%20small%20p-value%20means%20that%20estimates%20this%20far%20from%20the%20null%20value%20would%20be%20unlikely%20if%20the%20null%20were%20true%2C%20so%20small%20p-values%20count%20as%20evidence%20against%20the%20null%20hypothesis.%20To%20compute%20the%20p-value%2C%20we%20first%20convert%20the%20gap%20between%20the%20estimate%20and%20the%20null%20value%20into%20a%20*test%20statistic*%2C%20a%20number%20that%20measures%20how%20far%20the%20data%20are%20from%20what%20the%20null%20predicts.%20The%20*t-statistic*%20is%20one%20such%20test%20statistic.%20It%20divides%20the%20gap%20between%20the%20estimate%20and%20the%20null%20value%20by%20the%20estimator's%20standard%20error%2C%20so%20the%20gap%20is%20measured%20in%20standard-error%20units%3A%0A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20t%0A%20%20%20%20%3D%0A%20%20%20%20%5Cfrac%7B%5Chat%7B%5Cmu%7D_X%20-%20%5Cmu_%7BX%2C0%7D%7D%7B%5Ctext%7Bse%7D(%5Chat%7B%5Cmu%7D_X)%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20standard%20error%20measures%20how%20much%20the%20estimator%20%24%5Chat%7B%5Cmu%7D_X%24%20varies%20across%20repeated%20samples.%3Csup%3E%3Ca%20id%3D%22fnref2%22%20href%3D%22%23fn2%22%3E2%3C%2Fa%3E%3C%2Fsup%3E%20Recall%20from%20Lecture%202%20that%2C%20by%20the%20central%20limit%20theorem%2C%20the%20sample%20mean%20is%20normally%20distributed.%20When%20the%20null%20hypothesis%20is%20true%20and%20%24n%24%20is%20large%2C%20the%20central%20limit%20theorem%20therefore%20also%20tells%20us%20that%20the%20t-statistic%20is%20approximately%20standard%20normal%2C%20%24t%20%5Csim%20%5Cmathcal%7BN%7D(0%2C1)%24.%0A%0A%20%20%20%20The%20two-sided%20p-value%20is%20therefore%20the%20probability%20that%20a%20standard%20normal%20random%20variable%20lands%20at%20least%20%24%7Ct%5E%7B%5Ctext%7Best%7D%7D%7C%24%20distance%20away%20from%20zero%20in%20either%20direction%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p%20%3D%202%5CPhi(-%7Ct%5E%7B%5Ctext%7Best%7D%7D%7C)%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20where%20%24%5CPhi%24%20is%20the%20cumulative%20distribution%20function%20of%20the%20standard%20normal%20distribution%20and%20%24t%5E%7B%5Ctext%7Best%7D%7D%24%20is%20the%20t-statistic%20evaluated%20at%20the%20estimate%20%24%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%24.%0A%0A%20%20%20%20We%20reject%20the%20null%20hypothesis%20when%20the%20p-value%20falls%20below%20a%20chosen%20*significance%20level*%20%24%5Calpha%24%2C%20where%20we%20choose%20%24%5Calpha%24%20before%20conducting%20the%20hypothesis%20test.%20The%20most%20common%20choice%20is%20%24%5Calpha%20%3D%200.05%24%2C%20so%20we%20reject%20%24H_0%24%20when%20the%20p-value%20is%20less%20than%20%240.05%24.%0A%0A%20%20%20%20%23%23%23%20%3Cspan%20style%3D%22color%3A%230b68cb%22%3EHypothesis%20testing%20example%3C%2Fspan%3E%0A%0A%20%20%20%20Recall%20the%20earnings%20example%20from%20Section%204.4%20and%20suppose%20a%20large%20sample%20gives%20an%20estimate%20for%20the%20mean%20wage%20of%20%24%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%20%3D%2022%24%2C%20with%20a%20standard%20error%20of%20%241%24.%20Let%20the%20null%20hypothesis%20be%20%24H_0%3A%20%5Cmu_X%20%3D%2020%24%2C%20so%20the%20t-statistic%20is%20%24t%5E%7B%5Ctext%7Best%7D%7D%20%3D%20%5Cfrac%7B22%20-%2020%7D%7B1%7D%20%3D%202.0.%24%20The%20corresponding%20two-sided%20p-value%20is%20then%20%24p%20%3D%202%5CPhi(-2.0)%20%5Capprox%200.046.%24%20We%20therefore%20reject%20the%20null%20hypothesis%20that%20mean%20hourly%20earnings%20equal%20%5C%2420%20when%20%24%5Calpha%20%3D%200.05%24%20because%20%240.046%20%3C%200.05%24.%0A%0A%20%20%20%20Now%20explore%20hypothesis%20testing%20interactively.%20The%20plot%20below%20shows%20how%20the%20two-sided%20p-value%20for%20this%20example%20changes%20with%20the%20estimate%2C%20%24%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%24%2C%20standard%20error%2C%20%24%5Ctext%7Bse%7D(%5Chat%7B%5Cmu%7D_X)%24%2C%20and%20chosen%20significance%20level%2C%20%24%5Calpha%24%2C%20when%20testing%20the%20null%20that%20the%20mean%20wage%20equals%20%5C%2420.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20pv_est%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20value%3D22.0%2C%20start%3D0.0%2C%20stop%3D100.0%2C%20step%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%24%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20pv_se%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20value%3D1.0%2C%20start%3D-10.0%2C%20stop%3D50.0%2C%20step%3D0.25%2C%0A%20%20%20%20%20%20%20%20label%3Dr%22%24%5Ctext%7Bse%7D(%5Chat%7B%5Cmu%7D_X)%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20pv_alpha%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%220.10%22%3A%200.10%2C%20%220.05%22%3A%200.05%2C%20%220.01%22%3A%200.01%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%220.05%22%2C%20label%3Dr%22%24%5Calpha%24%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(r%22Null%20hypothesis%20%24H_0%3A%5C%20%5Cmu_X%20%3D%2020%24.%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bpv_est%2C%20pv_se%2C%20pv_alpha%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20pv_alpha%2C%20pv_est%2C%20pv_se%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20mo%2C%20np%2C%20pd%2C%20pv_alpha%2C%20pv_est%2C%20pv_se%2C%20stats)%3A%0A%20%20%20%20_MU0%20%3D%2020.0%0A%20%20%20%20_est%20%3D%20float(pv_est.value)%0A%20%20%20%20_se%20%3D%20float(pv_se.value)%0A%20%20%20%20_alpha%20%3D%20float(pv_alpha.value)%0A%20%20%20%20_zcrit%20%3D%20float(stats.norm.ppf(1.0%20-%20_alpha%20%2F%202.0))%0A%0A%20%20%20%20_x%20%3D%20np.linspace(-4.0%2C%204.0%2C%20401)%0A%20%20%20%20_frame%20%3D%20pd.DataFrame(%7B%22x%22%3A%20_x%2C%20%22pdf%22%3A%20stats.norm.pdf(_x)%7D)%0A%0A%20%20%20%20_valid%20%3D%20_se%20%3E%200.0%0A%20%20%20%20if%20_valid%3A%0A%20%20%20%20%20%20%20%20_t%20%3D%20(_est%20-%20_MU0)%20%2F%20_se%0A%20%20%20%20%20%20%20%20_p%20%3D%202.0%20*%20float(stats.norm.cdf(-abs(_t)))%0A%20%20%20%20%20%20%20%20_reject%20%3D%20_p%20%3C%20_alpha%0A%20%20%20%20%20%20%20%20_visible%20%3D%20abs(_t)%20%3C%204.0%0A%20%20%20%20%20%20%20%20_edge%20%3D%20min(abs(_t)%2C%204.0)%0A%20%20%20%20%20%20%20%20_tcolor%20%3D%20%22orange%22%20if%20_reject%20else%20%22%231f4e79%22%0A%0A%20%20%20%20%23%20The%20curve%2C%20drawn%20as%20a%20line%20only%20(no%20full-area%20fill)%2C%20so%20the%20shaded%0A%20%20%20%20%23%20region%20equals%20the%20p-value%20and%20nothing%20else.%0A%20%20%20%20_line%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_frame)%0A%20%20%20%20%20%20%20%20.mark_line(color%3D%22%231f4e79%22%2C%20size%3D1.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22x%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22t-statistic%20assuming%20the%20null%20is%20true%20(standard%20normal%20distribution)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B-4.0%2C%204.0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pdf%3AQ%22%2C%20title%3D%22Density%22%2C%20scale%3Dalt.Scale(domain%3D%5B0.0%2C%200.42%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20%23%20Faint%20dashed%20cutoffs%20at%20the%20critical%20values%20for%20the%20chosen%20alpha.%0A%20%20%20%20_cutoffs%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B_zcrit%2C%20-_zcrit%5D%7D))%0A%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%239ca3af%22%2C%20strokeDash%3D%5B4%2C%203%5D%2C%20size%3D1.5)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22)%0A%20%20%20%20)%0A%20%20%20%20%23%20The%20null%20value%20sits%20at%20t%20%3D%200.%0A%20%20%20%20_nullrule%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B0.0%5D%7D))%0A%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%23d1d5db%22%2C%20size%3D1)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_layers%20%3D%20%5B%5D%0A%20%20%20%20if%20_valid%3A%0A%20%20%20%20%20%20%20%20_ltail%20%3D%20pd.DataFrame(%7B%22x%22%3A%20np.linspace(-4.0%2C%20-_edge%2C%20120)%7D)%0A%20%20%20%20%20%20%20%20_ltail%5B%22pdf%22%5D%20%3D%20stats.norm.pdf(_ltail%5B%22x%22%5D)%0A%20%20%20%20%20%20%20%20_rtail%20%3D%20pd.DataFrame(%7B%22x%22%3A%20np.linspace(_edge%2C%204.0%2C%20120)%7D)%0A%20%20%20%20%20%20%20%20_rtail%5B%22pdf%22%5D%20%3D%20stats.norm.pdf(_rtail%5B%22x%22%5D)%0A%20%20%20%20%20%20%20%20_shade_l%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_ltail)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_area(color%3D_tcolor%2C%20opacity%3D0.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22%2C%20y%3D%22pdf%3AQ%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_shade_r%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(_rtail)%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_area(color%3D_tcolor%2C%20opacity%3D0.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22%2C%20y%3D%22pdf%3AQ%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_estrules%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5B_edge%2C%20-_edge%5D%7D))%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_rule(color%3D_tcolor%2C%20size%3D2)%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_layers%20%3D%20%5B_shade_l%2C%20_shade_r%2C%20_line%2C%20_nullrule%2C%20_cutoffs%2C%20_estrules%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_layers%20%3D%20%5B_line%2C%20_nullrule%2C%20_cutoffs%5D%0A%0A%20%20%20%20_chart%20%3D%20alt.layer(*_layers).properties(%0A%20%20%20%20%20%20%20%20width%3D560%2C%20height%3D300%2C%20title%3D%22The%20p-value%20is%20the%20shaded%20tail%20area%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Stateful%20caption%3A%20warning%2C%20full%20computation%2C%20or%20%22too%20small%20to%20see%22.%0A%20%20%20%20if%20not%20_valid%3A%0A%20%20%20%20%20%20%20%20_color%20%3D%20%22%23b91c1c%22%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20standard%20error%20must%20be%20positive.%20Enter%20a%20value%20greater%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%220%20to%20compute%20the%20t-statistic.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20if%20_p%20%3C%200.001%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_mant%2C%20_exp%20%3D%20f%22%7B_p%3A.1e%7D%22.split(%22e%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_pstr%20%3D%20rf%22%7B_mant%7D%5Ctimes10%5E%7B%7B%7Bint(_exp)%7D%7D%7D%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_pstr%20%3D%20f%22%7B_p%3A.3f%7D%22%0A%20%20%20%20%20%20%20%20_formula%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%24t%20%3D%20%5Cdfrac%7B%7B%5Chat%7B%7B%5Cmu%7D%7D_X%5E%7B%7B%5Ctext%7B%7Best%7D%7D%7D%7D%20-%20%5Cmu_%7B%7BX%2C0%7D%7D%7D%7D%7B%7B%5Ctext%7B%7Bse%7D%7D(%5Chat%7B%7B%5Cmu%7D%7D_X)%7D%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rf%22%3D%20%5Cdfrac%7B%7B%7B_est%3Ag%7D%20-%20%7B_MU0%3Ag%7D%7D%7D%7B%7B%7B_se%3Ag%7D%7D%7D%20%3D%20%7B_t%3A.2f%7D%24%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_color%20%3D%20%22%236b7280%22%0A%20%20%20%20%20%20%20%20if%20_visible%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_dec%20%3D%20%22rejects%22%20if%20_reject%20else%20%22does%20not%20reject%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_cmp%20%3D%20%22%3C%22%20if%20_reject%20else%20r%22%5Cgeq%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_formula%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20rf%22%2C%20so%20%24p%20%3D%202%5CPhi(-%7C%7B_t%3A.2f%7D%7C)%20%3D%20%7B_pstr%7D%24.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20rf%22At%20%24%5Calpha%20%3D%20%7B_alpha%3Ag%7D%24%2C%20since%20%24p%20%7B_cmp%7D%20%5Calpha%24%2C%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20rf%22test%20%7B_dec%7D%20the%20null%20hypothesis%20%24H_0%3A%20%5Cmu_X%20%3D%2020%24.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_formula%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20rf%22%2C%20giving%20%24p%20%5Capprox%20%7B_pstr%7D%24.%20This%20t-statistic%20is%20too%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20r%22far%20into%20the%20tail%20to%20show%20on%20the%20plot.%20Increase%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20r%22standard%20error%20or%20choose%20an%20estimate%20closer%20to%20the%20null%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20r%22(%5C%2420)%20to%20see%20the%20shaded%20area.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20_caption%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20'%3Cspan%20style%3D%22display%3Ablock%3Bmargin%3A0.2rem%20auto%201rem%3Bmax-width%3A560px%3B'%0A%20%20%20%20%20%20%20%20f%22font-size%3A0.85rem%3Bline-height%3A1.45%3Bcolor%3A%7B_color%7D%3Btext-align%3Acenter%3B%5C%22%3E%22%0A%20%20%20%20%20%20%20%20%2B%20_body%0A%20%20%20%20%20%20%20%20%2B%20%22%3C%2Fspan%3E%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_chart%2C%20_caption%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec6%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%204.6%20Confidence%20intervals%0A%0A%20%20%20%20A%20hypothesis%20test%20starts%20with%20a%20claim%20and%20asks%20whether%20the%20data%20provide%20enough%20evidence%20to%20reject%20it.%20By%20contrast%2C%20a%20*confidence%20interval*%20starts%20with%20the%20estimate%20and%20asks%20which%20values%20of%20the%20population%20mean%20remain%20plausible%20given%20uncertainty%20in%20the%20estimate.%0A%0A%20%20%20%20Suppose%20our%20estimator%20is%20the%20sample%20mean%2C%20%24%5Chat%7B%5Cmu%7D_X%24.%20The%20estimate%20from%20one%20sample%20will%20usually%20not%20equal%20the%20true%20mean%20exactly.%20A%20confidence%20interval%20builds%20a%20range%20around%20%24%5Chat%7B%5Cmu%7D_X%24%20that%20accounts%20for%20this%20sampling%20uncertainty.%20For%20a%20large%20sample%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctext%7BCI%20for%20%7D%20%5Cmu_X%20%3D%20%5Chat%7B%5Cmu%7D_X%20%5Cpm%20c%20%5Ccdot%20%5Ctext%7Bse%7D(%5Chat%7B%5Cmu%7D_X).%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20standard%20error%20measures%20how%20much%20%24%5Chat%7B%5Cmu%7D_X%24%20varies%20across%20repeated%20samples.%20A%20larger%20standard%20error%20makes%20the%20interval%20wider%2C%20while%20a%20larger%20sample%20usually%20makes%20it%20narrower.%20The%20*critical%20value*%20%24c%24%20determines%20how%20many%20standard%20errors%20we%20add%20on%20each%20side.%20Common%20choices%20for%20the%20critical%20value%20are%20%241.64%24%20for%20a%2090%25%20interval%2C%20%241.96%24%20for%20a%2095%25%20interval%2C%20and%20%242.58%24%20for%20a%2099%25%20interval.%0A%0A%20%20%20%20A%2095%25%20confidence%20interval%20does%20not%20mean%20there%20is%20a%2095%25%20probability%20that%20a%20particular%20interval%20contains%20the%20true%20mean.%20It%20means%20that%20if%20we%20repeatedly%20drew%20samples%20and%20built%20an%20interval%20the%20same%20way%20each%20time%2C%20about%2095%25%20of%20those%20intervals%20would%20contain%20the%20true%20mean.%0A%0A%20%20%20%20The%20plot%20below%20illustrates%20this%20repeated-samples%20idea.%20It%20draws%20one%20hundred%20samples%20from%20a%20population%20with%20true%20mean%20%5C%2420%2C%20builds%20a%20confidence%20interval%20from%20each%20sample%2C%20and%20marks%20the%20true%20mean%20with%20a%20dashed%20line.%20Intervals%20that%20miss%20the%20true%20mean%20are%20highlighted%20yellow.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20ci_level%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%2290%25%22%2C%20%2295%25%22%2C%20%2299%25%22%5D%2C%20value%3D%2295%25%22%2C%20label%3D%22Confidence%20level%22%2C%0A%20%20%20%20)%0A%20%20%20%20ci_n%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D5%2C%20stop%3D200%2C%20step%3D5%2C%20value%3D30%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%20n%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20ci_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Draw%20new%20samples%22%2C%20value%3D0%2C%20on_click%3Dlambda%20c%3A%20c%20%2B%201%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bci_level%2C%20ci_n%2C%20ci_button%5D)%0A%20%20%20%20return%20ci_button%2C%20ci_level%2C%20ci_n%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alt%2C%20ci_button%2C%20ci_level%2C%20ci_n%2C%20mo%2C%20np%2C%20pd)%3A%0A%20%20%20%20_K%20%3D%20100%0A%20%20%20%20_NMAX%20%3D%20200%0A%20%20%20%20_mu%20%3D%2020.0%0A%20%20%20%20_sigma%20%3D%206.0%0A%20%20%20%20_zmap%20%3D%20%7B%2290%25%22%3A%201.645%2C%20%2295%25%22%3A%201.960%2C%20%2299%25%22%3A%202.576%7D%0A%20%20%20%20_z%20%3D%20_zmap%5Bci_level.value%5D%0A%20%20%20%20_n%20%3D%20int(ci_n.value)%0A%0A%20%20%20%20%23%20Hold%20the%20x-axis%20fixed%20at%20the%20n%20%3D%205%20scale%20(the%20widest%20the%20intervals%20ever%0A%20%20%20%20%23%20get)%20so%20that%20raising%20the%20sample%20size%20visibly%20shrinks%20the%20intervals%0A%20%20%20%20%23%20instead%20of%20the%20axis%20rescaling%20to%20fit%20them.%0A%20%20%20%20_se5%20%3D%20_sigma%20%2F%20np.sqrt(5)%0A%20%20%20%20_xhalf%20%3D%20(3.5%20%2B%20_z)%20*%20_se5%0A%20%20%20%20_xdom%20%3D%20%5B_mu%20-%20_xhalf%2C%20_mu%20%2B%20_xhalf%5D%0A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(7%20%2B%20ci_button.value)%0A%20%20%20%20_pool%20%3D%20_rng.normal(_mu%2C%20_sigma%2C%20(_K%2C%20_NMAX))%0A%20%20%20%20_means%20%3D%20_pool%5B%3A%2C%20%3A_n%5D.mean(axis%3D1)%0A%20%20%20%20_se%20%3D%20_sigma%20%2F%20np.sqrt(_n)%0A%20%20%20%20_half%20%3D%20_z%20*%20_se%0A%20%20%20%20_lo%20%3D%20_means%20-%20_half%0A%20%20%20%20_hi%20%3D%20_means%20%2B%20_half%0A%20%20%20%20_contains%20%3D%20(_lo%20%3C%3D%20_mu)%20%26%20(_hi%20%3E%3D%20_mu)%0A%20%20%20%20_frame%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22idx%22%3A%20np.arange(_K)%2C%0A%20%20%20%20%20%20%20%20%22lo%22%3A%20_lo%2C%0A%20%20%20%20%20%20%20%20%22hi%22%3A%20_hi%2C%0A%20%20%20%20%20%20%20%20%22mean%22%3A%20_means%2C%0A%20%20%20%20%20%20%20%20%22status%22%3A%20np.where(_contains%2C%20%22contains%20the%20true%20mean%22%2C%20%22misses%20the%20true%20mean%22)%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20_intervals%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_frame)%0A%20%20%20%20%20%20%20%20.mark_rule(size%3D1.5%2C%20clip%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22lo%3AQ%22%2C%20title%3D%22Hourly%20earnings%20(USD)%22%2C%20scale%3Dalt.Scale(domain%3D_xdom%2C%20nice%3DFalse))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x2%3D%22hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22idx%3AQ%22%2C%20axis%3DNone%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22status%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22contains%20the%20true%20mean%22%2C%20%22misses%20the%20true%20mean%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%231f4e79%22%2C%20%22orange%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3DNone%2C%20orient%3D%22top%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_truth%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22mu%22%3A%20%5B_mu%5D%7D))%0A%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%236b7280%22%2C%20strokeDash%3D%5B4%2C%203%5D%2C%20size%3D2)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22mu%3AQ%22)%0A%20%20%20%20)%0A%20%20%20%20_chart%20%3D%20(_intervals%20%2B%20_truth).properties(%0A%20%20%20%20%20%20%20%20width%3D560%2C%20height%3D360%2C%20title%3Df%22%7B_K%7D%20sample%20confidence%20intervals%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_k%20%3D%20int(_contains.sum())%0A%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20rf%22%7B_k%7D%20of%20%7B_K%7D%20intervals%20contain%20the%20true%20mean%20of%20%5C%2420%2C%20which%20is%20%22%0A%20%20%20%20%20%20%20%20rf%22%7B100%20*%20_k%20%2F%20_K%3A.0f%7D%25%20coverage%2C%20close%20to%20the%20%7Bci_level.value%7D%20%22%0A%20%20%20%20%20%20%20%20rf%22confidence%20level.%20Press%20Draw%20new%20samples%20to%20see%20a%20fresh%20set.%22%0A%20%20%20%20)%0A%20%20%20%20_caption%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20'%3Cspan%20style%3D%22display%3Ablock%3Bmargin%3A0.2rem%20auto%201rem%3Bmax-width%3A560px%3B'%0A%20%20%20%20%20%20%20%20'font-size%3A0.85rem%3Bline-height%3A1.45%3Bcolor%3A%236b7280%3Btext-align%3Acenter%3B%22%3E'%0A%20%20%20%20%20%20%20%20%2B%20_body%0A%20%20%20%20%20%20%20%20%2B%20%22%3C%2Fspan%3E%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_chart%2C%20_caption%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Terms%3A**%20estimator%2C%20estimate%2C%20parameter%2C%20bias%2C%20unbiased%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22consistency%2C%20mean%20squared%20error%2C%20efficiency%2C%20hypothesis%20test%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22null%20hypothesis%2C%20alternative%20hypothesis%2C%20two-sided%20alternative%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one-sided%20alternative%2C%20p-value%2C%20test%20statistic%2C%20t-statistic%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standard%20error%2C%20significance%20level%2C%20confidence%20interval%2C%20critical%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22value.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Concepts%3A**%20an%20estimator%20is%20a%20random%20variable%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22bias-variance%20decomposition%2C%20the%20t-statistic%20is%20approximately%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22standard%20normal%20under%20the%20null%20by%20the%20central%20limit%20theorem%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22interpretation%20of%20a%20confidence%20interval.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20title%3D%22Key%20terms%20and%20concepts%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20tbl_t%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20start%3D-5.0%2C%20stop%3D5.0%2C%20step%3D0.01%2C%20value%3D2.01%2C%20label%3D%22t%20value%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(tbl_t%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20stats%2C%20tbl_t)%3A%0A%20%20%20%20_t%20%3D%20float(tbl_t.value)%0A%20%20%20%20_phi%20%3D%20float(stats.norm.cdf(-abs(_t)))%0A%20%20%20%20_p%20%3D%202.0%20*%20_phi%0A%20%20%20%20_readout%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22For%20%24t%20%3D%20%7B_t%3A.2f%7D%24%2C%20the%20table%20gives%20%24%5CPhi(-%7Ct%7C)%20%3D%20%7B_phi%3A.4f%7D%24%2C%20so%20%22%0A%20%20%20%20%20%20%20%20rf%22the%20two-sided%20p-value%20is%20%24p%20%3D%202%20%5Ctimes%20%7B_phi%3A.4f%7D%20%3D%20%7B_p%3A.4f%7D%24.%22%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20One%20paragraph%20per%20vstack%20item%20so%20the%20accordion%20spacing%20follows%20the%0A%20%20%20%20%23%20same%20uniform%20gap%20used%20in%20Lectures%202%20and%203.%0A%20%20%20%20_p1%20%3D%20mo.md(r%22%22%22**Looking%20up%20a%20p-value%20in%20a%20standard%20normal%20table.**%20Before%20statistical%20software%20was%20common%2C%20p-values%20were%20read%20from%20a%20printed%20table%20of%20the%20standard%20normal%20cumulative%20distribution%20function%20%24%5CPhi%24.%20The%20table%20gives%20%24%5CPhi(z)%24%2C%20the%20probability%20that%20a%20standard%20normal%20random%20variable%20falls%20below%20%24z%24.%20To%20find%20a%20two-sided%20p-value%20from%20a%20t-statistic%2C%20compute%20%24p%20%3D%202%5C%2C%5CPhi(-%7Ct%5E%7B%5Ctext%7Best%7D%7D%7C)%24%2C%20which%20needs%20the%20single%20table%20value%20%24%5CPhi(-%7Ct%5E%7B%5Ctext%7Best%7D%7D%7C)%24.%22%22%22)%0A%20%20%20%20_p2%20%3D%20mo.md(r%22%22%22For%20example%2C%20take%20%24t%5E%7B%5Ctext%7Best%7D%7D%20%3D%202.01%24.%20In%20the%20table%20below%2C%20find%20the%20row%20for%20%24-2.0%24%20and%20the%20column%20for%20the%20second%20decimal%20%240.01%24%2C%20which%20gives%20%24%5CPhi(-2.01)%20%5Capprox%200.0222%24.%20The%20two-sided%20p-value%20is%20%24p%20%3D%202%20%5Ctimes%200.0222%20%3D%200.0444%24.%20The%20tool%20underneath%20the%20table%20does%20this%20lookup%20for%20any%20t%20value.%20You%20may%20use%20it%20to%20check%20your%20work%2C%20but%20you%20are%20expected%20to%20read%20p-values%20from%20the%20table%20by%20hand%2C%20because%20you%20will%20use%20the%20table%2C%20not%20software%2C%20during%20tests%20and%20exams.%22%22%22)%0A%20%20%20%20_table_img%20%3D%20mo.md(r%22%22%22%3Cimg%20src%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Flec4%2Fstandard_normal_table.png%22%20alt%3D%22A%20standard%20normal%20table%20giving%20the%20cumulative%20probability%20for%20negative%20z%20values%22%20style%3D%22max-width%3A100%25%3Bborder%3A1px%20solid%20%23cbd2d9%3Bborder-radius%3A6px%3B%22%3E%22%22%22)%0A%0A%20%20%20%20_p3%20%3D%20mo.md(r%22%22%22**The%20bias-variance%20decomposition.**%20This%20derivation%20is%20bonus%20material.%20You%20will%20not%20be%20tested%20on%20it.%20Section%204.3%20split%20the%20mean%20squared%20error%20into%20a%20variance%20term%20and%20a%20squared%20bias%20term.%20Here%20is%20why.%20Start%20from%20the%20definition%20and%20add%20and%20subtract%20the%20expected%20value%20of%20the%20estimator%20inside%20the%20square.%22%22%22)%0A%20%20%20%20_eq1%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Ctext%7BMSE%7D(%5Chat%7B%5Ctheta%7D)%20%3D%20%5Cmathbb%7BE%7D%5Cbig%5B(%5Chat%7B%5Ctheta%7D%20-%20%5Ctheta)%5E2%5Cbig%5D%20%3D%20%5Cmathbb%7BE%7D%5Cbig%5B(%5Chat%7B%5Ctheta%7D%20-%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20%2B%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20-%20%5Ctheta)%5E2%5Cbig%5D.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p4%20%3D%20mo.md(r%22%22%22Expanding%20the%20square%20gives%20three%20terms%2C%22%22%22)%0A%20%20%20%20_eq2%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Cmathbb%7BE%7D%5Cbig%5B(%5Chat%7B%5Ctheta%7D%20-%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D)%5E2%5Cbig%5D%20%2B%202%5Cbig(%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20-%20%5Ctheta%5Cbig)%5C%2C%5Cmathbb%7BE%7D%5Cbig%5B%5Chat%7B%5Ctheta%7D%20-%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%5Cbig%5D%20%2B%20%5Cbig(%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20-%20%5Ctheta%5Cbig)%5E2.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p5%20%3D%20mo.md(r%22%22%22The%20middle%20term%20is%20zero%2C%20because%20%24%5Cmathbb%7BE%7D%5Cbig%5B%5Chat%7B%5Ctheta%7D%20-%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%5Cbig%5D%20%3D%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20-%20%5Cmathbb%7BE%7D%5B%5Chat%7B%5Ctheta%7D%5D%20%3D%200%24.%20The%20first%20term%20is%20the%20variance%20of%20%24%5Chat%7B%5Ctheta%7D%24%20and%20the%20last%20term%20is%20its%20squared%20bias%2C%20which%20leaves%22%22%22)%0A%20%20%20%20_eq3%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Ctext%7BMSE%7D(%5Chat%7B%5Ctheta%7D)%20%3D%20%5Ctext%7Bvar%7D(%5Chat%7B%5Ctheta%7D)%20%2B%20%5Ctext%7BBias%7D(%5Chat%7B%5Ctheta%7D)%5E2.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22%23%23%20Appendix%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_p1%2C%20_p2%2C%20_table_img%2C%20tbl_t%2C%20_readout%2C%20_p3%2C%20_eq1%2C%20_p4%2C%20_eq2%2C%20_p5%2C%20_eq3%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Cspan%20id%3D%22fn1%22%20style%3D%22display%3Ablock%3Bfont-size%3A0.9rem%3B%22%3E**1.**%20Recall%20from%20algebra%20that%20the%20vertical%20bars%20denote%20*absolute%20value*%2C%20which%20measures%20distance%20from%20zero.%20For%20example%2C%20%24%7C3%7C%3D3%24%20and%20%24%7C-3%7C%3D3%24.%20Here%2C%20%24%5Cleft%7C%20%5Chat%7B%5Cmu%7D_X%5E%7B%5Ctext%7Best%7D%7D%20-%20%5Cmu_%7BX%2C0%7D%20%5Cright%7C%24%20is%20the%20distance%20between%20the%20estimate%20and%20the%20null%20value%2C%20ignoring%20whether%20the%20estimate%20is%20above%20or%20below%20the%20null.%20A%20two-sided%20test%20uses%20absolute%20values%20because%20evidence%20against%20the%20null%20can%20come%20from%20either%20direction.%20%3Ca%20href%3D%22%23fnref1%22%20title%3D%22Back%20to%20text%22%3E%26%238617%3B%3C%2Fa%3E%3C%2Fspan%3E%0A%0A%20%20%20%20%3Cspan%20id%3D%22fn2%22%20style%3D%22display%3Ablock%3Bfont-size%3A0.9rem%3B%22%3E**2.**%20Recall%20from%20Lecture%202%20that%20the%20estimated%20standard%20error%20of%20the%20sample%20mean%20is%20%24%5Ctext%7Bse%7D(%5Chat%7B%5Cmu%7D_X)%20%3D%20%5Chat%7B%5Csigma%7D_X%20%2F%20%5Csqrt%7Bn%7D%24.%20%3Ca%20href%3D%22%23fnref2%22%20title%3D%22Back%20to%20text%22%3E%26%238617%3B%3C%2Fa%3E%3C%2Fspan%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec3WorkingWithMultipleRandomVariables.html%22%20target%3D%22_self%22%3E%E2%86%90%20Lecture%203%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Cspan%20class%3D%22nav-soon%22%3ELecture%205%20(coming%20soon)%3C%2Fspan%3E')%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-between%22%2C%20align%3D%22center%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A