Lecture 3: Working With Multiple Random Variables

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.3%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22pandas%3D%3D3.0.2%22%2C%20%22altair%3D%3D6.0.0%22%2C%20%22scipy%3D%3D1.17.1%22%2C%20%22anywidget%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.1%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20app_title%3D%22Lecture%203%3A%20Working%20With%20Multiple%20Random%20Variables%22%2C%0A%20%20%20%20css_file%3D%22marimo-overrides.css%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20from%20scipy%20import%20stats%0A%20%20%20%20import%20anywidget%0A%0A%20%20%20%20return%20anywidget%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.sidebar(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2F%22%20target%3D%22_self%22%20style%3D%22display%3A%20flex%3B%20align-items%3A%20center%3B%20gap%3A%200.5em%3B%20margin%3A%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cimg%20src%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2FLMU_SquareOrig.png%22%20alt%3D%22%22%20style%3D%22height%3A%201.6em%3B%20width%3A%20auto%3B%20display%3A%20block%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cspan%3EECON%203300%20Course%20home%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fa%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-weight%3A%20700%3B%20font-size%3A%201.05em%3B%22%3ECourse%20Outline%3C%2Fdiv%3E%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec1Introduction.html%22%20target%3D%22_self%22%3EIntroduction%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%202.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec2RandomVariables.html%22%20target%3D%22_self%22%3ERandom%20Variables%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%203.%20**%5BMultiple%20Random%20Variables%5D(%23top)**%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BJoint%2C%20marginal%2C%20and%20conditional%20distributions%5D(%23sec1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BCovariance%20and%20correlation%5D(%23sec2)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BIndependence%5D(%23sec3)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BIndependent%20and%20identically%20distributed%5D(%23sec4)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%201.%20%5BMeans%20and%20variances%20of%20sums%5D(%23sec5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%204.%20%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec4EstimationHypothesisTestingAndConfidenceIntervals.html%22%20target%3D%22_self%22%3EEstimation%20and%20Hypothesis%20Testing%3C%2Fa%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%205.%20%3Cspan%20class%3D%22soon%22%3ESimple%20Linear%20Regression%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%206.%20%3Cspan%20class%3D%22soon%22%3EOLS%20Assumptions%20for%20Causal%20Inference%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%207.%20%3Cspan%20class%3D%22soon%22%3EInference%20and%20Omitted%20Variable%20Bias%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%208.%20%3Cspan%20class%3D%22soon%22%3EMultiple%20Regression%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%209.%20%3Cspan%20class%3D%22soon%22%3EControl%20Variables%20and%20Inference%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2010.%20%3Cspan%20class%3D%22soon%22%3EReading%20Regression%20Tables%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2011.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Polynomials%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2012.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Logarithms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2013.%20%3Cspan%20class%3D%22soon%22%3ENonlinear%20Regression%3A%20Interaction%20Terms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2014.%20%3Cspan%20class%3D%22soon%22%3EInternal%20and%20External%20Validity%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2015.%20%3Cspan%20class%3D%22soon%22%3EPanel%20Data%20I%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2016.%20%3Cspan%20class%3D%22soon%22%3EPanel%20Data%20II%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2017.%20%3Cspan%20class%3D%22soon%22%3EBinary%20Dependent%20Variable%20Regressions%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2018.%20%3Cspan%20class%3D%22soon%22%3EExperiments%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2019.%20%3Cspan%20class%3D%22soon%22%3EQuasi-Experiments%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20width%3D%22350px%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec2RandomVariables.html%22%20target%3D%22_self%22%3E%E2%86%90%20Lecture%202%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fpdf%2FLec3WorkingWithMultipleRandomVariables.pdf%22%20target%3D%22_blank%22%3EDownload%20PDF%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec4EstimationHypothesisTestingAndConfidenceIntervals.html%22%20target%3D%22_self%22%3ELecture%204%20%E2%86%92%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-between%22%2C%20align%3D%22center%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22top%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%20Lecture%203%3A%20Working%20With%20Multiple%20Random%20Variables%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Contents%0A%0A%20%20%20%203.1%20%5BJoint%2C%20marginal%2C%20and%20conditional%20distributions%5D(%23sec1)%3Cbr%3E%0A%20%20%20%203.2%20%5BCovariance%20and%20correlation%5D(%23sec2)%3Cbr%3E%0A%20%20%20%203.3%20%5BIndependence%5D(%23sec3)%3Cbr%3E%0A%20%20%20%203.4%20%5BIndependent%20and%20identically%20distributed%5D(%23sec4)%3Cbr%3E%0A%20%20%20%203.5%20%5BMeans%20and%20variances%20of%20sums%5D(%23sec5)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec1%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%203.1%20Joint%2C%20marginal%2C%20and%20conditional%20distributions%0A%0A%20%20%20%20In%20Lecture%202%20we%20focused%20on%20one%20random%20variable%20at%20a%20time.%20We%20defined%20its%20distribution%2C%20its%20expected%20value%2C%20and%20its%20spread%20or%20variance.%20Most%20questions%20in%20econometrics%2C%20however%2C%20ask%20about%20two%20variables%20together.%20Does%20a%20person's%20earnings%20depend%20on%20their%20level%20of%20education%3F%20Does%20the%20unemployment%20rate%20depend%20on%20the%20inflation%20rate%3F%20To%20answer%20these%20questions%20we%20need%20to%20extend%20the%20tools%20from%20one%20random%20variable%20to%20two.%0A%0A%20%20%20%20A%20*joint%20probability%20distribution*%20describes%20how%20likely%20each%20combination%20of%20values%20is%20for%20two%20random%20variables.%20When%20%24X%24%20takes%20possible%20values%20%24x_1%2C%20x_2%2C%20%5Cldots%2C%20x_k%24%20and%20%24Y%24%20takes%20possible%20values%20%24y_1%2C%20y_2%2C%20%5Cldots%2C%20y_l%24%2C%20the%20joint%20probability%20distribution%20lists%20the%20probability%20of%20each%20combination%20of%20these%20possible%20values%2C%20denoted%20%24%5Cmathbb%7BP%7D(X%20%3D%20x_i%2C%20Y%20%3D%20y_j)%24%2C%20for%20every%20pair%20%24(x_i%2C%20y_j)%24.%20The%20table%20below%20shows%20an%20example%20of%20a%20joint%20probability%20distribution%20for%20two%20discrete%20random%20variables.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Rendered%20through%20mo.center%20(not%20inside%20mo.md)%20so%20the%20table%20keeps%20its%0A%20%20%20%20%23%20natural%20size%20and%20is%20centered%2C%20instead%20of%20being%20stretched%20to%20full%20width%0A%20%20%20%20%23%20by%20marimo's%20%22.markdown%20table%20%7B%20display%3Ablock%20%7D%22%20rule.%0A%20%20%20%20_joint%20%3D%20%22%22%22%0A%20%20%20%20%3Ctable%20style%3D%22border-collapse%3Acollapse%3Btext-align%3Acenter%3B%22%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Cth%20style%3D%22padding%3A6px%2018px%3Bborder-bottom%3A1px%20solid%20%23cbd2d9%3B%22%20colspan%3D%224%22%3EJoint%20Probability%20of%20X%20and%20Y%3C%2Fth%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--card%2C%23fff)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3Ex%3Csub%3E1%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3Ex%3Csub%3E2%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3Ex%3Csub%3E3%3C%2Fsub%3E%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3Ey%3Csub%3E1%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.10%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.15%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.20%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--card%2C%23fff)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3Ey%3Csub%3E2%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.20%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.10%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2018px%3B%22%3E0.25%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.center(mo.Html(_joint))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20six%20cells%20must%20sum%20to%20one%20because%20together%20they%20cover%20the%20probability%20of%20every%20possible%20outcome.%0A%0A%20%20%20%20A%20*marginal%20probability%20distribution*%20gives%20the%20distribution%20of%20a%20single%20variable%2C%20ignoring%20the%20other.%20We%20compute%20it%20by%20summing%20the%20joint%20probabilities%20over%20the%20values%20of%20the%20other%20variable.%20For%20example%2C%20the%20marginal%20probability%20that%20%24X%20%3D%20x_1%24%20is%0A%0A%20%20%20%20%24%24%20%5Cmathbb%7BP%7D(X%20%3D%20x_1)%20%3D%20%5Cmathbb%7BP%7D(X%20%3D%20x_1%2C%20Y%20%3D%20y_1)%20%2B%20%5Cmathbb%7BP%7D(X%20%3D%20x_1%2C%20Y%20%3D%20y_2)%20%3D%200.10%20%2B%200.20%20%3D%200.30.%20%24%24%0A%0A%20%20%20%20In%20general%2C%20%24%5Cmathbb%7BP%7D(X%20%3D%20x_i)%20%3D%20%5Csum_j%20%5Cmathbb%7BP%7D(X%20%3D%20x_i%2C%20Y%20%3D%20y_j)%24.%20Summing%20down%20each%20column%20gives%20the%20marginal%20distribution%20of%20%24X%24%2C%20and%20summing%20across%20each%20row%20gives%20the%20marginal%20distribution%20of%20%24Y%24%2C%20both%20shown%20below.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Two%20tables%20laid%20out%20side%20by%20side%20and%20centered%20with%20mo.hstack.%20Each%20title%0A%20%20%20%20%23%20spans%20its%20own%20table%20via%20colspan%2C%20so%20it%20sits%20centered%20over%20the%20whole%20table.%0A%20%20%20%20_marg_x%20%3D%20%22%22%22%0A%20%20%20%20%3Ctable%20style%3D%22border-collapse%3Acollapse%3Btext-align%3Acenter%3B%22%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Cth%20style%3D%22padding%3A6px%2016px%3Bborder-bottom%3A1px%20solid%20%23cbd2d9%3B%22%20colspan%3D%223%22%3EMarginal%20of%20X%3C%2Fth%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--card%2C%23fff)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3Ex%3Csub%3E1%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3Ex%3Csub%3E2%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3Ex%3Csub%3E3%3C%2Fsub%3E%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3E0.30%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3E0.25%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3E0.45%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20_marg_y%20%3D%20%22%22%22%0A%20%20%20%20%3Ctable%20style%3D%22border-collapse%3Acollapse%3Btext-align%3Acenter%3B%22%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Cth%20style%3D%22padding%3A6px%2016px%3Bborder-bottom%3A1px%20solid%20%23cbd2d9%3B%22%20colspan%3D%222%22%3EMarginal%20of%20Y%3C%2Fth%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--card%2C%23fff)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3Ey%3Csub%3E1%3C%2Fsub%3E%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3Ey%3Csub%3E2%3C%2Fsub%3E%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3Ctr%20style%3D%22background%3Avar(--lime-2%2C%23f8faf3)%3B%22%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3E0.45%3C%2Ftd%3E%3Ctd%20style%3D%22padding%3A6px%2016px%3B%22%3E0.55%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5Bmo.Html(_marg_x)%2C%20mo.Html(_marg_y)%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22center%22%2C%20align%3D%22start%22%2C%20gap%3D2.5%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20*conditional%20probability%20distribution*%20gives%20the%20distribution%20of%20one%20variable%2C%20given%20the%20value%20of%20the%20other.%20The%20conditional%20probability%20that%20%24Y%20%3D%20y_j%24%20given%20%24X%20%3D%20x_i%24%20is%0A%0A%20%20%20%20%24%24%20%5Cmathbb%7BP%7D(Y%20%3D%20y_j%20%5Cmid%20X%20%3D%20x_i)%20%3D%20%5Cfrac%7B%5Cmathbb%7BP%7D(X%20%3D%20x_i%2C%20Y%20%3D%20y_j)%7D%7B%5Cmathbb%7BP%7D(X%20%3D%20x_i)%7D.%20%24%24%0A%0A%20%20%20%20This%20formula%20is%20also%20known%20as%20*Bayes'%20rule*.%20It%20restates%20the%20question%20''how%20likely%20is%20%24Y%20%3D%20y_j%24%2C%20knowing%20that%20%24X%20%3D%20x_i%24%20has%20occurred%3F''%20in%20terms%20of%20probabilities%20we%20can%20read%20off%20the%20probability%20tables.%20For%20our%20example%2C%20the%20conditional%20probability%20that%20%24Y%20%3D%20y_1%24%20given%20%24X%20%3D%20x_1%24%20is%0A%0A%20%20%20%20%24%24%20%5Cmathbb%7BP%7D(Y%20%3D%20y_1%20%5Cmid%20X%20%3D%20x_1)%20%3D%20%5Cfrac%7B0.10%7D%7B0.30%7D%20%3D%20%5Cfrac%7B1%7D%7B3%7D.%20%24%24%0A%0A%20%20%20%20We%20could%20similarly%20compute%20%24%5Cmathbb%7BP%7D(X%20%3D%20x_2%20%5Cmid%20Y%20%3D%20y_2)%24%2C%20or%20any%20other%20such%20combination.%20Bayes'%20rule%20turns%20up%20in%20many%20places%20in%20statistics.%20For%20this%20course%2C%20it%20is%20the%20bridge%20between%20the%20joint%20distribution%20and%20the%20conditional%20distribution.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec2%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%203.2%20Covariance%20and%20correlation%0A%0A%20%20%20%20The%20joint%20distribution%20describes%20how%20two%20random%20variables%20behave%20together%2C%20but%20it%20does%20not%20summarize%20their%20relationship%20in%20one%20number.%20The%20*covariance*%20of%20%24X%24%20and%20%24Y%24%20summarizes%20whether%20they%20tend%20to%20move%20in%20the%20same%20direction%20or%20in%20opposite%20directions.%20It%20is%20defined%20as%0A%0A%20%20%20%20%24%24%20%5Ctext%7Bcov%7D(X%2C%20Y)%20%5Cequiv%20%5Csigma_%7BXY%7D%20%3D%20%5Csum_i%20%5Csum_j%20(x_j%20-%20%5Cmu_X)(y_i%20-%20%5Cmu_Y)%20%5Ccdot%20%5Cmathbb%7BP%7D(X%20%3D%20x_j%2C%20Y%20%3D%20y_i).%20%24%24%0A%0A%20%20%20%20The%20sign%20of%20the%20covariance%20is%20what%20carries%20most%20of%20its%20meaning.%20A%20positive%20%24%5Csigma_%7BXY%7D%24%20means%20that%20when%20%24X%24%20is%20above%20its%20mean%2C%20%24Y%24%20tends%20to%20be%20above%20its%20mean%20too%2C%20and%20thus%20the%20two%20random%20variables%20tend%20to%20move%20together.%20A%20negative%20%24%5Csigma_%7BXY%7D%24%20means%20one%20tends%20to%20be%20above%20its%20mean%20when%20the%20other%20is%20below%20it%2C%20so%20the%20two%20random%20variables%20tend%20to%20move%20in%20opposite%20directions.%20A%20zero%20covariance%20means%20%24X%24%20and%20%24Y%24%20do%20not%20move%20together%20on%20average.%0A%0A%20%20%20%20The%20size%20of%20the%20covariance%20is%20harder%20to%20interpret%20because%20it%20depends%20on%20the%20units%20of%20%24X%24%20and%20%24Y%24.%20The%20covariance%20between%20years%20of%20education%20and%20weekly%20earnings%20would%20be%20in%20units%20of%20(years%20%24%5Ctimes%24%20dollars)%2C%20while%20the%20covariance%20between%20height%20and%20weight%20would%20be%20in%20units%20of%20(inches%20%24%5Ctimes%24%20pounds).%20These%20numbers%20are%20not%20comparable.%0A%0A%20%20%20%20To%20get%20a%20unit-free%20summary%20we%20divide%20the%20covariance%20by%20the%20standard%20deviations%20of%20%24X%24%20and%20%24Y%24.%20The%20*correlation%20coefficient*%2C%20also%20referred%20to%20simply%20as%20the%20*correlation*%2C%20is%0A%0A%20%20%20%20%24%24%20%5Ctext%7Bcorr%7D(X%2C%20Y)%20%5Cequiv%20%5Crho_%7BXY%7D%20%3D%20%5Cfrac%7B%5Csigma_%7BXY%7D%7D%7B%5Csigma_X%20%5Csigma_Y%7D.%20%24%24%0A%0A%20%20%20%20The%20correlation%20always%20sits%20between%20%24-1%24%20and%20%241%24.%20A%20correlation%20of%20%24%2B1%24%20means%20%24Y%24%20is%20an%20exactly%20increasing%20linear%20function%20of%20%24X%24.%20A%20correlation%20of%20%24-1%24%20means%20%24Y%24%20is%20an%20exactly%20decreasing%20linear%20function%20of%20%24X%24.%20A%20correlation%20of%20%240%24%20means%20%24X%24%20and%20%24Y%24%20have%20no%20linear%20relationship%20on%20average.%0A%0A%20%20%20%20However%2C%20just%20like%20for%20the%20variance%20and%20expected%20value%20introduced%20last%20lecture%2C%20when%20working%20with%20data%20we%20do%20not%20observe%20%24%5Csigma_%7BXY%7D%24%2C%20%24%5Csigma_X%24%2C%20or%20%24%5Csigma_Y%24%20directly.%20We%20instead%20try%20to%20estimate%20them%20from%20a%20sample%20of%20%24n%24%20paired%20observations%20%24(X_1%2C%20Y_1)%2C%20(X_2%2C%20Y_2)%2C%20%5Cldots%2C%20(X_n%2C%20Y_n)%24.%20We%20compute%20the%20*sample%20covariance*%20as%0A%0A%20%20%20%20%24%24%20%5Chat%7B%5Csigma%7D_%7BXY%7D%20%3D%20%5Cfrac%7B1%7D%7Bn%20-%201%7D%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20(X_i%20-%20%5Chat%7B%5Cmu%7D_X)(Y_i%20-%20%5Chat%7B%5Cmu%7D_Y)%2C%20%24%24%0A%0A%20%20%20%20and%20the%20*sample%20correlation*%20as%0A%0A%20%20%20%20%24%24%20%5Cwidehat%7B%5Ctext%7Bcorr%7D%7D(X%2C%20Y)%20%3D%20%5Cfrac%7B%5Chat%7B%5Csigma%7D_%7BXY%7D%7D%7B%5Chat%7B%5Csigma%7D_X%20%5Chat%7B%5Csigma%7D_Y%7D.%20%24%24%0A%0A%20%20%20%20Use%20the%20interactive%20plot%20below%20to%20explore%20how%20sample%20statistics%20correspond%20to%20their%20underlying%20data%20points.%20Sample%20statistics%20update%20under%20the%20plot%20as%20you%20spray%20it%20with%20data%20points.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(anywidget)%3A%0A%20%20%20%20class%20SprayWidget(anywidget.AnyWidget)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20canvas%20drawn%20directly%20in%20the%20page%20(no%20iframe%2C%20no%20virtual%20files)%3A%0A%20%20%20%20%20%20%20%20%23%20dragging%20sprays%20points%20in%20one%20colour%20onto%20axes%20fixed%20to%20-10..10%2C%20and%0A%20%20%20%20%20%20%20%20%23%20the%20sample%20variances%2C%20covariance%2C%20and%20correlation%20are%20computed%20and%0A%20%20%20%20%20%20%20%20%23%20shown%20beneath%20the%20plot.%20Delivered%20as%20an%20anywidget%20so%20the%20drawing%20runs%0A%20%20%20%20%20%20%20%20%23%20client-side%20in%20the%20deployed%20WASM%20build.%0A%20%20%20%20%20%20%20%20_esm%20%3D%20r%22%22%22%0A%20%20%20%20function%20render(%7B%20model%2C%20el%20%7D)%20%7B%0A%20%20%20%20%20%20const%20XMIN%20%3D%20-15%2C%20XMAX%20%3D%2015%2C%20YMIN%20%3D%20-10%2C%20YMAX%20%3D%2010%3B%0A%20%20%20%20%20%20const%20W%20%3D%20660%2C%20H%20%3D%20448%2C%20padL%20%3D%2044%2C%20padR%20%3D%2016%2C%20padT%20%3D%2014%2C%20padB%20%3D%2034%3B%0A%20%20%20%20%20%20const%20plotW%20%3D%20W%20-%20padL%20-%20padR%2C%20plotH%20%3D%20H%20-%20padT%20-%20padB%3B%0A%0A%20%20%20%20%20%20const%20wrap%20%3D%20document.createElement(%22div%22)%3B%0A%20%20%20%20%20%20wrap.style.cssText%20%3D%20%22font-family%3Asystem-ui%2C-apple-system%2Csans-serif%3Bcolor%3A%231f4e79%3Bdisplay%3Aflex%3Bflex-direction%3Acolumn%3Balign-items%3Acenter%3B%22%3B%0A%20%20%20%20%20%20const%20cv%20%3D%20document.createElement(%22canvas%22)%3B%0A%20%20%20%20%20%20cv.width%20%3D%20W%3B%20cv.height%20%3D%20H%3B%0A%20%20%20%20%20%20cv.style.cssText%20%3D%20%22cursor%3Acrosshair%3Btouch-action%3Anone%3Bmax-width%3A100%25%3B%22%3B%0A%20%20%20%20%20%20const%20controls%20%3D%20document.createElement(%22div%22)%3B%0A%20%20%20%20%20%20controls.style.cssText%20%3D%20%22margin%3A8px%200%204px%3B%22%3B%0A%20%20%20%20%20%20const%20btn%20%3D%20document.createElement(%22button%22)%3B%0A%20%20%20%20%20%20btn.textContent%20%3D%20%22Reset%22%3B%0A%20%20%20%20%20%20btn.style.cssText%20%3D%20%22font%3Ainherit%3Bcolor%3A%231f4e79%3Bbackground%3A%23eef3f8%3Bborder%3A1px%20solid%20%231f4e79%3Bborder-radius%3A4px%3Bpadding%3A4px%2014px%3Bcursor%3Apointer%3B%22%3B%0A%20%20%20%20%20%20controls.appendChild(btn)%3B%0A%20%20%20%20%20%20const%20statsEl%20%3D%20document.createElement(%22div%22)%3B%0A%20%20%20%20%20%20statsEl.style.cssText%20%3D%20%22max-width%3A620px%3Bfont-size%3A0.85rem%3Bline-height%3A1.45%3Bcolor%3A%236b7280%3Btext-align%3Acenter%3B%22%3B%0A%20%20%20%20%20%20wrap.appendChild(cv)%3B%20wrap.appendChild(controls)%3B%20wrap.appendChild(statsEl)%3B%0A%20%20%20%20%20%20el.appendChild(wrap)%3B%0A%0A%20%20%20%20%20%20const%20ctx%20%3D%20cv.getContext(%222d%22)%3B%0A%20%20%20%20%20%20let%20points%20%3D%20%5B%5D%3B%0A%20%20%20%20%20%20let%20drawing%20%3D%20false%3B%0A%0A%20%20%20%20%20%20const%20toPxX%20%3D%20x%20%3D%3E%20padL%20%2B%20(x%20-%20XMIN)%20%2F%20(XMAX%20-%20XMIN)%20*%20plotW%3B%0A%20%20%20%20%20%20const%20toPxY%20%3D%20y%20%3D%3E%20padT%20%2B%20(YMAX%20-%20y)%20%2F%20(YMAX%20-%20YMIN)%20*%20plotH%3B%0A%20%20%20%20%20%20const%20toDataX%20%3D%20px%20%3D%3E%20XMIN%20%2B%20(px%20-%20padL)%20%2F%20plotW%20*%20(XMAX%20-%20XMIN)%3B%0A%20%20%20%20%20%20const%20toDataY%20%3D%20py%20%3D%3E%20YMAX%20-%20(py%20-%20padT)%20%2F%20plotH%20*%20(YMAX%20-%20YMIN)%3B%0A%0A%20%20%20%20%20%20function%20drawAxes()%20%7B%0A%20%20%20%20ctx.clearRect(0%2C%200%2C%20W%2C%20H)%3B%0A%20%20%20%20ctx.lineWidth%20%3D%201%3B%0A%20%20%20%20ctx.font%20%3D%20%2211px%20system-ui%2C%20sans-serif%22%3B%0A%20%20%20%20for%20(let%20v%20%3D%20XMIN%3B%20v%20%3C%3D%20XMAX%3B%20v%20%2B%3D%205)%20%7B%0A%20%20%20%20%20%20const%20px%20%3D%20toPxX(v)%3B%0A%20%20%20%20%20%20ctx.strokeStyle%20%3D%20v%20%3D%3D%3D%200%20%3F%20%22%239aa5b1%22%20%3A%20%22%23eef1f4%22%3B%0A%20%20%20%20%20%20ctx.beginPath()%3B%20ctx.moveTo(px%2C%20padT)%3B%20ctx.lineTo(px%2C%20padT%20%2B%20plotH)%3B%20ctx.stroke()%3B%0A%20%20%20%20%7D%0A%20%20%20%20for%20(let%20v%20%3D%20YMIN%3B%20v%20%3C%3D%20YMAX%3B%20v%20%2B%3D%205)%20%7B%0A%20%20%20%20%20%20const%20py%20%3D%20toPxY(v)%3B%0A%20%20%20%20%20%20ctx.strokeStyle%20%3D%20v%20%3D%3D%3D%200%20%3F%20%22%239aa5b1%22%20%3A%20%22%23eef1f4%22%3B%0A%20%20%20%20%20%20ctx.beginPath()%3B%20ctx.moveTo(padL%2C%20py)%3B%20ctx.lineTo(padL%20%2B%20plotW%2C%20py)%3B%20ctx.stroke()%3B%0A%20%20%20%20%7D%0A%20%20%20%20ctx.fillStyle%20%3D%20%22%236b7280%22%3B%0A%20%20%20%20ctx.textAlign%20%3D%20%22center%22%3B%20ctx.textBaseline%20%3D%20%22top%22%3B%0A%20%20%20%20for%20(let%20v%20%3D%20XMIN%3B%20v%20%3C%3D%20XMAX%3B%20v%20%2B%3D%205)%20ctx.fillText(v%2C%20toPxX(v)%2C%20padT%20%2B%20plotH%20%2B%205)%3B%0A%20%20%20%20ctx.textAlign%20%3D%20%22right%22%3B%20ctx.textBaseline%20%3D%20%22middle%22%3B%0A%20%20%20%20for%20(let%20v%20%3D%20YMIN%3B%20v%20%3C%3D%20YMAX%3B%20v%20%2B%3D%205)%20ctx.fillText(v%2C%20padL%20-%205%2C%20toPxY(v))%3B%0A%20%20%20%20ctx.fillStyle%20%3D%20%22%231f4e79%22%3B%0A%20%20%20%20ctx.font%20%3D%20%2212px%20system-ui%2C%20sans-serif%22%3B%0A%20%20%20%20ctx.textAlign%20%3D%20%22center%22%3B%20ctx.textBaseline%20%3D%20%22alphabetic%22%3B%0A%20%20%20%20ctx.fillText(%22X%22%2C%20padL%20%2B%20plotW%20%2F%202%2C%20H%20-%204)%3B%0A%20%20%20%20ctx.save()%3B%0A%20%20%20%20ctx.translate(11%2C%20padT%20%2B%20plotH%20%2F%202)%3B%20ctx.rotate(-Math.PI%20%2F%202)%3B%0A%20%20%20%20ctx.fillText(%22Y%22%2C%200%2C%200)%3B%0A%20%20%20%20ctx.restore()%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20function%20drawPoints()%20%7B%0A%20%20%20%20ctx.fillStyle%20%3D%20%22rgba(31%2C%2078%2C%20121%2C%200.7)%22%3B%0A%20%20%20%20for%20(const%20p%20of%20points)%20%7B%0A%20%20%20%20%20%20ctx.beginPath()%3B%20ctx.arc(toPxX(p.x)%2C%20toPxY(p.y)%2C%203%2C%200%2C%202%20*%20Math.PI)%3B%20ctx.fill()%3B%0A%20%20%20%20%7D%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20function%20redraw()%20%7B%20drawAxes()%3B%20drawPoints()%3B%20%7D%0A%0A%20%20%20%20%20%20function%20fmt(v%2C%20d)%20%7B%0A%20%20%20%20return%20v.toLocaleString(%22en-US%22%2C%20%7B%20minimumFractionDigits%3A%20d%2C%20maximumFractionDigits%3A%20d%20%7D)%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20function%20updateStats()%20%7B%0A%20%20%20%20const%20n%20%3D%20points.length%3B%0A%20%20%20%20if%20(n%20%3C%202)%20%7B%0A%20%20%20%20%20%20statsEl.textContent%20%3D%20%22Press%20and%20drag%20on%20the%20plot%20to%20spray%20points.%20Add%20at%20least%20two%20to%20see%20the%20sample%20statistics.%22%3B%0A%20%20%20%20%20%20return%3B%0A%20%20%20%20%7D%0A%20%20%20%20let%20mx%20%3D%200%2C%20my%20%3D%200%3B%0A%20%20%20%20for%20(const%20p%20of%20points)%20%7B%20mx%20%2B%3D%20p.x%3B%20my%20%2B%3D%20p.y%3B%20%7D%0A%20%20%20%20mx%20%2F%3D%20n%3B%20my%20%2F%3D%20n%3B%0A%20%20%20%20let%20sxx%20%3D%200%2C%20syy%20%3D%200%2C%20sxy%20%3D%200%3B%0A%20%20%20%20for%20(const%20p%20of%20points)%20%7B%0A%20%20%20%20%20%20sxx%20%2B%3D%20(p.x%20-%20mx)%20**%202%3B%20syy%20%2B%3D%20(p.y%20-%20my)%20**%202%3B%20sxy%20%2B%3D%20(p.x%20-%20mx)%20*%20(p.y%20-%20my)%3B%0A%20%20%20%20%7D%0A%20%20%20%20const%20vX%20%3D%20sxx%20%2F%20(n%20-%201)%2C%20vY%20%3D%20syy%20%2F%20(n%20-%201)%2C%20cov%20%3D%20sxy%20%2F%20(n%20-%201)%3B%0A%20%20%20%20const%20corr%20%3D%20vX%20%3E%200%20%26%26%20vY%20%3E%200%20%3F%20cov%20%2F%20Math.sqrt(vX%20*%20vY)%20%3A%200%3B%0A%20%20%20%20statsEl.textContent%20%3D%0A%20%20%20%20%20%20%22From%20the%20n%20%3D%20%22%20%2B%20n%20%2B%20%22%20points%20you%20sprayed%2C%20the%20sample%20variance%20of%20X%20is%20%22%20%2B%0A%20%20%20%20%20%20fmt(vX%2C%202)%20%2B%20%22%2C%20the%20sample%20variance%20of%20Y%20is%20%22%20%2B%20fmt(vY%2C%202)%20%2B%0A%20%20%20%20%20%20%22%2C%20the%20sample%20covariance%20is%20%22%20%2B%20fmt(cov%2C%202)%20%2B%0A%20%20%20%20%20%20%22%2C%20and%20the%20sample%20correlation%20is%20%22%20%2B%20fmt(corr%2C%203)%20%2B%20%22.%22%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20function%20spray(px%2C%20py)%20%7B%0A%20%20%20%20if%20(px%20%3C%20padL%20%7C%7C%20px%20%3E%20padL%20%2B%20plotW%20%7C%7C%20py%20%3C%20padT%20%7C%7C%20py%20%3E%20padT%20%2B%20plotH)%20return%3B%0A%20%20%20%20for%20(let%20i%20%3D%200%3B%20i%20%3C%203%3B%20i%2B%2B)%20%7B%0A%20%20%20%20%20%20const%20jx%20%3D%20px%20%2B%20(Math.random()%20-%200.5)%20*%2016%3B%0A%20%20%20%20%20%20const%20jy%20%3D%20py%20%2B%20(Math.random()%20-%200.5)%20*%2016%3B%0A%20%20%20%20%20%20const%20x%20%3D%20toDataX(jx)%2C%20y%20%3D%20toDataY(jy)%3B%0A%20%20%20%20%20%20if%20(x%20%3E%3D%20XMIN%20%26%26%20x%20%3C%3D%20XMAX%20%26%26%20y%20%3E%3D%20YMIN%20%26%26%20y%20%3C%3D%20YMAX)%20points.push(%7B%20x%2C%20y%20%7D)%3B%0A%20%20%20%20%7D%0A%20%20%20%20if%20(points.length%20%3E%203000)%20points%20%3D%20points.slice(points.length%20-%203000)%3B%0A%20%20%20%20redraw()%3B%20updateStats()%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20function%20pos(e)%20%7B%0A%20%20%20%20const%20r%20%3D%20cv.getBoundingClientRect()%3B%0A%20%20%20%20return%20%5B(e.clientX%20-%20r.left)%20*%20(W%20%2F%20r.width)%2C%20(e.clientY%20-%20r.top)%20*%20(H%20%2F%20r.height)%5D%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20cv.addEventListener(%22pointerdown%22%2C%20e%20%3D%3E%20%7B%20drawing%20%3D%20true%3B%20cv.setPointerCapture(e.pointerId)%3B%20const%20%5Bx%2C%20y%5D%20%3D%20pos(e)%3B%20spray(x%2C%20y)%3B%20%7D)%3B%0A%20%20%20%20%20%20cv.addEventListener(%22pointermove%22%2C%20e%20%3D%3E%20%7B%20if%20(drawing)%20%7B%20const%20%5Bx%2C%20y%5D%20%3D%20pos(e)%3B%20spray(x%2C%20y)%3B%20%7D%20%7D)%3B%0A%20%20%20%20%20%20cv.addEventListener(%22pointerup%22%2C%20()%20%3D%3E%20%7B%20drawing%20%3D%20false%3B%20%7D)%3B%0A%20%20%20%20%20%20cv.addEventListener(%22pointercancel%22%2C%20()%20%3D%3E%20%7B%20drawing%20%3D%20false%3B%20%7D)%3B%0A%20%20%20%20%20%20btn.addEventListener(%22click%22%2C%20()%20%3D%3E%20%7B%20points%20%3D%20%5B%5D%3B%20redraw()%3B%20updateStats()%3B%20%7D)%3B%0A%0A%20%20%20%20%20%20redraw()%3B%20updateStats()%3B%0A%20%20%20%20%7D%0A%20%20%20%20export%20default%20%7B%20render%20%7D%3B%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20return%20(SprayWidget%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(SprayWidget%2C%20mo)%3A%0A%20%20%20%20mo.ui.anywidget(SprayWidget())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec3%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%203.3%20Independence%0A%0A%20%20%20%20Two%20random%20variables%20are%20*independent*%20when%20knowing%20the%20value%20of%20one%20is%20not%20informative%20about%20the%20value%20of%20the%20other.%20In%20probability%2C%20independence%20can%20be%20expressed%20in%20two%20equivalent%20ways%20and%20has%20an%20important%20implication.%20Specifically%2C%20if%20%24X%24%20and%20%24Y%24%20are%20independent%2C%20then%3A%0A%0A%20%20%20%201.%20The%20conditional%20distribution%20of%20%24Y%24%20does%20not%20depend%20on%20%24X%24%20(and%20vice%20versa).%20That%20is%2C%20%24%5Cmathbb%7BP%7D(Y%20%3D%20y%20%5Cmid%20X%20%3D%20x)%20%3D%20%5Cmathbb%7BP%7D(Y%20%3D%20y)%24%20for%20every%20%24x%24%20and%20%24y%24.%0A%20%20%20%202.%20The%20joint%20distribution%20factors%20into%20the%20product%20of%20the%20marginals%2C%20%24%5Cmathbb%7BP%7D(X%20%3D%20x%2C%20Y%20%3D%20y)%20%3D%20%5Cmathbb%7BP%7D(X%20%3D%20x)%20%5Ccdot%20%5Cmathbb%7BP%7D(Y%20%3D%20y)%24.%0A%20%20%20%203.%20The%20correlation%20and%20covariance%20are%20both%20zero%2C%20%24%5Ctext%7Bcorr%7D(X%2C%20Y)%20%3D%20%5Csigma_%7BXY%7D%20%3D%200%24.%0A%0A%20%20%20%20These%20ideas%20are%20easiest%20to%20see%20with%20a%20simple%20example.%20A%20coin%20flip%20and%20an%20unrelated%20die%20roll%20are%20independent.%20Knowing%20that%20the%20coin%20landed%20heads%20tells%20us%20nothing%20about%20which%20face%20of%20the%20die%20is%20showing%2C%20so%20the%20conditional%20distribution%20of%20the%20die%20given%20the%20coin%20is%20the%20same%20as%20its%20unconditional%20distribution.%20Equivalently%2C%20the%20probability%20of%20observing%20any%20particular%20combination%2C%20such%20as%20heads%20and%20a%20%244%24%2C%20is%20simply%20the%20probability%20of%20heads%20multiplied%20by%20the%20probability%20of%20rolling%20a%20%244%24.%20The%20result%20of%20the%20first%20die%20in%20a%20pair%20of%20rolls%2C%20however%2C%20is%20not%20independent%20of%20the%20sum%20of%20the%20two%20dice.%20If%20we%20know%20the%20sum%20is%20%2411%24%2C%20then%20the%20first%20die%20is%20very%20likely%20a%20%245%24%20or%20a%20%246%24%2C%20and%20definitely%20not%20a%20%241%24.%20The%20conditional%20distribution%20of%20the%20first%20die%20therefore%20differs%20from%20its%20unconditional%20distribution%2C%20and%20the%20probability%20of%20a%20particular%20first-die%20value%20and%20sum%20cannot%20generally%20be%20obtained%20by%20multiplying%20their%20marginal%20probabilities.%0A%0A%20%20%20%20Either%20of%20the%20first%20two%20conditions%20can%20serve%20as%20the%20definition%20of%20independence%2C%20and%20each%20implies%20the%20third%20condition.%20Note%2C%20however%2C%20that%20the%20third%20condition%20only%20goes%20one%20way.%20If%20%24X%24%20and%20%24Y%24%20are%20independent%2C%20then%20their%20correlation%20is%20zero.%20The%20converse%20is%20not%20true.%20Two%20random%20variables%20can%20have%20zero%20correlation%20and%20still%20be%20dependent%20because%20correlation%20captures%20only%20the%20linear%20part%20of%20their%20relationship.%20You%20can%20see%20this%20for%20yourself%20in%20the%20interactive%20scatter%20plot%20in%20Section%203.2.%20If%20you%20arrange%20the%20points%20in%20a%20symmetric%20arch%20or%20trough%2C%20the%20sample%20correlation%20will%20remain%20near%20zero%20even%20though%20a%20point's%20horizontal%20position%20is%20clearly%20informative%20about%20its%20height.%20The%20two%20coordinates%20are%20therefore%20dependent%20despite%20having%20little%20or%20no%20correlation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec4%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%203.4%20Independent%20and%20identically%20distributed%0A%0A%20%20%20%20We%20say%20the%20random%20variables%20%24X_1%2C%20X_2%2C%20%5Cldots%2C%20X_n%24%20are%20*independently%20and%20identically%20distributed*%20(i.i.d.)%20when%20two%20conditions%20hold.%20First%2C%20every%20%24X_i%24%20has%20the%20same%20distribution.%20This%20means%20each%20random%20variable%20is%20drawn%20from%20the%20same%20underlying%20population%2C%20so%20differences%20across%20observations%20arise%20from%20which%20members%20of%20that%20population%20happen%20to%20be%20sampled%20rather%20than%20from%20drawing%20from%20different%20populations.%20Second%2C%20the%20%24X_i%24's%20are%20independent%2C%20so%20knowing%20the%20value%20of%20one%20observation%20provides%20no%20information%20about%20the%20values%20of%20the%20others.%20We%20write%20%24X_i%20%5Cstackrel%7B%5Ctext%7Bi.i.d.%7D%7D%7B%5Csim%7D%20F%24%20when%20the%20random%20variables%20are%20drawn%20independently%20from%20the%20same%20distribution%20%24F%24.%0A%0A%20%20%20%20Suppose%20we%20randomly%20sample%20households%20from%20the%20population%20of%20U.S.%20households%20and%20record%20their%20incomes.%20We%20can%20treat%20these%20incomes%20as%20i.i.d.%20if%20each%20household%20is%20sampled%20independently%20of%20the%20others%20and%20every%20household%20is%20drawn%20from%20the%20same%20population.%20One%20household's%20income%20then%20tells%20us%20nothing%20about%20the%20incomes%20of%20the%20households%20that%20will%20be%20sampled%20next%20(independence)%2C%20and%20every%20draw%20comes%20from%20the%20same%20underlying%20distribution%20of%20household%20income%20(identically%20distributed).%20This%20i.i.d.%20assumption%20is%20what%20allows%20us%20to%20apply%20the%20law%20of%20large%20numbers%20and%20the%20central%20limit%20theorem%20from%20the%20previous%20lecture%20to%20sample%20data.%0A%0A%20%20%20%20Both%20parts%20of%20i.i.d.%20can%20fail%20in%20practice.%20Heights%20measured%20among%20members%20of%20the%20same%20family%20may%20not%20be%20independent%20because%20relatives%20share%20genes%20and%20environment%2C%20so%20knowing%20one%20family%20member's%20height%20can%20be%20informative%20about%20another's.%20Observations%20may%20also%20fail%20to%20be%20identically%20distributed.%20For%20example%2C%20if%20our%20sample%20includes%20both%20children%20and%20adults%2C%20their%20heights%20come%20from%20systematically%20different%20distributions%20because%20height%20varies%20with%20age.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%3Ca%20id%3D%22sec5%22%3E%3C%2Fa%3E%0A%20%20%20%20%23%23%203.5%20Means%20and%20variances%20of%20sums%0A%0A%20%20%20%20We%20often%20want%20to%20know%20the%20expected%20value%20and%20variance%20of%20a%20sum%20or%20weighted%20sum%20of%20random%20variables.%20One%20approach%20would%20be%20to%20treat%20the%20whole%20sum%20as%20a%20new%20random%20variable%20and%20then%20apply%20the%20formulas%20from%20Lecture%202%20to%20that%20new%20variable.%20But%20this%20can%20quickly%20become%20unwieldy.%20Instead%2C%20we%20can%20use%20a%20few%20simple%20rules%20that%20cover%20most%20cases.%0A%0A%20%20%20%201.%20The%20*linearity%20of%20expected%20value*%20says%20that%20adding%20a%20constant%20shifts%20the%20expected%20value%20by%20that%20constant%2C%20and%20multiplying%20a%20random%20variable%20by%20a%20constant%20multiplies%20its%20expected%20value%20by%20that%20constant.%20For%20any%20numbers%20%24a%24%20and%20%24b%24%2C%20which%20we%20call%20*constants*%20to%20distinguish%20them%20from%20random%20variables%2C%0A%20%20%20%20%24%24%5Cmathbb%7BE%7D%5Ba%20%2B%20b%20X%5D%20%3D%20a%20%2B%20b%5Cmathbb%7BE%7D%5BX%5D%20%3D%20a%20%2B%20b%20%5Cmu_X.%20%24%24%0A%0A%20%20%20%202.%20The%20expected%20value%20of%20a%20sum%20is%20the%20sum%20of%20the%20expected%20values.%20This%20rule%20holds%20whether%20or%20not%20the%20random%20variables%20are%20independent%2C%0A%20%20%20%20%24%24%20%5Cmathbb%7BE%7D%5BX_1%20%2B%20X_2%20%2B%20%5Ccdots%20%2B%20X_n%5D%20%3D%20%5Cmathbb%7BE%7D%5BX_1%5D%20%2B%20%5Cmathbb%7BE%7D%5BX_2%5D%20%2B%20%5Ccdots%20%2B%20%5Cmathbb%7BE%7D%5BX_n%5D%20%3D%20n%5Cmu_X.%20%24%24%0A%0A%20%20%20%203.%20The%20variance%20of%20a%20shifted%20and%20scaled%20random%20variable%20follows%20a%20different%20rule.%20Adding%20a%20constant%20does%20not%20change%20the%20variance%2C%20but%20multiplying%20by%20a%20constant%20multiplies%20the%20variance%20by%20the%20square%20of%20that%20constant.%20For%20any%20constants%20%24a%24%20and%20%24b%24%2C%0A%20%20%20%20%24%24%20%5Ctext%7Bvar%7D(a%20%2B%20b%20X)%20%3D%20b%5E2%20%5Csigma_X%5E2.%20%24%24%0A%0A%20%20%20%204.%20Covariance%20is%20symmetric%20and%20linear%20in%20each%20argument.%20Symmetry%20means%20that%20the%20order%20of%20the%20two%20variables%20does%20not%20matter.%20Linearity%20means%20that%20the%20covariance%20between%20one%20variable%20and%20a%20sum%20can%20be%20split%20into%20separate%20covariances%2C%0A%20%20%20%20%24%24%20%5Ctext%7Bcov%7D(X%2C%20Y)%20%3D%20%5Ctext%7Bcov%7D(Y%2C%20X)%2C%20%5Cqquad%20%5Ctext%7Bcov%7D(X%2C%20Y%20%2B%20Z)%20%3D%20%5Ctext%7Bcov%7D(X%2C%20Y)%20%2B%20%5Ctext%7Bcov%7D(X%2C%20Z).%20%24%24%0A%0A%20%20%20%205.%20The%20variance%20of%20a%20sum%20depends%20on%20whether%20the%20random%20variables%20are%20independent%20or%20not.%20If%20%24X_1%2C%20X_2%2C%20%5Cldots%2C%20X_n%24%20are%20i.i.d.%20with%20variance%20%24%5Csigma_X%5E2%24%2C%20then%20the%20variance%20of%20the%20sum%20is%20simply%20%24n%24%20times%20the%20variance%20of%20one%20draw%2C%0A%20%20%20%20%24%24%20%5Ctext%7Bvar%7D(X_1%20%2B%20X_2%20%2B%20%5Ccdots%20%2B%20X_n)%20%3D%20n%20%5Csigma_X%5E2.%20%24%24%0A%0A%20%20%20%20Notice%20that%20the%20variance%20of%20the%20sample%20mean%20from%20Lecture%202%20follows%20directly%20from%20Rule%205.%20If%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Chat%7B%5Cmu%7D_X%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20X_i%0A%20%20%20%20%24%24%0A%0A%20%20%20%20and%20the%20%24X_i%24%20are%20i.i.d.%20with%20variance%20%24%5Csigma_X%5E2%24%2C%20then%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctext%7Bvar%7D(%5Chat%7B%5Cmu%7D_X)%0A%20%20%20%20%3D%0A%20%20%20%20%5Cfrac%7B1%7D%7Bn%5E2%7D%5Ctext%7Bvar%7D%5Cleft(%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20X_i%5Cright)%0A%20%20%20%20%3D%0A%20%20%20%20%5Cfrac%7B1%7D%7Bn%5E2%7D%20n%20%5Csigma_X%5E2%0A%20%20%20%20%3D%0A%20%20%20%20%5Cfrac%7B%5Csigma_X%5E2%7D%7Bn%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Therefore%2C%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Csigma_%7B%5Chat%7B%5Cmu%7D_X%7D%20%3D%20%5Cfrac%7B%5Csigma_X%7D%7B%5Csqrt%7Bn%7D%7D.%0A%20%20%20%20%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Terms%3A**%20joint%20probability%20distribution%2C%20marginal%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probability%20distribution%2C%20conditional%20probability%20distribution%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bayes'%20rule%2C%20covariance%2C%20correlation%2C%20correlation%20coefficient%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sample%20covariance%2C%20sample%20correlation%2C%20independence%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22independently%20and%20identically%20distributed%20(i.i.d.)%2C%20constants.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Concepts%3A**%20linearity%20of%20the%20expected%20value%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22variance%20of%20a%20sum%20of%20i.i.d.%20random%20variables%2C%20zero%20correlation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22does%20not%20imply%20independence.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20title%3D%22Key%20terms%20and%20concepts%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20One%20paragraph%20per%20vstack%20item%20so%20the%20accordion%20spacing%20follows%20the%0A%20%20%20%20%23%20same%20uniform%20gap%20used%20in%20Lecture%202.%0A%20%20%20%20_bonus%20%3D%20mo.md(r%22%22%22This%20is%20bonus%20material.%20You%20will%20not%20be%20tested%20on%20the%20content%20of%20the%20appendix.%22%22%22)%0A%0A%20%20%20%20_p1%20%3D%20mo.md(r%22%22%22**The%20covariance%20written%20with%20the%20expectation%20operator.**%20Section%203.2%20defined%20the%20covariance%20as%20a%20double%20sum%20over%20the%20joint%20distribution.%20It%20can%20be%20written%20more%20compactly%20with%20the%20expectation%20operator.%22%22%22)%0A%20%20%20%20_eq1%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Ctext%7Bcov%7D(X%2C%20Y)%20%5Cequiv%20%5Csigma_%7BXY%7D%20%3D%20%5Cmathbb%7BE%7D%5Cbig%5B(X%20-%20%5Cmu_X)(Y%20-%20%5Cmu_Y)%5Cbig%5D.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p2%20%3D%20mo.md(r%22%22%22This%20is%20the%20same%20quantity.%20The%20expectation%20%24%5Cmathbb%7BE%7D%5B%5Ccdot%5D%24%20is%20itself%20a%20probability-weighted%20sum%2C%20defined%20in%20Section%202.3%2C%20so%20expanding%20it%20reproduces%20the%20double%20sum%20from%20Section%203.2.%20This%20formulation%20is%20more%20common%20in%20advanced%20work.%22%22%22)%0A%0A%20%20%20%20_p3%20%3D%20mo.md(r%22%22%22**Proof%20of%20the%20linearity%20of%20the%20expected%20value.**%20Here%2C%20we%20show%20mathematically%20that%20%24%5Cmathbb%7BE%7D%5Ba%20%2B%20b%20X%5D%20%3D%20a%20%2B%20b%20%5Cmathbb%7BE%7D%5BX%5D%24%20when%20%24X%24%20is%20a%20discrete%20random%20variable%20taking%20values%20%24x_1%2C%20x_2%2C%20%5Cldots%2C%20x_K%24%20with%20probabilities%20%24p_1%2C%20p_2%2C%20%5Cldots%2C%20p_K%24.%22%22%22)%0A%20%20%20%20_p4%20%3D%20mo.md(r%22%22%22Define%20%24Y%20%3D%20a%20%2B%20b%20X%24.%20The%20random%20variable%20%24Y%24%20takes%20the%20value%20%24a%20%2B%20b%20x_i%24%20with%20probability%20%24p_i%24.%20Its%20expected%20value%20is%22%22%22)%0A%20%20%20%20_eq2%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Cmathbb%7BE%7D%5BY%5D%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7BK%7D%20(a%20%2B%20b%20x_i)%20%5C%2C%20p_i.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p5%20%3D%20mo.md(r%22%22%22Distribute%20the%20multiplication%20and%20split%20the%20sum%20into%20two%20parts%2C%22%22%22)%0A%20%20%20%20_eq3%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Cmathbb%7BE%7D%5BY%5D%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7BK%7D%20a%20%5C%2C%20p_i%20%2B%20%5Csum_%7Bi%3D1%7D%5E%7BK%7D%20b%20%5C%2C%20x_i%20%5C%2C%20p_i%20%3D%20a%20%5Csum_%7Bi%3D1%7D%5E%7BK%7D%20p_i%20%2B%20b%20%5Csum_%7Bi%3D1%7D%5E%7BK%7D%20x_i%20%5C%2C%20p_i.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p6%20%3D%20mo.md(r%22%22%22The%20first%20sum%20is%20%24a%24%20times%20the%20total%20probability%2C%20which%20equals%20%241%24%20because%20the%20%24p_i%24%20cover%20all%20possible%20outcomes.%20The%20second%20sum%20is%20%24b%24%20times%20the%20expected%20value%20of%20%24X%24.%20So%22%22%22)%0A%20%20%20%20_eq4%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Cmathbb%7BE%7D%5Ba%20%2B%20b%20X%5D%20%3D%20a%20%5Ccdot%201%20%2B%20b%20%5Ccdot%20%5Cmathbb%7BE%7D%5BX%5D%20%3D%20a%20%2B%20b%20%5Cmathbb%7BE%7D%5BX%5D.%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p7%20%3D%20mo.md(r%22%22%22The%20same%20argument%20extends%20to%20a%20sum%20of%20several%20random%20variables%2C%20giving%20linearity%20of%20the%20expected%20value%20in%20full%20generality.%22%22%22)%0A%0A%20%20%20%20_p8%20%3D%20mo.md(r%22%22%22**The%20variance%20of%20a%20sum%20when%20the%20variables%20are%20not%20i.i.d.**%20Rule%205%20in%20Section%203.5%20covers%20the%20i.i.d.%20case%2C%20where%20the%20variance%20of%20a%20sum%20is%20%24n%24%20times%20the%20variance%20of%20one%20variable.%20In%20general%2C%20the%20variance%20of%20a%20sum%20also%20depends%20on%20the%20covariances%20between%20every%20pair%20of%20variables%2C%22%22%22)%0A%20%20%20%20_eq5%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%3Cspan%20style%3D'display%3Ablock%3Btext-align%3Acenter%3Bmargin%3A0.8rem%20auto%200.25rem%3B'%3E%24%5Cdisplaystyle%20%5Ctext%7Bvar%7D%5Cleft(%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20X_i%5Cright)%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20%5Ctext%7Bvar%7D(X_i)%20%2B%202%20%5Csum_%7Bi%20%3C%20j%7D%20%5Ctext%7Bcov%7D(X_i%2C%20X_j).%24%3C%2Fspan%3E%22%22%22%0A%20%20%20%20)%0A%20%20%20%20_p9%20%3D%20mo.md(r%22%22%22When%20the%20variables%20are%20i.i.d.%2C%20every%20covariance%20is%20zero%20and%20the%20double%20sum%20drops%20out%2C%20leaving%20%24%5Ctext%7Bvar%7D%5Cleft(%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20X_i%5Cright)%20%3D%20n%20%5Csigma_X%5E2%24.%20When%20the%20variables%20are%20not%20independent%2C%20the%20covariances%20do%20not%20vanish.%20Positive%20covariances%20make%20the%20sum%20more%20variable%2C%20and%20negative%20covariances%20make%20it%20less%20variable%2C%20so%20the%20variance%20of%20a%20sum%20is%20larger%20or%20smaller%20depending%20on%20whether%20the%20variables%20tend%20to%20move%20together%20or%20in%20opposite%20directions.%22%22%22)%0A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22%23%23%20Appendix%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_bonus%2C%20_p1%2C%20_eq1%2C%20_p2%2C%20_p3%2C%20_p4%2C%20_eq2%2C%20_p5%2C%20_eq3%2C%20_p6%2C%20_eq4%2C%20_p7%2C%20_p8%2C%20_eq5%2C%20_p9%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec2RandomVariables.html%22%20target%3D%22_self%22%3E%E2%86%90%20Lecture%202%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md('%3Ca%20href%3D%22https%3A%2F%2Frobert-french.github.io%2FEconometrics%2Fapps%2FLec4EstimationHypothesisTestingAndConfidenceIntervals.html%22%20target%3D%22_self%22%3ELecture%204%20%E2%86%92%3C%2Fa%3E')%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22space-between%22%2C%20align%3D%22center%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A