week06 hood notebook

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22numpy%22%2C%0A%23%20%20%20%20%20%22pandas%22%2C%0A%23%20%20%20%20%20%22altair%22%2C%0A%23%20%20%20%20%20%22matplotlib%22%2C%0A%23%20%20%20%20%20%22wigglystuff%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%23%20Week%206%20--%20Looking%20under%20the%20hood%20of%20%60regress%20wage%20educ%60%0A%23%0A%23%20Run%20with%3A%20%20%20marimo%20run%20week06_hood_notebook.py%20%20%20%20%20(app%20view%2C%20code%20hidden)%0A%23%20%20%20or%20with%3A%20%20marimo%20edit%20week06_hood_notebook.py%20%20%20%20(see%20and%20change%20the%20code)%0A%23%0A%23%20Data%3A%20public%2Fwage1.csv%20%3D%20Wooldridge's%20WAGE1%20(526%20US%20workers%2C%201976)%2C%0A%23%20written%20by%20week06_hood_prepare_data.do.%20Goes%20with%0A%23%20week06-Looking-under-the-Hood-Stata.do%20and%20the%20lecture%20notes%20PDF.%0A%23%0A%23%20Prepared%20with%20the%20help%20of%20Claude%20(Anthropic)%2C%20checked%20by%20the%20instructor.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20from%20math%20import%20lgamma%2C%20sqrt%0A%20%20%20%20import%20os%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20concurrent.futures%20import%20ThreadPoolExecutor%0A%0A%20%20%20%20_%20%3D%20alt.data_transformers.disable_max_rows()%20%20%23%20big%20charts%20are%20fine%20(we%20bin%20the%20slopes%20first)%0A%20%20%20%20return%20ThreadPoolExecutor%2C%20alt%2C%20lgamma%2C%20mo%2C%20np%2C%20os%2C%20pd%2C%20sqrt%2C%20sys%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Looking%20under%20the%20hood%20of%20%60regress%20wage%20educ%60%0A%0A%20%20%20%20In%201976%2C%20526%20American%20workers%20told%20a%20survey%20their%20**hourly%20wage**%20and%0A%20%20%20%20their%20**years%20of%20schooling**.%20One%20line%20of%20Stata%2C%20%60regress%20wage%20educ%60%2C%0A%20%20%20%20gave%20us%20the%20table%20below.%20Today%20we%20earn%20the%20**yellow**%20numbers%3A%0A%0A%20%20%20%201.%20**Nobody%20beats%20Stata.**%20Where%20do%20the%20two%20coefficients%20come%20from%3F%0A%20%20%20%202.%20**Rerun%201976.**%20What%20do%20the%20standard%20error%2C%20the%20t-statistic%20and%20the%0A%20%20%20%20%20%20%2095%25%20confidence%20interval%20actually%20mean%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20pd)%3A%0A%20%20%20%20%23%20Load%20the%20real%20data.%20On%20your%20laptop%20and%20in%20the%20browser%20version%20the%20file%20sits%0A%20%20%20%20%23%20next%20to%20the%20notebook.%20On%20molab%20only%20the%20notebook%20is%20copied%2C%20so%20we%20read%20the%0A%20%20%20%20%23%20same%20file%20from%20the%20course's%20GitHub%20repository%20instead.%0A%20%20%20%20GITHUB_CSV%20%3D%20(%22https%3A%2F%2Fraw.githubusercontent.com%2Fiamsurajkumar%2F%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22econ2228-bc-econometrics-stata-lab%2Fmain%2Flectures%2Fweek-06%2Fpublic%2Fwage1.csv%22)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20workers%20%3D%20pd.read_csv(str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22wage1.csv%22))%0A%20%20%20%20except%20OSError%3A%20%20%23%20file%20not%20found%20next%20to%20the%20notebook%20(e.g.%20on%20molab)%0A%20%20%20%20%20%20%20%20workers%20%3D%20pd.read_csv(GITHUB_CSV)%0A%0A%20%20%20%20x%20%3D%20workers%5B%22educ%22%5D.to_numpy(dtype%3Dfloat)%20%20%20%23%20years%20of%20schooling%0A%20%20%20%20y%20%3D%20workers%5B%22wage%22%5D.to_numpy(dtype%3Dfloat)%20%20%20%23%20dollars%20per%20hour%20(1976)%0A%20%20%20%20n%20%3D%20len(y)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20526%20workers%0A%0A%20%20%20%20%23%20Each%20dot%20gets%20a%20small%20random%20sideways%20nudge%20(display%20only)%2C%20because%20many%0A%20%20%20%20%23%20workers%20share%20the%20same%20years%20of%20schooling%20and%20would%20hide%20behind%20each%20other.%0A%20%20%20%20workers%5B%22educ_jit%22%5D%20%3D%20x%20%2B%20np.random.default_rng(7).uniform(-0.25%2C%200.25%2C%20n)%0A%20%20%20%20return%20n%2C%20workers%2C%20x%2C%20y%0A%0A%0A%40app.cell%0Adef%20_(lgamma%2C%20np%2C%20sqrt)%3A%0A%20%20%20%20def%20t_pdf(v%2C%20df)%3A%0A%20%20%20%20%20%20%20%20%23%20Height%20of%20the%20t%20curve%20with%20df%20degrees%20of%20freedom.%0A%20%20%20%20%20%20%20%20const%20%3D%20np.exp(lgamma((df%20%2B%201)%20%2F%202)%20-%20lgamma(df%20%2F%202))%20%2F%20sqrt(df%20*%20np.pi)%0A%20%20%20%20%20%20%20%20return%20const%20*%20(1%20%2B%20np.asarray(v)%20**%202%20%2F%20df)%20**%20(-(df%20%2B%201)%20%2F%202)%0A%0A%20%20%20%20def%20t_tail(t%2C%20df)%3A%0A%20%20%20%20%20%20%20%20%23%20Area%20to%20the%20RIGHT%20of%20t%3A%20Stata's%20ttail(df%2C%20t)%20(Simpson's%20rule%20from%200%20to%20%7Ct%7C).%0A%20%20%20%20%20%20%20%20grid%20%3D%20np.linspace(0%2C%20abs(t)%2C%202001)%0A%20%20%20%20%20%20%20%20f%20%3D%20t_pdf(grid%2C%20df)%0A%20%20%20%20%20%20%20%20middle%20%3D%20(grid%5B1%5D%20-%20grid%5B0%5D)%20%2F%203%20*%20(f%5B0%5D%20%2B%204%20*%20f%5B1%3A-1%3A2%5D.sum()%20%2B%202%20*%20f%5B2%3A-1%3A2%5D.sum()%20%2B%20f%5B-1%5D)%0A%20%20%20%20%20%20%20%20return%20max(0.5%20-%20middle%2C%200.0)%20if%20t%20%3E%3D%200%20else%200.5%20%2B%20middle%0A%0A%20%20%20%20def%20t_crit(area%2C%20df)%3A%0A%20%20%20%20%20%20%20%20%23%20The%20t%20that%20leaves%20%60area%60%20in%20the%20right%20tail%3A%20Stata's%20invttail(df%2C%20area).%0A%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%200.0%2C%20100.0%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(60)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mid_t%20%3D%20(lo%20%2B%20hi)%20%2F%202%0A%20%20%20%20%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%20(mid_t%2C%20hi)%20if%20t_tail(mid_t%2C%20df)%20%3E%20area%20else%20(lo%2C%20mid_t)%0A%20%20%20%20%20%20%20%20return%20(lo%20%2B%20hi)%20%2F%202%0A%0A%20%20%20%20return%20t_crit%2C%20t_pdf%2C%20t_tail%0A%0A%0A%40app.cell%0Adef%20_(n%2C%20np%2C%20t_crit%2C%20t_tail%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20Every%20number%20in%20the%20regress%20table%2C%20computed%20by%20hand%20(same%20formulas%20as%20the%0A%20%20%20%20%23%20do-file).%20%60ols%60%20is%20a%20dictionary%3A%20ols%5B%22b1%22%5D%20is%20the%20slope%2C%20and%20so%20on.%0A%20%20%20%20xbar%2C%20ybar%20%3D%20x.mean()%2C%20y.mean()%0A%20%20%20%20sst_x%20%3D%20((x%20-%20xbar)%20**%202).sum()%0A%20%20%20%20b1%20%3D%20((x%20-%20xbar)%20*%20(y%20-%20ybar)).sum()%20%2F%20sst_x%0A%20%20%20%20b0%20%3D%20ybar%20-%20b1%20*%20xbar%0A%20%20%20%20yhat%20%3D%20b0%20%2B%20b1%20*%20x%0A%20%20%20%20uhat%20%3D%20y%20-%20yhat%0A%20%20%20%20ssr%20%3D%20(uhat%20**%202).sum()%0A%20%20%20%20sst%20%3D%20((y%20-%20ybar)%20**%202).sum()%0A%20%20%20%20sse%20%3D%20((yhat%20-%20ybar)%20**%202).sum()%0A%20%20%20%20df_r%20%3D%20n%20-%202%0A%20%20%20%20sigma%20%3D%20np.sqrt(ssr%20%2F%20df_r)%0A%20%20%20%20se1%20%3D%20sigma%20%2F%20np.sqrt(sst_x)%0A%20%20%20%20se0%20%3D%20sigma%20*%20np.sqrt(1%20%2F%20n%20%2B%20xbar%20**%202%20%2F%20sst_x)%0A%20%20%20%20tc%20%3D%20t_crit(0.025%2C%20df_r)%0A%20%20%20%20ols%20%3D%20dict(%0A%20%20%20%20%20%20%20%20xbar%3Dxbar%2C%20ybar%3Dybar%2C%20sst_x%3Dsst_x%2C%20b1%3Db1%2C%20b0%3Db0%2C%20uhat%3Duhat%2C%0A%20%20%20%20%20%20%20%20ssr%3Dssr%2C%20sst%3Dsst%2C%20sse%3Dsse%2C%20df_r%3Ddf_r%2C%20df_t%3Dn%20-%201%2C%0A%20%20%20%20%20%20%20%20ms_m%3Dsse%2C%20ms_r%3Dssr%20%2F%20df_r%2C%20ms_t%3Dsst%20%2F%20(n%20-%201)%2C%0A%20%20%20%20%20%20%20%20r2%3Dsse%20%2F%20sst%2C%20adj_r2%3D1%20-%20(ssr%20%2F%20df_r)%20%2F%20(sst%20%2F%20(n%20-%201))%2C%20rmse%3Dsigma%2C%0A%20%20%20%20%20%20%20%20se1%3Dse1%2C%20se0%3Dse0%2C%20t1%3Db1%20%2F%20se1%2C%20t0%3Db0%20%2F%20se0%2C%20tc%3Dtc%2C%0A%20%20%20%20%20%20%20%20p1%3D2%20*%20t_tail(abs(b1%20%2F%20se1)%2C%20df_r)%2C%20p0%3D2%20*%20t_tail(abs(b0%20%2F%20se0)%2C%20df_r)%2C%0A%20%20%20%20%20%20%20%20lo1%3Db1%20-%20tc%20*%20se1%2C%20hi1%3Db1%20%2B%20tc%20*%20se1%2C%20lo0%3Db0%20-%20tc%20*%20se0%2C%20hi0%3Db0%20%2B%20tc%20*%20se0%2C%0A%20%20%20%20%20%20%20%20F%3Dsse%20%2F%20(ssr%20%2F%20df_r)%2C%0A%20%20%20%20)%0A%20%20%20%20ols%5B%22pF%22%5D%20%3D%202%20*%20t_tail(np.sqrt(ols%5B%22F%22%5D)%2C%20df_r)%20%20%23%20with%20one%20x%2C%20F%20%3D%20t%C2%B2%20so%20Prob%20%3E%20F%20%3D%20P%3E%7Ct%7C%0A%20%20%20%20return%20(ols%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20n%2C%20ols)%3A%0A%20%20%20%20def%20g(v%2C%20digits%3D7)%3A%0A%20%20%20%20%20%20%20%20%23%20Stata-style%20number%3A%207%20significant%20digits%2C%20no%20leading%20zero%20(.5413593).%0A%20%20%20%20%20%20%20%20s%20%3D%20f%22%7Bv%3A.%7Bdigits%7Dg%7D%22%0A%20%20%20%20%20%20%20%20return%20s.replace(%220.%22%2C%20%22.%22%2C%201)%20if%20s.startswith((%220.%22%2C%20%22-0.%22))%20else%20s%0A%0A%20%20%20%20def%20stata_table(yellow)%3A%0A%20%20%20%20%20%20%20%20%23%20Draw%20Stata's%20regress%20table%2C%20highlighting%20the%20numbers%20whose%20key%20is%20in%20%60yellow%60.%0A%20%20%20%20%20%20%20%20def%20c(key%2C%20text%2C%20width)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pad%20%3D%20%22%20%22%20*%20max(width%20-%20len(text)%2C%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20key%20in%20yellow%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%20%3D%20f'%3Cmark%20style%3D%22background%3A%23ffe066%22%3E%7Btext%7D%3C%2Fmark%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pad%20%2B%20text%0A%0A%20%20%20%20%20%20%20%20o%20%3D%20ols%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20Source%20%7C%20%20%20%20%20%20%20SS%20%20%20%20%20%20%20%20%20%20%20df%20%20%20%20%20%20%20MS%20%20%20%20%20%20Number%20of%20obs%20%20%20%3D%20%22%20%2B%20f%22%7Bn%3A%3E9%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-------------%2B----------------------------------%20%20%20F(1%2C%20524)%20%20%20%20%20%20%20%3D%20%22%20%2B%20f%22%7Bo%5B'F'%5D%3A%3E9.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20Model%20%7C%22%20%2B%20f%22%7Bg(o%5B'sse'%5D%2C%209)%3A%3E12%7D%7B1%3A%3E10%7D%7Bg(o%5B'ms_m'%5D%2C%209)%3A%3E12%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%20%20Prob%20%3E%20F%20%20%20%20%20%20%20%20%3D%20%22%20%2B%20f%22%7Bo%5B'pF'%5D%3A%3E9.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20Residual%20%7C%22%20%2B%20f%22%7Bg(o%5B'ssr'%5D%2C%209)%3A%3E12%7D%7Bo%5B'df_r'%5D%3A%3E10%7D%7Bg(o%5B'ms_r'%5D%2C%209)%3A%3E12%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%20%20R-squared%20%20%20%20%20%20%20%3D%20%22%20%2B%20f%22%7Bo%5B'r2'%5D%3A%3E9.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-------------%2B----------------------------------%20%20%20Adj%20R-squared%20%20%20%3D%20%22%20%2B%20f%22%7Bo%5B'adj_r2'%5D%3A%3E9.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20Total%20%7C%22%20%2B%20f%22%7Bg(o%5B'sst'%5D%2C%209)%3A%3E12%7D%7Bo%5B'df_t'%5D%3A%3E10%7D%7Bg(o%5B'ms_t'%5D%2C%209)%3A%3E12%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%20%20%20Root%20MSE%20%20%20%20%20%20%20%20%3D%20%22%20%2B%20f%22%7Bo%5B'rmse'%5D%3A%3E9.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-%22%20*%2078%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20%20wage%20%7C%20Coefficient%20%20Std.%20err.%20%20%20%20%20%20t%20%20%20%20P%3E%7Ct%7C%20%20%20%20%20%5B95%25%20conf.%20interval%5D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-------------%2B----------------------------------------------------------------%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20%20educ%20%7C%20%22%20%2B%20c(%22b%22%2C%20g(o%5B%22b1%22%5D)%2C%2010)%20%2B%20c(%22se%22%2C%20g(o%5B%22se1%22%5D%2C%206)%2C%2011)%20%2B%20c(%22t%22%2C%20f%22%7Bo%5B't1'%5D%3A.2f%7D%22%2C%209)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22%7Bo%5B'p1'%5D%3A%3E8.3f%7D%22%20%2B%20c(%22ci%22%2C%20g(o%5B%22lo1%22%5D)%2C%2013)%20%2B%20c(%22ci%22%2C%20g(o%5B%22hi1%22%5D)%2C%2012)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%20%20%20%20%20%20%20_cons%20%7C%20%22%20%2B%20c(%22b%22%2C%20g(o%5B%22b0%22%5D)%2C%2010)%20%2B%20f%22%7Bg(o%5B'se0'%5D)%3A%3E11%7D%7Bo%5B't0'%5D%3A%3E9.2f%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22%7Bo%5B'p0'%5D%3A%3E8.3f%7D%7Bg(o%5B'lo0'%5D)%3A%3E13%7D%7Bg(o%5B'hi0'%5D)%3A%3E12%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22-%22%20*%2078%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20return%20mo.Html('%3Cpre%20style%3D%22font-size%3A13px%3B%20line-height%3A1.35%3B%20background%3A%23f6f6f6%3B%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'padding%3A10px%3B%20border-radius%3A6px%3B%20overflow-x%3Aauto%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%22.join(rows)%20%2B%20%22%3C%2Fpre%3E%22)%0A%0A%20%20%20%20stata_table(%7B%22b%22%2C%20%22se%22%2C%20%22t%22%2C%20%22ci%22%7D)%0A%20%20%20%20return%20(stata_table%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%201.%20Nobody%20beats%20Stata%0A%0A%20%20%20%20A%20straight%20line%20needs%20two%20numbers%3A%20an%20**intercept**%20(where%20it%20starts)%0A%20%20%20%20and%20a%20**slope**%20(how%20steeply%20it%20climbs).%20So%20every%20possible%20line%20is%20one%0A%20%20%20%20**point**%20on%20the%20map%20below%3A%20slope%20across%2C%20intercept%20up.%0A%0A%20%20%20%20For%20every%20worker%2C%20a%20line%20makes%20a%20guess.%20The%20**miss**%20(the%20*residual*)%20is%0A%20%20%20%20the%20real%20wage%20minus%20the%20guess.%20A%20line's%20**score**%20is%3A%20square%20every%20miss%2C%0A%20%20%20%20then%20add%20them%20all%20up.%20Lower%20is%20better.%20The%20map%20is%20coloured%20by%20score%3A%0A%20%20%20%20**yellow%20%3D%20low%2C%20purple%20%3D%20high**.%0A%0A%20%20%20%20**Drag%20the%20red%20puck**%20to%20try%20a%20line%3B%20the%20box%20on%20the%20right%20compares%20your%0A%20%20%20%20line%20with%20Stata's%20(the%20gold%20star).%20Can%20you%20find%20a%20spot%20with%20a%20lower%20score%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20ols%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20Score%20of%20every%20line%20on%20a%2061%20x%2061%20grid%20of%20(slope%2C%20intercept)%20pairs.%0A%20%20%20%20%23%20score%5Bi%2C%20j%5D%20%3D%20sum%20of%20squared%20misses%20for%20intercept%20i%20and%20slope%20j.%0A%20%20%20%20slope_range%20%3D%20(ols%5B%22b1%22%5D%20-%200.4%2C%20ols%5B%22b1%22%5D%20%2B%200.4)%0A%20%20%20%20icept_range%20%3D%20(ols%5B%22b0%22%5D%20-%204.0%2C%20ols%5B%22b0%22%5D%20%2B%204.0)%0A%20%20%20%20grid_slopes%20%3D%20np.linspace(*slope_range%2C%2061)%0A%20%20%20%20grid_iceps%20%3D%20np.linspace(*icept_range%2C%2061)%0A%20%20%20%20_B1%2C%20_B0%20%3D%20np.meshgrid(grid_slopes%2C%20grid_iceps)%0A%20%20%20%20_fits%20%3D%20_B0%5B...%2C%20None%5D%20%2B%20_B1%5B...%2C%20None%5D%20*%20x%20%20%20%20%20%20%20%20%20%20%20%20%23%20every%20line's%20guess%20for%20every%20worker%0A%20%20%20%20grid_score%20%3D%20((y%20-%20_fits)%20**%202).sum(axis%3D-1)%0A%20%20%20%20return%20grid_iceps%2C%20grid_score%2C%20grid_slopes%2C%20icept_range%2C%20slope_range%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20grid_iceps%2C%0A%20%20%20%20grid_score%2C%0A%20%20%20%20grid_slopes%2C%0A%20%20%20%20icept_range%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20ols%2C%0A%20%20%20%20slope_range%2C%0A%20%20%20%20x%2C%0A%20%20%20%20y%2C%0A)%3A%0A%20%20%20%20from%20wigglystuff%20import%20ChartPuck%0A%0A%20%20%20%20def%20draw_map(ax%2C%20widget)%3A%0A%20%20%20%20%20%20%20%20%23%20Redrawn%20every%20time%20the%20puck%20moves.%20Left%3A%20the%20map%2C%20coloured%20by%0A%20%20%20%20%20%20%20%20%23%20log(score)%20so%20the%20deep%20valley%20shows%20up.%20Right%3A%20you%20vs%20Stata.%0A%20%20%20%20%20%20%20%20ax.figure.subplots_adjust(left%3D0.11%2C%20right%3D0.62%2C%20bottom%3D0.13%2C%20top%3D0.95)%0A%20%20%20%20%20%20%20%20ax.contourf(grid_slopes%2C%20grid_iceps%2C%20np.log(grid_score)%2C%20levels%3D30%2C%20cmap%3D%22viridis_r%22)%0A%20%20%20%20%20%20%20%20ax.contour(grid_slopes%2C%20grid_iceps%2C%20np.log(grid_score)%2C%20levels%3D15%2C%20colors%3D%22white%22%2C%20linewidths%3D0.4)%0A%20%20%20%20%20%20%20%20ax.plot(ols%5B%22b1%22%5D%2C%20ols%5B%22b0%22%5D%2C%20marker%3D%22*%22%2C%20markersize%3D18%2C%20color%3D%22%23ffd700%22%2C%20markeredgecolor%3D%22black%22)%0A%20%20%20%20%20%20%20%20ax.set_xlabel(%22Slope%20(extra%20%24%20per%20year%20of%20school)%22)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(%22Intercept%20(%24%20at%200%20years%20of%20school)%22)%0A%0A%20%20%20%20%20%20%20%20b1%2C%20b0%20%3D%20widget.x%5B0%5D%2C%20widget.y%5B0%5D%0A%20%20%20%20%20%20%20%20score%20%3D%20float(((y%20-%20b0%20-%20b1%20*%20x)%20**%202).sum())%0A%20%20%20%20%20%20%20%20gap%20%3D%20score%20%2F%20ols%5B%22ssr%22%5D%20-%201%0A%20%20%20%20%20%20%20%20panel%20%3D%20(f%22%20%20%20%20%20%20%20%20%20%20%20%20YOU%20%20%20%20%20%20STATA%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22intercept%20%7Bb0%3A7.3f%7D%20%20%7Bols%5B'b0'%5D%3A7.3f%7D%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22slope%20%20%20%20%20%7Bb1%3A7.3f%7D%20%20%7Bols%5B'b1'%5D%3A7.3f%7D%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22score%20%20%20%20%7Bscore%3A8.1f%7D%20%7Bols%5B'ssr'%5D%3A8.1f%7D%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22On%20the%20valley%20floor%3A%5Cnno%20lower%20score%20exists.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20gap%20%3C%200.002%20else%20f%22Your%20score%20is%20%7Bgap%3A.1%25%7D%5Cnworse%20than%20Stata's.%22))%0A%20%20%20%20%20%20%20%20ax.text(1.05%2C%200.5%2C%20panel%2C%20transform%3Dax.transAxes%2C%20va%3D%22center%22%2C%20ha%3D%22left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20family%3D%22monospace%22%2C%20fontsize%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bbox%3Ddict(boxstyle%3D%22round%2Cpad%3D0.6%22%2C%20facecolor%3D%22%23f6f6f6%22%2C%20edgecolor%3D%22%23ccc%22))%0A%0A%20%20%20%20%23%20ChartPuck.from_callback%3A%20a%20draggable%20dot%20on%20a%20matplotlib%20picture%20that%20is%0A%20%20%20%20%23%20redrawn%20by%20draw_map%20whenever%20the%20dot%20moves.%20puck.x%20%2F%20puck.y%20are%20lists%0A%20%20%20%20%23%20(one%20entry%20per%20puck)%20in%20the%20chart's%20own%20units.%0A%20%20%20%20%23%20throttle%3D80%3A%20send%20the%20position%20at%20most%20every%2080%20ms%20while%20dragging.%0A%20%20%20%20puck%20%3D%20mo.ui.anywidget(ChartPuck.from_callback(%0A%20%20%20%20%20%20%20%20draw_map%2C%20x_bounds%3Dslope_range%2C%20y_bounds%3Dicept_range%2C%20figsize%3D(9.5%2C%204.6)%2C%0A%20%20%20%20%20%20%20%20x%3Dfloat(ols%5B%22b1%22%5D%20-%200.3)%2C%20y%3Dfloat(ols%5B%22b0%22%5D%20%2B%203.0)%2C%20throttle%3D80%2C%20puck_color%3D%22%23d62728%22))%0A%20%20%20%20puck%0A%20%20%20%20return%20(puck%2C)%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20mo%2C%20ols%2C%20pd%2C%20puck%2C%20workers%2C%20x%2C%20y)%3A%0A%20%20%20%20%23%20The%20puck's%20position%20is%20the%20line%20you%20chose.%0A%20%20%20%20my_b1%2C%20my_b0%20%3D%20float(puck.x%5B0%5D)%2C%20float(puck.y%5B0%5D)%0A%20%20%20%20my_score%20%3D%20float(((y%20-%20my_b0%20-%20my_b1%20*%20x)%20**%202).sum())%0A%0A%20%20%20%20_dots%20%3D%20workers.assign(fit%3Dmy_b0%20%2B%20my_b1%20*%20workers%5B%22educ_jit%22%5D)%0A%20%20%20%20%23%20Residual%20%3D%20real%20wage%20-%20guess.%20Positive%3A%20the%20worker%20earns%20MORE%20than%20the%20line%20says.%0A%20%20%20%20_dots%5B%22miss%22%5D%20%3D%20(_dots%5B%22wage%22%5D%20%3E%20_dots%5B%22fit%22%5D).map(%0A%20%20%20%20%20%20%20%20%7BTrue%3A%20%22positive%3A%20earns%20more%20than%20the%20line%20guesses%22%2C%20False%3A%20%22negative%3A%20earns%20less%20than%20the%20line%20guesses%22%7D)%0A%20%20%20%20_n_pos%20%3D%20int((_dots%5B%22wage%22%5D%20%3E%20_dots%5B%22fit%22%5D).sum())%0A%20%20%20%20_xs%20%3D%20pd.DataFrame(%7B%22educ_jit%22%3A%20%5B-0.5%2C%2018.5%5D%7D)%0A%20%20%20%20_scale_y%20%3D%20alt.Scale(domain%3D%5B-2%2C%2026%5D)%0A%20%20%20%20_sticks%20%3D%20alt.Chart(_dots).mark_rule(opacity%3D0.5%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3D%22educ_jit%3AQ%22%2C%20y%3Dalt.Y(%22wage%3AQ%22%2C%20scale%3D_scale_y)%2C%20y2%3D%22fit%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22miss%3AN%22%2C%20title%3D%22Residual%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22positive%3A%20earns%20more%20than%20the%20line%20guesses%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22negative%3A%20earns%20less%20than%20the%20line%20guesses%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%231f77b4%22%2C%20%22%23d62728%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(orient%3D%22top-left%22)))%0A%20%20%20%20_cloud%20%3D%20alt.Chart(_dots).mark_circle(size%3D22%2C%20color%3D%22%23555%22%2C%20opacity%3D0.6%2C%20clip%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22educ_jit%3AQ%22%2C%20title%3D%22Years%20of%20schooling%20(educ)%22%2C%20scale%3Dalt.Scale(domain%3D%5B-0.5%2C%2018.5%5D))%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22wage%3AQ%22%2C%20title%3D%22Hourly%20wage%2C%20%24%20(1976)%22%2C%20scale%3D_scale_y))%0A%20%20%20%20_mine%20%3D%20alt.Chart(_xs.assign(fit%3Dmy_b0%20%2B%20my_b1%20*%20_xs%5B%22educ_jit%22%5D)).mark_line(%0A%20%20%20%20%20%20%20%20color%3D%22black%22%2C%20strokeWidth%3D3%2C%20clip%3DTrue).encode(x%3D%22educ_jit%3AQ%22%2C%20y%3D%22fit%3AQ%22)%0A%0A%20%20%20%20_gap%20%3D%20my_score%20%2F%20ols%5B%22ssr%22%5D%20-%201%0A%20%20%20%20_verdict%20%3D%20(%22%F0%9F%8F%86%20**You%20are%20on%20the%20bottom%20of%20the%20valley%2C%20right%20next%20to%20Stata's%20star.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Nobody%20gets%20below%205%2C980.68.**%22%20if%20_gap%20%3C%200.002%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Your%20line's%20score%20is%20**%7B_gap%3A.1%25%7D%20worse**%20than%20Stata's.%20Drag%20toward%20the%20yellow%20valley!%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22**Your%20line**%20(black)%3A%20wage%20%3D%20%7Bmy_b0%3A.3f%7D%20%2B%20%7Bmy_b1%3A.3f%7D%20%C3%97%20educ.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Blue%20sticks%3A%20workers%20above%20the%20line%20(%7B_n_pos%7D).%20Red%20sticks%3A%20workers%20below%20it%20(%7Blen(_dots)%20-%20_n_pos%7D).%22)%2C%0A%20%20%20%20%20%20%20%20(_sticks%20%2B%20_cloud%20%2B%20_mine).properties(width%3D620%2C%20height%3D340)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bmy_score%3A%2C.2f%7D%22%2C%20label%3D%22Your%20score%20(sum%20of%20squared%20misses)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bols%5B'ssr'%5D%3A%2C.2f%7D%22%2C%20label%3D%22Stata's%20score%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20mo.md(_verdict)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20my_b0%2C%20my_b1%2C%20my_score%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20same%20map%20in%203D%3A%20a%20bowl%0A%0A%20%20%20%20Lift%20every%20point%20of%20the%20map%20to%20the%20height%20of%20its%20score%20and%20you%20get%20a%0A%20%20%20%20**bowl**%20(a%20long%2C%20narrow%20one).%20The%20red%20ball%20is%20your%20line%3B%20the%20gold%20ball%0A%20%20%20%20is%20Stata's%2C%20at%20the%20**very%20bottom**.%20Drag%20to%20spin%2C%20scroll%20to%20zoom.%0A%20%20%20%20Notice%20it%20is%20a%20long%20**valley**%2C%20not%20a%20round%20bowl%3A%20a%20steeper%20line%20with%20a%0A%20%20%20%20lower%20start%20scores%20almost%20as%20well%2C%20so%20you%20can%20slide%20along%20the%20valley%20floor%0A%20%20%20%20and%20barely%20climb.%20Only%20one%20spot%20on%20that%20floor%20is%20the%20lowest.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(grid_iceps%2C%20grid_score%2C%20grid_slopes%2C%20mo%2C%20np%2C%20ols)%3A%0A%20%20%20%20import%20matplotlib%20as%20_mpl%0A%20%20%20%20from%20wigglystuff%20import%20ThreeWidget%0A%0A%20%20%20%20_top%20%3D%20grid_score.max()%0A%0A%20%20%20%20def%20to_box(slope%2C%20icept%2C%20score)%3A%0A%20%20%20%20%20%20%20%20%23%20Squeeze%20(slope%2C%20intercept%2C%20score)%20into%20a%20box%20the%20widget%20can%20draw%3A%0A%20%20%20%20%20%20%20%20%23%20slope%20and%20intercept%20run%20-1..1%20across%20the%20map%2C%20height%20runs%200%20(Stata)%20to%201.2%20(worst%20line).%0A%20%20%20%20%20%20%20%20return%20%7B%22x%22%3A%20float((slope%20-%20ols%5B%22b1%22%5D)%20%2F%200.4)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22z%22%3A%20float(-(icept%20-%20ols%5B%22b0%22%5D)%20%2F%204.0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22y%22%3A%20float(1.2%20*%20(score%20-%20ols%5B%22ssr%22%5D)%20%2F%20(_top%20-%20ols%5B%22ssr%22%5D))%7D%0A%0A%20%20%20%20_cmap%20%3D%20_mpl.colormaps%5B%22viridis_r%22%5D%0A%20%20%20%20bowl_points%20%3D%20%5B%5D%0A%20%20%20%20for%20_i%2C%20_b0%20in%20enumerate(grid_iceps)%3A%0A%20%20%20%20%20%20%20%20for%20_j%2C%20_b1%20in%20enumerate(grid_slopes)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_p%20%3D%20to_box(_b1%2C%20_b0%2C%20grid_score%5B_i%2C%20_j%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_p.update(color%3D_mpl.colors.to_hex(_cmap(np.sqrt(_p%5B%22y%22%5D%20%2F%201.2)))%2C%20size%3D0.035)%0A%20%20%20%20%20%20%20%20%20%20%20%20bowl_points.append(_p)%0A%0A%0A%20%20%20%20def%20stem(slope%2C%20icept%2C%20score%2C%20color)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20ball%20plus%20dotted%20guide%20lines%20down%20to%20the%20floor%20and%20out%20to%20the%20two%0A%20%20%20%20%20%20%20%20%23%20floor%20edges%2C%20so%20you%20can%20read%20off%20where%20the%20ball%20sits.%0A%20%20%20%20%20%20%20%20top%20%3D%20to_box(slope%2C%20icept%2C%20score)%0A%20%20%20%20%20%20%20%20pts%20%3D%20%5B%7B**top%2C%20%22color%22%3A%20color%2C%20%22size%22%3A%200.16%7D%5D%0A%20%20%20%20%20%20%20%20for%20_k%20in%20range(1%2C%2025)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_f%20%3D%20_k%20%2F%2025%0A%20%20%20%20%20%20%20%20%20%20%20%20pts.append(%7B%22x%22%3A%20top%5B%22x%22%5D%2C%20%22y%22%3A%20top%5B%22y%22%5D%20*%20_f%2C%20%22z%22%3A%20top%5B%22z%22%5D%2C%20%22color%22%3A%20color%2C%20%22size%22%3A%200.025%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20pts.append(%7B%22x%22%3A%20top%5B%22x%22%5D%2C%20%22y%22%3A%200.0%2C%20%22z%22%3A%20top%5B%22z%22%5D%20%2B%20(-0.72%20-%20top%5B%22z%22%5D)%20*%20_f%2C%20%22color%22%3A%20color%2C%20%22size%22%3A%200.02%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20pts.append(%7B%22x%22%3A%20top%5B%22x%22%5D%20%2B%20(-0.72%20-%20top%5B%22x%22%5D)%20*%20_f%2C%20%22y%22%3A%200.0%2C%20%22z%22%3A%20top%5B%22z%22%5D%2C%20%22color%22%3A%20color%2C%20%22size%22%3A%200.02%7D)%0A%20%20%20%20%20%20%20%20return%20pts%0A%0A%20%20%20%20bowl_points%20%2B%3D%20stem(ols%5B%22b1%22%5D%2C%20ols%5B%22b0%22%5D%2C%20ols%5B%22ssr%22%5D%2C%20%22%23e6b800%22)%0A%0A%20%20%20%20bowl%20%3D%20mo.ui.anywidget(ThreeWidget(data%3Dbowl_points%2C%20width%3D900%2C%20height%3D580%2C%20show_grid%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_axes%3DTrue%2C%20axis_labels%3D%5Bf%22slope%20(%7Bgrid_slopes%5B0%5D%3A.2f%7D%20%E2%86%92%20%7Bgrid_slopes%5B-1%5D%3A.2f%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22score%20(sum%20of%20squared%20residuals)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22intercept%20(%7Bgrid_iceps%5B-1%5D%3A.1f%7D%20%E2%86%92%20%7Bgrid_iceps%5B0%5D%3A.1f%7D)%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Limits%20a%20bit%20inside%20the%20bowl%2C%20so%20the%20camera%20starts%20zoomed%20in.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xlim%3D(-0.72%2C%200.72)%2C%20ylim%3D(0%2C%200.8)%2C%20zlim%3D(-0.72%2C%200.72)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20camera_azimuth%3D35%2C%20camera_elevation%3D28))%0A%20%20%20%20bowl%0A%20%20%20%20return%20bowl%2C%20bowl_points%2C%20stem%0A%0A%0A%40app.cell%0Adef%20_(bowl%2C%20bowl_points%2C%20mo%2C%20my_b0%2C%20my_b1%2C%20my_score%2C%20ols%2C%20stem)%3A%0A%20%20%20%20%23%20Move%20the%20red%20ball%20(and%20its%20guide%20lines)%20whenever%20the%20puck%20moves%3B%20the%20bowl%0A%20%20%20%20%23%20itself%20is%20not%20redrawn%2C%20so%20your%20spin%20and%20zoom%20stay%20put.%0A%20%20%20%20bowl.widget.data%20%3D%20bowl_points%20%2B%20stem(my_b1%2C%20my_b0%2C%20my_score%2C%20%22%23d62728%22)%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22font-family%3Amonospace%3B%20font-size%3A15px%3B%20line-height%3A1.6%22%3E%0A%20%20%20%20%3Cspan%20style%3D%22color%3A%23d62728%22%3E%E2%97%8F%20YOU%20%20%3C%2Fspan%3E%20slope%20%3D%20%7Bmy_b1%3A.4f%7D%20%26nbsp%3B%20intercept%20%3D%20%7Bmy_b0%3A7.4f%7D%20%26nbsp%3B%20score%20%3D%20%7Bmy_score%3A10%2C.1f%7D%3Cbr%3E%0A%20%20%20%20%3Cspan%20style%3D%22color%3A%23e6b800%22%3E%E2%97%8F%20STATA%3C%2Fspan%3E%20slope%20%3D%20%7Bols%5B%22b1%22%5D%3A.4f%7D%20%26nbsp%3B%20intercept%20%3D%20%7Bols%5B%22b0%22%5D%3A7.4f%7D%20%26nbsp%3B%20score%20%3D%20%7Bols%5B%22ssr%22%5D%3A10%2C.1f%7D%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3Csmall%3EDotted%20lines%20drop%20from%20each%20ball%20to%20the%20floor%20and%20run%20out%20to%20the%20slope%20and%20intercept%20edges.%20Scroll%20inside%20the%20box%20to%20zoom%2C%20drag%20to%20spin.%3C%2Fsmall%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20ols%2C%20x%2C%20y)%3A%0A%20%20%20%20_sxy%20%3D%20((x%20-%20ols%5B%22xbar%22%5D)%20*%20(y%20-%20ols%5B%22ybar%22%5D)).sum()%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20**Stata%20never%20guesses.**%20A%20bit%20of%20algebra%20(the%20bottom%20of%20a%20bowl%20is%20where%0A%20%20%20%20it%20is%20flat%20in%20every%20direction)%20finds%20the%20bottom%20exactly%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Chat%5Cbeta_1%3D%5Cfrac%7B%7B%5Csum_i%20(x_i-%5Cbar%20x)(y_i-%5Cbar%20y)%7D%7D%7B%7B%5Csum_i%20(x_i-%5Cbar%20x)%5E2%7D%7D%0A%20%20%20%20%3D%20%5Cfrac%7B%7B%7B_sxy%3A%2C.3f%7D%7D%7D%7B%7B%7Bols%5B'sst_x'%5D%3A%2C.3f%7D%7D%7D%20%3D%20%7Bols%5B'b1'%5D%3A.7f%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Chat%5Cbeta_0%3D%5Cbar%20y-%5Chat%5Cbeta_1%5C%2C%5Cbar%20x%20%3D%20%7Bols%5B'ybar'%5D%3A.4f%7D%20-%20%7Bols%5B'b1'%5D%3A.4f%7D%5Ctimes%7Bols%5B'xbar'%5D%3A.4f%7D%20%3D%20%7Bols%5B'b0'%5D%3A.7f%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20One%20more%20year%20of%20school%20%E2%86%94%20about%20**54%20cents**%20more%20per%20hour%20(1976%20dollars).%0A%20%20%20%20The%20bowl%20is%20long%20and%20narrow%20because%20slope%20and%20intercept%20can%20trade%20off%3A%0A%20%20%20%20a%20steeper%20line%20with%20a%20lower%20start%20scores%20almost%20as%20well.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20ols)%3A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%202.%20Rerun%201976%0A%0A%20%20%20%20Our%20slope%20is%20**%7Bols%5B'b1'%5D%3A.3f%7D**.%20But%20every%20wage%20contains%20some%20**luck**%0A%20%20%20%20(the%20residual).%20With%20different%20luck%2C%20would%20a%20survey%20still%20find%200.54%3F%0A%0A%20%20%20%20Let's%20build%20a%20**pretend%20world**%20where%20we%20*know*%20the%20truth%3A%0A%0A%20%20%20%20%24%24%5Ctext%7B%7Bwage%7D%7D%20%3D%20%7Bols%5B'b0'%5D%3A.3f%7D%20%2B%20%7Bols%5B'b1'%5D%3A.3f%7D%5Ctimes%5Ctext%7B%7Beduc%7D%7D%20%2B%20%5Ctext%7B%7Bluck%7D%7D%24%24%0A%0A%20%20%20%20so%20the%20**true%20slope%20is%20%7Bols%5B'b1'%5D%3A.3f%7D**.%20Each%20rerun%20of%20the%20survey%20asks%0A%20%20%20%20**n**%20workers.%20Each%20worker's%20schooling%20is%20drawn%20from%20the%20real%201976%20workers%2C%0A%20%20%20%20and%20their%20luck%20is%20drawn%20out%20of%20a%20hat%20holding%20the%20526%20real%20residuals%20(each%0A%20%20%20%20one%20put%20back%20after%20drawing)%2C%20so%20a%20pretend%20survey%20can%20even%20be%20bigger%20than%0A%20%20%20%20the%20real%20one.%20Then%20we%20run%20%60regress%60%20on%20that%20survey.%0A%20%20%20%20We%20repeat%20the%20survey%20as%20many%20times%20as%20you%20like.%0A%0A%20%20%20%20**Hover**%20over%20a%20slider%20to%20preview%20a%20value%3B%20**click**%20to%20keep%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20from%20wigglystuff%20import%20HoverSlider%0A%0A%20%20%20%20%23%20HoverSlider%3A%20like%20a%20slider%2C%20but%20it%20also%20reports%20where%20the%20mouse%20is%20hovering%0A%20%20%20%20%23%20(hover_value)%2C%20so%20the%20charts%20update%20while%20you%20sweep%20across%20the%20track.%0A%20%20%20%20%23%20sync_throttle_ms%3D150%3A%20send%20at%20most%20~7%20updates%20a%20second%20while%20hovering.%0A%20%20%20%20%23%20Both%20sliders'%20steps%20roughly%20double%20each%20time%20(like%20a%20log%20scale).%20526%20is%20the%0A%20%20%20%20%23%20real%20survey's%20size%2C%20where%20the%20SE%20should%20match%20Stata's.%20Above%20100%2C000%20surveys%0A%20%20%20%20%23%20each%20rerun%20takes%20about%20a%20second%20(longer%20in%20the%20browser%20version)%2C%20so%20CLICK%20there.%0A%20%20%20%20n_survey%20%3D%20mo.ui.anywidget(HoverSlider(steps%3D%5B25%2C%2050%2C%20100%2C%20200%2C%20526%2C%201000%2C%202000%2C%205000%5D%2C%20value%3D526%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Workers%20in%20each%20survey%20(n)%22%2C%20sync_throttle_ms%3D150%2C%20width%3D260))%0A%20%20%20%20n_reps%20%3D%20mo.ui.anywidget(HoverSlider(steps%3D%5B1%2C%205%2C%2010%2C%2020%2C%2050%2C%20100%2C%20200%2C%20500%2C%201000%2C%202000%2C%205000%2C%2010000%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2020000%2C%2050000%2C%20100000%2C%20200000%2C%20500000%2C%201000000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D2000%2C%20label%3D%22Number%20of%20surveys%22%2C%20sync_throttle_ms%3D250%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D260))%0A%20%20%20%20%23%20How%20wide%20each%20interval%20is%2C%20in%20SEs%20either%20side%20of%20the%20slope%3A%20%20slope%20%C2%B1%20k%20%C3%97%20SE.%0A%20%20%20%20%23%20The%20surveys%20(and%20their%20SEs)%20stay%20the%20same%2C%20so%20moving%20it%20does%20not%20rerun%20them%3B%0A%20%20%20%20%23%20the%20dashboard%20turns%20k%20into%20the%20confidence%20it%20buys%20(1.96%20SE%20-%3E%2095%25).%0A%20%20%20%20n_ses%20%3D%20mo.ui.anywidget(HoverSlider(steps%3D%5B0.5%2C%201%2C%201.5%2C%201.65%2C%201.96%2C%202.5%2C%202.58%2C%203%2C%203.5%5D%2C%20value%3D1.96%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Interval%3A%20%C2%B1%20how%20many%20SEs%22%2C%20sync_throttle_ms%3D100%2C%20width%3D260))%0A%20%20%20%20redraw%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201%2C%20label%3D%22%F0%9F%8E%B2%20Rerun%20the%20surveys%22)%0A%20%20%20%20mo.hstack(%5Bn_survey%2C%20n_reps%2C%20n_ses%2C%20redraw%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20n_reps%2C%20n_ses%2C%20n_survey%2C%20redraw%0A%0A%0A%40app.cell%0Adef%20_(ThreadPoolExecutor%2C%20n%2C%20n_reps%2C%20n_survey%2C%20np%2C%20ols%2C%20os%2C%20redraw%2C%20sys%2C%20x)%3A%0A%20%20%20%20%23%20R%20reruns%20of%20the%20survey%2C%20each%20with%20m%20workers%20(rows%20%3D%20reruns).%20We%20read%20the%0A%20%20%20%20%23%20HOVER%20value%2C%20so%20the%20charts%20follow%20the%20mouse%3B%20it%20equals%20the%20clicked%20value%0A%20%20%20%20%23%20once%20the%20mouse%20leaves%20the%20slider.%0A%20%20%20%20_m%20%3D%20int(n_survey.value%5B%22hover_value%22%5D)%0A%20%20%20%20rr_asked%20%3D%20int(n_reps.value%5B%22hover_value%22%5D)%0A%20%20%20%20%23%20Cap%20the%20work%20at%201%20billion%20worker-rows%20(about%202%20seconds%20on%20a%20laptop)%3A%201%2C000%2C000%0A%20%20%20%20%23%20surveys%20of%20up%20to%201%2C000%20workers%20fit%2C%20but%20bigger%20surveys%20get%20fewer%20reruns.%0A%20%20%20%20rr_reps%20%3D%20min(rr_asked%2C%201_000_000_000%20%2F%2F%20_m)%0A%0A%20%20%20%20def%20_one_batch(reps%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%23%20%60reps%60%20surveys%20of%20_m%20workers%20at%20once%3A%20rows%20%3D%20surveys%2C%20columns%20%3D%20workers.%0A%20%20%20%20%20%20%20%20%23%20In%20the%20pretend%20world%20%20wage%20%3D%20b0%20%2B%20b1*educ%20%2B%20luck%2C%20%20so%20each%20survey's%20slope%20and%0A%20%20%20%20%20%20%20%20%23%20SE%20come%20from%20five%20sums%20of%20educ%20(x)%20and%20luck%20(u)%20alone%3B%20no%20residual%20table%20needed%3A%0A%20%20%20%20%20%20%20%20%23%20%20%20slope%20%3D%20b1%20%2B%20Sxu%20%2F%20Sxx%2C%20%20%20%20SSR%20%3D%20Suu%20-%20Sxu%5E2%20%2F%20Sxx%20%20%20%20(S%20%3D%20centred%20sums)%0A%20%20%20%20%20%20%20%20xs%20%3D%20x%5Brng.integers(0%2C%20n%2C%20size%3D(reps%2C%20_m)%2C%20dtype%3Dnp.int16)%5D%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20schooling%0A%20%20%20%20%20%20%20%20us%20%3D%20ols%5B%22uhat%22%5D%5Brng.integers(0%2C%20n%2C%20size%3D(reps%2C%20_m)%2C%20dtype%3Dnp.int16)%5D%20%20%20%20%20%23%20luck%0A%20%20%20%20%20%20%20%20sx%2C%20su%20%3D%20xs.sum(axis%3D1)%2C%20us.sum(axis%3D1)%0A%20%20%20%20%20%20%20%20sxx%20%3D%20np.einsum(%22ij%2Cij-%3Ei%22%2C%20xs%2C%20xs)%20-%20sx%20*%20sx%20%2F%20_m%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20row-by-row%20dot%20products%0A%20%20%20%20%20%20%20%20sxu%20%3D%20np.einsum(%22ij%2Cij-%3Ei%22%2C%20xs%2C%20us)%20-%20sx%20*%20su%20%2F%20_m%0A%20%20%20%20%20%20%20%20suu%20%3D%20np.einsum(%22ij%2Cij-%3Ei%22%2C%20us%2C%20us)%20-%20su%20*%20su%20%2F%20_m%0A%20%20%20%20%20%20%20%20gap%20%3D%20sxu%20%2F%20sxx%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20this%20survey's%20slope%20-%20truth%0A%20%20%20%20%20%20%20%20return%20ols%5B%22b1%22%5D%20%2B%20gap%2C%20np.sqrt((suu%20-%20gap%20*%20sxu)%20%2F%20(_m%20-%202)%20%2F%20sxx)%20%20%20%20%20%20%20%20%23%20slope%2C%20and%20the%20SE%20Stata%20prints%0A%0A%20%20%20%20%23%20Run%20the%20surveys%20in%20batches%20of%20about%201%20million%20worker-rows%2C%20spread%20over%20the%0A%20%20%20%20%23%20computer's%20CPU%20cores%20(threads).%20Each%20batch%20gets%20its%20own%20random%20stream%2C%20so%20the%0A%20%20%20%20%23%20result%20is%20the%20same%20however%20many%20cores%20run%20it.%20The%20browser%20version%20(WASM)%0A%20%20%20%20%23%20has%20no%20threads%2C%20so%20there%20the%20batches%20run%20one%20after%20another.%0A%20%20%20%20_size%20%3D%20max(20%2C%201_000_000%20%2F%2F%20_m)%0A%20%20%20%20_starts%20%3D%20range(0%2C%20rr_reps%2C%20_size)%0A%20%20%20%20_streams%20%3D%20np.random.SeedSequence(100%20%2B%20redraw.value).spawn(len(_starts))%0A%20%20%20%20_jobs%20%3D%20%5B(min(_size%2C%20rr_reps%20-%20_s)%2C%20np.random.default_rng(_ss))%20for%20_s%2C%20_ss%20in%20zip(_starts%2C%20_streams)%5D%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20_batches%20%3D%20%5B_one_batch(*_j)%20for%20_j%20in%20_jobs%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20with%20ThreadPoolExecutor(max_workers%3Dos.cpu_count())%20as%20_pool%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_batches%20%3D%20list(_pool.map(lambda%20_j%3A%20_one_batch(*_j)%2C%20_jobs))%0A%20%20%20%20rr_b1%20%3D%20np.concatenate(%5B_b%20for%20_b%2C%20_%20in%20_batches%5D)%0A%20%20%20%20rr_se%20%3D%20np.concatenate(%5B_se%20for%20_%2C%20_se%20in%20_batches%5D)%0A%20%20%20%20rr_m%20%3D%20_m%0A%20%20%20%20return%20rr_asked%2C%20rr_b1%2C%20rr_m%2C%20rr_reps%2C%20rr_se%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_ses%2C%0A%20%20%20%20np%2C%0A%20%20%20%20ols%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20rr_asked%2C%0A%20%20%20%20rr_b1%2C%0A%20%20%20%20rr_m%2C%0A%20%20%20%20rr_reps%2C%0A%20%20%20%20rr_se%2C%0A%20%20%20%20t_pdf%2C%0A%20%20%20%20t_tail%2C%0A)%3A%0A%20%20%20%20%23%20One%20dashboard%20for%20Steps%20A%2C%20B%20and%20C%3A%20both%20plots%20use%20the%20same%20surveys%20and%20the%0A%20%20%20%20%23%20same%20x-axis%2C%20so%20they%20update%20together%20when%20you%20move%20either%20slider.%0A%20%20%20%20_se_avg%20%3D%20rr_se.mean()%0A%20%20%20%20%23%20You%20pick%20how%20many%20SEs%20either%20side%20(k)%3B%20the%20t%20curve%20says%20what%20confidence%20that%0A%20%20%20%20%23%20buys%3A%20the%20area%20under%20it%20between%20-k%20and%20%2Bk%20(1.96%20-%3E%2095%25%2C%202.58%20-%3E%2099%25).%0A%20%20%20%20%23%20The%20SEs%20do%20not%20change%3B%20only%20how%20many%20SEs%20wide%20each%20interval%20is.%0A%20%20%20%20_tc%20%3D%20float(n_ses.value%5B%22hover_value%22%5D)%0A%20%20%20%20_conf%20%3D%20100%20*%20(1%20-%202%20*%20t_tail(_tc%2C%20rr_m%20-%202))%0A%20%20%20%20_lvl%20%3D%20f%22%7B_conf%3A.1f%7D%25%22%0A%20%20%20%20_lo_x%20%3D%20min(-0.05%2C%20ols%5B%22b1%22%5D%20-%20max(4.5%2C%20_tc%20%2B%201)%20*%20_se_avg)%20%20%20%20%20%20%23%20always%20keep%20zero%20in%20view%0A%20%20%20%20_hi_x%20%3D%20ols%5B%22b1%22%5D%20%2B%20max(4.5%2C%20_tc%20%2B%201)%20*%20_se_avg%0A%20%20%20%20_xscale%20%3D%20alt.Scale(domain%3D%5B_lo_x%2C%20_hi_x%5D)%0A%0A%20%20%20%20%23%20Left%20(Step%20A)%3A%20every%20survey's%20slope%2C%20with%20the%20green%20%22truth%20%C2%B1%20t_c%20SE%22%20band.%0A%20%20%20%20%23%20One%20legend%20names%20every%20layer%3A%20each%20layer's%20data%20gets%20a%20%22what%22%20column%20holding%0A%20%20%20%20%23%20its%20label%2C%20and%20all%20layers%20share%20one%20colour%20scale%2C%20so%20the%20legend%20lists%20them%20in%0A%20%20%20%20%23%20this%20order.%0A%20%20%20%20_names%20%3D%20%7B%22bars%22%3A%20%22Surveys%3A%20how%20many%20found%20each%20slope%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22curve%22%3A%20%22t%20curve%3A%20the%20spread%20Stata's%20SE%20predicts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22band%22%3A%20f%22Green%20zone%3A%20truth%20%C2%B1%20%7B_tc%3Ag%7D%20SE%20(%7B_lvl%7D%20of%20surveys)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22truth%22%3A%20f%22True%20slope%20%7Bols%5B'b1'%5D%3A.3f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22zero%22%3A%20%22Zero%3A%20schooling%20does%20nothing%22%7D%0A%20%20%20%20_leg%20%3D%20alt.Scale(domain%3Dlist(_names.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%231f77b4%22%2C%20%22%23ff7f0e%22%2C%20%22%23b9dfb4%22%2C%20%22%232ca02c%22%2C%20%22black%22%5D)%0A%20%20%20%20_key%20%3D%20lambda%20legend%3DNone%3A%20alt.Color(%22what%3AN%22%2C%20scale%3D_leg%2C%20legend%3Dlegend)%0A%20%20%20%20_band%20%3D%20alt.Chart(pd.DataFrame(%7B%22lo%22%3A%20%5Bols%5B%22b1%22%5D%20-%20_tc%20*%20_se_avg%5D%2C%20%22hi%22%3A%20%5Bols%5B%22b1%22%5D%20%2B%20_tc%20*%20_se_avg%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22what%22%3A%20%5B_names%5B%22band%22%5D%5D%7D)).mark_rect(opacity%3D0.4).encode(x%3Dalt.X(%22lo%3AQ%22%2C%20scale%3D_xscale)%2C%20x2%3D%22hi%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D_key(alt.Legend(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%20orient%3D%22bottom%22%2C%20direction%3D%22vertical%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbolType%3D%22square%22%2C%20labelLimit%3D400%2C%20labelFontSize%3D12)))%0A%20%20%20%20%23%20Bin%20the%20slopes%20ourselves%20(60%20bins)%2C%20so%20plot%20A%20gets%20the%20same%20round%20axis%20ticks%20as%20plot%20C.%0A%20%20%20%20_counts%2C%20_edges%20%3D%20np.histogram(rr_b1%2C%20bins%3D60%2C%20range%3D(_lo_x%2C%20_hi_x))%0A%20%20%20%20_bins%20%3D%20pd.DataFrame(%7B%22left%22%3A%20_edges%5B%3A-1%5D%2C%20%22right%22%3A%20_edges%5B1%3A%5D%2C%20%22count%22%3A%20_counts%2C%20%22what%22%3A%20_names%5B%22bars%22%5D%7D)%0A%20%20%20%20_hist%20%3D%20alt.Chart(_bins).mark_rect(opacity%3D0.85).encode(color%3D_key()%2C%0A%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22left%3AQ%22%2C%20scale%3D_xscale%2C%20title%3D%22Slope%20found%20in%20each%20survey%22)%2C%20x2%3D%22right%3AQ%22%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22count%3AQ%22%2C%20title%3D%22Number%20of%20surveys%22)%2C%20y2%3Dalt.datum(0))%0A%20%20%20%20_truth_a%20%3D%20alt.Chart(pd.DataFrame(%7B%22v%22%3A%20%5Bols%5B%22b1%22%5D%5D%2C%20%22what%22%3A%20%5B_names%5B%22truth%22%5D%5D%7D)).mark_rule(strokeWidth%3D2.5).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22v%3AQ%22%2C%20scale%3D_xscale)%2C%20color%3D_key())%0A%20%20%20%20%23%20The%20t%20curve%20Stata's%20SE%20implies%3A%20a%20bell%20centred%20on%20the%20truth%2C%20as%20wide%20as%20the%0A%20%20%20%20%23%20average%20SE%2C%20scaled%20to%20counts%20(surveys%20%C3%97%20bin%20width%20%C3%97%20height).%20With%20few%20surveys%0A%20%20%20%20%23%20the%20bars%20are%20ragged%3B%20with%20many%20they%20fill%20the%20curve.%0A%20%20%20%20_grid%20%3D%20np.linspace(_lo_x%2C%20_hi_x%2C%20300)%0A%20%20%20%20_bell%20%3D%20pd.DataFrame(%7B%22v%22%3A%20_grid%2C%20%22count%22%3A%20rr_reps%20*%20(_edges%5B1%5D%20-%20_edges%5B0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*%20t_pdf((_grid%20-%20ols%5B%22b1%22%5D)%20%2F%20_se_avg%2C%20rr_m%20-%202)%20%2F%20_se_avg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22what%22%3A%20_names%5B%22curve%22%5D%7D)%0A%20%20%20%20_curve_a%20%3D%20alt.Chart(_bell).mark_line(strokeWidth%3D2.5).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22v%3AQ%22%2C%20scale%3D_xscale)%2C%20y%3D%22count%3AQ%22%2C%20color%3D_key())%0A%20%20%20%20_zero_a%20%3D%20alt.Chart(pd.DataFrame(%7B%22v%22%3A%20%5B0.0%5D%2C%20%22what%22%3A%20%5B_names%5B%22zero%22%5D%5D%7D)).mark_rule(strokeWidth%3D2.5).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22v%3AQ%22%2C%20scale%3D_xscale)%2C%20color%3D_key())%0A%20%20%20%20_chart_a%20%3D%20(_band%20%2B%20_hist%20%2B%20_curve_a%20%2B%20_truth_a%20%2B%20_zero_a).properties(%0A%20%20%20%20%20%20%20%20width%3D450%2C%20height%3D340%2C%20title%3Df%22A.%20Slopes%20from%20%7Brr_reps%3A%2C%7D%20surveys%22)%0A%0A%20%20%20%20%23%20Right%20(Step%20C)%3A%20the%20first%20(up%20to)%20100%20surveys%2C%20each%20with%20its%20interval%20at%20the%20chosen%20confidence%20level.%0A%20%20%20%20_k%20%3D%20min(rr_reps%2C%20100)%0A%20%20%20%20_ci%20%3D%20pd.DataFrame(%7B%22survey%22%3A%20np.arange(1%2C%20_k%20%2B%201)%2C%20%22slope%22%3A%20rr_b1%5B%3A_k%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22low%22%3A%20rr_b1%5B%3A_k%5D%20-%20_tc%20*%20rr_se%5B%3A_k%5D%2C%20%22high%22%3A%20rr_b1%5B%3A_k%5D%20%2B%20_tc%20*%20rr_se%5B%3A_k%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22t%22%3A%20rr_b1%5B%3A_k%5D%20%2F%20rr_se%5B%3A_k%5D%7D)%0A%20%20%20%20_ci%5B%22covers%22%5D%20%3D%20np.where((_ci%5B%22low%22%5D%20%3C%3D%20ols%5B%22b1%22%5D)%20%26%20(_ci%5B%22high%22%5D%20%3E%3D%20ols%5B%22b1%22%5D)%2C%20%22yes%22%2C%20%22no%20(miss)%22)%0A%20%20%20%20_bars%20%3D%20alt.Chart(_ci).mark_rule(strokeWidth%3D2).encode(%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22survey%3AO%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22low%3AQ%22%2C%20scale%3D_xscale%2C%20title%3Df%22Slope%20%C2%B1%20%7B_tc%3A.2f%7D%20SE%2C%20one%20bar%20per%20survey%22)%2C%20x2%3D%22high%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22covers%3AN%22%2C%20scale%3Dalt.Scale(domain%3D%5B%22yes%22%2C%20%22no%20(miss)%22%5D%2C%20range%3D%5B%22%234c78a8%22%2C%20%22%23d62728%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Covers%200.541%3F%22%2C%20orient%3D%22bottom%22))%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22slope%3AQ%22%2C%20format%3D%22.3f%22)%2C%20alt.Tooltip(%22low%3AQ%22%2C%20format%3D%22.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22high%3AQ%22%2C%20format%3D%22.3f%22)%2C%20alt.Tooltip(%22t%3AQ%22%2C%20format%3D%22.2f%22)%5D)%0A%20%20%20%20_dots%20%3D%20alt.Chart(_ci).mark_point(filled%3DTrue%2C%20size%3D10%2C%20color%3D%22black%22).encode(%0A%20%20%20%20%20%20%20%20y%3D%22survey%3AO%22%2C%20x%3Dalt.X(%22slope%3AQ%22%2C%20scale%3D_xscale))%0A%20%20%20%20_truth_c%20%3D%20alt.Chart(pd.DataFrame(%7B%22v%22%3A%20%5Bols%5B%22b1%22%5D%5D%7D)).mark_rule(color%3D%22black%22%2C%20strokeDash%3D%5B6%2C%204%5D).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22v%3AQ%22%2C%20scale%3D_xscale))%0A%20%20%20%20_zero_c%20%3D%20alt.Chart(pd.DataFrame(%7B%22v%22%3A%20%5B0.0%5D%7D)).mark_rule(color%3D%22black%22%2C%20strokeWidth%3D2.5).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22v%3AQ%22%2C%20scale%3D_xscale))%0A%20%20%20%20_chart_c%20%3D%20(_bars%20%2B%20_dots%20%2B%20_truth_c%20%2B%20_zero_c).properties(%0A%20%20%20%20%20%20%20%20width%3D450%2C%20height%3D340%2C%20title%3Df%22C.%20%7B_lvl%7D%20intervals%20of%20the%20first%20%7B_k%7D%20of%20%7Brr_reps%3A%2C%7D%20surveys%22)%0A%0A%20%20%20%20%23%20Step%20B%2C%20as%20one%20line%20above%20the%20plots.%0A%20%20%20%20_t_all%20%3D%20rr_b1%20%2F%20rr_se%0A%20%20%20%20_reject%20%3D%20np.mean(np.abs(_t_all)%20%3E%20_tc)%0A%20%20%20%20_hits%20%3D%20int((_ci%5B%22covers%22%5D%20%3D%3D%20%22yes%22).sum())%0A%20%20%20%20%23%20Share%20of%20ALL%20surveys%20inside%20the%20green%20band%20(truth%20%C2%B1%20t_c%20%C3%97%20the%20average%20SE).%0A%20%20%20%20_inside%20%3D%20np.mean(np.abs(rr_b1%20-%20ols%5B%22b1%22%5D)%20%3C%3D%20_tc%20*%20_se_avg)%0A%20%20%20%20%23%20Share%20of%20ALL%20surveys%20whose%20own%20interval%20covers%20the%20truth.%20With%20R%20surveys%20this%0A%20%20%20%20%23%20share%20wobbles%20around%20the%20level%20p%20by%20about%20%C2%B1%201.96%20%C3%97%20sqrt(p%20(1%20-%20p)%20%2F%20R).%0A%20%20%20%20_cover%20%3D%20np.mean(np.abs(rr_b1%20-%20ols%5B%22b1%22%5D)%20%3C%3D%20_tc%20*%20rr_se)%0A%20%20%20%20_p%20%3D%20_conf%20%2F%20100%0A%20%20%20%20_wobble%20%3D%201.96%20*%20np.sqrt(_p%20*%20(1%20-%20_p)%20%2F%20rr_reps)%0A%20%20%20%20%23%20The%20scorecard%20under%20the%20plots%3A%20one%20row%20per%20number%2C%20each%20with%20a%20plain-English%0A%20%20%20%20%23%20meaning%20and%20what%20it%20should%20be%20close%20to.%0A%20%20%20%20_sd%20%3D%20rr_b1.std(ddof%3D1)%20if%20rr_reps%20%3E%201%20else%20float(%22nan%22)%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22%E2%91%A0%22%2C%20%22Real%20wobble%20of%20the%20slope%22%2C%20%22SD%20of%20all%20the%20slopes%22%2C%0A%20%20%20%20%20%20%20%20%20%22%E2%80%94%22%20if%20rr_reps%20%3D%3D%201%20else%20f%22%7B_sd%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22Line%20up%20the%20slopes%20from%20all%20%7Brr_reps%3A%2C%7D%20surveys%20of%20%7Brr_m%7D%20workers%3A%20they%20typically%20sit%20this%20far%20%22%0A%20%20%20%20%20%20%20%20%20f%22from%20the%20true%20%7Bols%5B'b1'%5D%3A.3f%7D.%20We%20can%20only%20see%20this%20because%20we%20reran%20the%20survey.%22%2C%0A%20%20%20%20%20%20%20%20%20%22the%20width%20of%20the%20blue%20histogram%20(plot%20A)%22)%2C%0A%20%20%20%20%20%20%20%20(%22%E2%91%A1%22%2C%20%22Stata's%20guess%20of%20%E2%91%A0%22%2C%20%22average%20SE%22%2C%0A%20%20%20%20%20%20%20%20%20f%22%7B_se_avg%3A.4f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22Each%20survey's%20SE%2C%20worked%20out%20from%20that%20ONE%20survey%20alone%20(what%20Stata%20prints)%2C%20averaged.%20%22%0A%20%20%20%20%20%20%20%20%20f%22For%20the%20real%201976%20table%2C%20n%20%3D%20526%3A%20%7Bols%5B'se1'%5D%3A.4f%7D.%22%2C%0A%20%20%20%20%20%20%20%20%20%22should%20be%20close%20to%20%E2%91%A0%22%20%2B%20(%22%22%20if%20rr_reps%20%3D%3D%201%20else%20f%22%20(gap%20%7B_se_avg%20%2F%20_sd%20-%201%3A%2B.1%25%7D)%22))%2C%0A%20%20%20%20%20%20%20%20(%22%E2%91%A2%22%2C%20%22Slopes%20in%20the%20green%20zone%22%2C%20f%22within%20truth%20%C2%B1%20%7B_tc%3Ag%7D%20%C3%97%20%E2%91%A1%22%2C%0A%20%20%20%20%20%20%20%20%20f%22%7B_inside%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22Share%20of%20the%20%7Brr_reps%3A%2C%7D%20slopes%20that%20land%20within%20%7B_tc%3Ag%7D%20SEs%20of%20the%20truth%3A%20the%20bridge.%22%2C%0A%20%20%20%20%20%20%20%20%20f%22t%20curve%20promises%20%7B_lvl%7D%22)%2C%0A%20%20%20%20%20%20%20%20(%22%E2%91%A3%22%2C%20%22Intervals%20that%20catch%200.541%22%2C%20f%22slope%20%C2%B1%20%7B_tc%3Ag%7D%20%C3%97%20own%20SE%22%2C%0A%20%20%20%20%20%20%20%20%20f%22%7B_cover%3A.2%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22Each%20survey%20builds%20its%20own%20interval%3B%20this%20share%20contains%20the%20true%20slope.%20%22%0A%20%20%20%20%20%20%20%20%20f%22Plot%20C%20draws%20the%20first%20%7B_k%7D%3A%20%7B_hits%7D%20of%20them%20hit.%22%2C%0A%20%20%20%20%20%20%20%20%20f%22promise%20%7B_lvl%7D%20(%C2%B1%20%7B_wobble%3A.2%25%7D%20luck%20with%20%7Brr_reps%3A%2C%7D%20surveys)%22)%2C%0A%20%20%20%20%20%20%20%20(%22%E2%91%A4%22%2C%20%22Surveys%20that%20rule%20out%20zero%22%2C%20f%22%7Ct%7C%20%3D%20%7Cslope%20%C3%B7%20SE%7C%20%3E%20%7B_tc%3Ag%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22%7B_reject%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20f%22Share%20of%20surveys%20whose%20slope%20is%20more%20than%20%7B_tc%3Ag%7D%20of%20its%20own%20SEs%20away%20from%20zero.%22%2C%0A%20%20%20%20%20%20%20%20%20f%22real%201976%20survey%3A%20t%20%3D%20%7Bols%5B't1'%5D%3A.2f%7D%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_cell%20%3D%20%22padding%3A6px%2010px%3B%20border-bottom%3A1px%20solid%20rgba(127%2C127%2C127%2C0.25)%3B%20vertical-align%3Atop%22%0A%20%20%20%20_body%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Ctd%20style%3D'%7B_cell%7D%3B%20font-size%3A18px'%3E%7B_n%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20style%3D'%7B_cell%7D'%3E%3Cb%3E%7B_name%7D%3C%2Fb%3E%3Cbr%3E%3Csmall%20style%3D'opacity%3A0.7'%3E%7B_how%7D%3C%2Fsmall%3E%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20style%3D'%7B_cell%7D%3B%20font-size%3A20px%3B%20font-weight%3A700%3B%20font-family%3Amonospace%3B%20white-space%3Anowrap'%3E%7B_v%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20style%3D'%7B_cell%7D'%3E%7B_mean%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20style%3D'%7B_cell%7D%3B%20opacity%3A0.8'%3E%3Csmall%3E%7B_chk%7D%3C%2Fsmall%3E%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20for%20_n%2C%20_name%2C%20_how%2C%20_v%2C%20_mean%2C%20_chk%20in%20_rows)%0A%20%20%20%20%23%20The%20story%20that%20goes%20with%20the%20scorecard%20(read%20top%20to%20bottom%20with%20%E2%91%A0%20to%20%E2%91%A4).%0A%20%20%20%20_story%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20%F0%9F%95%B0%EF%B8%8F%20The%20story%3A%20Stata%20the%20fortune-teller%20vs.%20you%20with%20a%20time%20machine%0A%0A%20%20%20%20**1976.**%20A%20survey%20team%20knocks%20on%20526%20doors%2C%20writes%20down%20wages%20and%20schooling%2C%20and%0A%20%20%20%20goes%20home.%20Stata%20gets%20that%20ONE%20survey%20and%20announces%3A%20*%22Each%20extra%20year%20of%20school%0A%20%20%20%20pays%20%7Bols%5B'b1'%5D%3A.2f%7D%20dollars%20an%20hour%2C%20give%20or%20take%20%7Bols%5B'se1'%5D%3A.3f%7D.%22*%20That%0A%20%20%20%20%22give%20or%20take%22%20is%20the%20**SE**.%20Bold%20claim%20from%20someone%20who%20has%20seen%20one%20survey.%0A%0A%20%20%20%20**You%20have%20a%20time%20machine**%20(this%20notebook).%20Go%20back%20and%20rerun%20the%20survey%20with%0A%20%20%20%20fresh%20random%20workers%3A%20again%2C%20and%20again%2C%20a%20million%20times%20if%20you%20are%20bored.%20The%0A%20%20%20%20rule%20of%20the%20world%20never%20changes%20(the%20true%20slope%20is%20%7Bols%5B'b1'%5D%3A.3f%7D)%3B%20only%20the%0A%20%20%20%20luck%20of%20who%20opens%20the%20door%20does.%0A%0A%20%20%20%20-%20**%E2%91%A0%20The%20truth%20about%20wobble.**%20Your%20surveys%20disagree%20with%20each%20other.%20%E2%91%A0%0A%20%20%20%20%20%20measures%20by%20how%20much.%20Only%20time%20travellers%20ever%20get%20to%20see%20this%20number.%0A%20%20%20%20-%20**%E2%91%A1%20Stata's%20prophecy.**%20Inside%20every%20rerun%2C%20Stata%20sees%20only%20its%20own%0A%20%20%20%20%20%20%7Brr_m%7D%20workers%20and%20guesses%20the%20wobble%20anyway.%20%E2%91%A1%20is%20its%20average%20guess.%0A%20%20%20%20%20%20**If%20%E2%91%A1%20%E2%89%88%20%E2%91%A0%2C%20the%20fortune-teller%20is%20legit**%2C%20and%20that%20is%20why%20you%20can%20trust%0A%20%20%20%20%20%20the%20%7Bols%5B'se1'%5D%3A.3f%7D%20in%20the%20real%20table%20*without*%20a%20time%20machine.%0A%20%20%20%20-%20**%E2%91%A2%20The%20fine%20print%20of%20the%20prophecy.**%20*%22%7B_lvl%7D%20of%20surveys%20will%20land%20within%0A%20%20%20%20%20%20%7B_tc%3Ag%7D%20SEs%20of%20the%20truth.%22*%20Count%20them%3A%20%E2%91%A2.%20(Green%20zone%2C%20plot%20A.)%0A%20%20%20%20-%20**%E2%91%A3%20The%20fishing%20net.**%20In%20real%20life%20nobody%20knows%20the%20truth.%20So%20each%20survey%0A%20%20%20%20%20%20throws%20a%20net%2C%20slope%20%C2%B1%20%7B_tc%3Ag%7D%20SE%2C%20and%20hopes%20the%20fish%20(%7Bols%5B'b1'%5D%3A.3f%7D)%20is%0A%20%20%20%20%20%20inside.%20%E2%91%A3%20%3D%20share%20of%20nets%20that%20catch%20it.%20The%20red%20bars%20in%20plot%20C%20are%20the%0A%20%20%20%20%20%20unlucky%20fishermen%3A%20they%20did%20nothing%20wrong%2C%20they%20just%20knocked%20on%20weird%20doors.%0A%20%20%20%20-%20**%E2%91%A4%20Your%20uncle%20at%20dinner.**%20*%22School%20does%20nothing!%22*%20If%20he%20were%20right%2C%0A%20%20%20%20%20%20slopes%20would%20hover%20around%20zero.%20%E2%91%A4%20%3D%20share%20of%20surveys%20that%20prove%20him%20wrong.%0A%20%20%20%20%20%20Our%20real%20survey%20sits%20%7Bols%5B't1'%5D%3A.0f%7D%20SEs%20from%20zero.%20Sorry%2C%20uncle.%0A%0A%20%20%20%20**Plot%20twist%3A**%20a%20bigger%20net%20(more%20SEs%2C%20third%20slider)%20catches%20the%20fish%20more%0A%20%20%20%20often%20but%20says%20less.%20%22Between%20%E2%88%923%20and%20%2B5%20dollars%22%20is%20always%20right%20and%20totally%0A%20%20%20%20useless.%20**Moral%3A**%20in%20real%20life%20you%20get%20no%20time%20machine%2C%20just%20one%20survey%20and%0A%20%20%20%20its%20SE.%20This%20table%20is%20the%20proof%20that%20the%20SE%20is%20not%20lying.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20_head%20%3D%20%22%22.join(f%22%3Cth%20style%3D'%7B_cell%7D%3B%20text-align%3Aleft'%3E%7B_h%7D%3C%2Fth%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_h%20in%20%5B%22%22%2C%20%22Number%22%2C%20%22Value%22%2C%20%22What%20it%20means%22%2C%20%22Compare%20with%22%5D)%0A%20%20%20%20_scorecard%20%3D%20mo.Html(f%22%3Ctable%20style%3D'border-collapse%3Acollapse%3B%20width%3A100%25%3B%20font-size%3A14px'%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Cthead%3E%3Ctr%3E%7B_head%7D%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%3C%2Ftable%3E%22)%0A%20%20%20%20mo.vstack(%5B%0A%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%23%20%C2%B1%20%7B_tc%3Ag%7D%20SE%20%20%E2%86%92%20%20%7B_lvl%7D%20confidence%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Csmall%3E(area%20under%20the%20t%20curve%20between%20%E2%88%92%7B_tc%3Ag%7D%20and%20%2B%7B_tc%3Ag%7D)%3C%2Fsmall%3E%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**B.%20t-statistic.**%20Our%20real%201976%20survey%3A%20t%20%3D%20%7Bols%5B'b1'%5D%3A.4f%7D%20%C3%B7%20%7Bols%5B'se1'%5D%3A.4f%7D%20%3D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bols%5B't1'%5D%3A.2f%7D**%20SEs%20away%20from%20zero%20(black%20line).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22A%20typical%20survey%20of%20**%7Brr_m%7D%20workers**%3A%20t%20%E2%89%88%20%7Bols%5B'b1'%5D%3A.3f%7D%20%C3%B7%20%7B_se_avg%3A.3f%7D%20%3D%20**%7Bols%5B'b1'%5D%20%2F%20_se_avg%3A.1f%7D**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20**%7B_reject%3A.0%25%7D**%20of%20these%20surveys%20have%20%7Ct%7C%20%3E%20%7B_tc%3A.2f%7D%20(they%20would%20rule%20out%20zero).%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20alt.hconcat(_chart_a%2C%20_chart_c).resolve_scale(color%3D%22independent%22)%2C%0A%20%20%20%20%20%20%20%20*(%5Bmo.md(f%22%3Csmall%3E%E2%9A%A0%EF%B8%8F%20%7Brr_asked%3A%2C%7D%20surveys%20of%20%7Brr_m%3A%2C%7D%20workers%20would%20take%20too%20long%20here%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22so%20this%20run%20uses%20%7Brr_reps%3A%2C%7D%20surveys.%3C%2Fsmall%3E%22)%5D%20if%20rr_reps%20%3C%20rr_asked%20else%20%5B%5D)%2C%0A%20%20%20%20%20%20%20%20mo.callout(_story%2C%20kind%3D%22neutral%22)%2C%0A%20%20%20%20%20%20%20%20_scorecard%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20ols)%3A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20%23%23%23%20How%20to%20read%20the%20dashboard%0A%0A%20%20%20%20-%20**A%20(left)%3A%20the%20surveys%20disagree%2C%20and%20their%20spread%20is%20the%20standard%20error.**%0A%20%20%20%20%20%20The%20first%20two%20numbers%20under%20the%20plots%20match%3A%20one%20survey's%20SE%20predicts%20how%0A%20%20%20%20%20%20much%20the%20slope%20would%20wobble%20if%20we%20reran%20it.%20With%20n%20%3D%20526%20it%20is%20about%0A%20%20%20%20%20%20%7Bols%5B'se1'%5D%3A.3f%7D%2C%20Stata's%20number.%0A%20%20%20%20-%20**The%20bridge%3A**%20about%20**95%25%20of%20surveys%20land%20within%201.96%20SE%20of%20the%20truth**%0A%20%20%20%20%20%20(green%20band%2C%20third%20number).%20Steps%20B%20and%20C%20are%20this%20one%20sentence%2C%20used%20two%20ways.%0A%20%20%20%20-%20**B%20(the%20blue%20line%20on%20top)%3A%20the%20bridge%2C%20aimed%20at%20zero.**%20If%20the%20truth%20were%0A%20%20%20%20%20%20%22schooling%20does%20nothing%22%20(0)%2C%2095%25%20of%20surveys%20would%20land%20within%201.96%20SE%20of%0A%20%20%20%20%20%20zero.%20So%20we%20measure%20our%20slope's%20distance%20from%20zero%20in%20SEs%3A%0A%20%20%20%20%20%20%24t%20%3D%20%5Ctext%7B%7Bslope%7D%7D%20%2F%20%5Ctext%7B%7BSE%7D%7D%20%3D%20%7Bols%5B't1'%5D%3A.2f%7D%24.%20Almost%20never%20happens%20if%20the%0A%20%20%20%20%20%20truth%20is%20zero%2C%20so%20the%20truth%20is%20not%20zero.%0A%20%20%20%20-%20**C%20(right)%3A%20the%20bridge%2C%20read%20backwards.**%20%22The%20slope%20lands%20within%201.96%20SE%0A%20%20%20%20%20%20of%20the%20truth%22%20is%20the%20same%20distance%20as%20%22the%20truth%20is%20within%201.96%20SE%20of%20the%0A%20%20%20%20%20%20slope%22.%20So%20slope%20%C2%B1%20%7Bols%5B'tc'%5D%3A.2f%7D%20SE%20catches%20the%20truth%20whenever%20the%20survey%20was%0A%20%20%20%20%20%20one%20of%20the%2095%25.%20The%20bars%20that%20miss%20(red)%20are%20unlucky%20surveys%2C%20not%20mistakes.%0A%0A%20%20%20%20*Try%3A*%20drag%20**workers**%20down%20to%2025.%20Both%20plots%20widen%20together%2C%20t%20shrinks%0A%20%20%20%20toward%202%2C%20and%20now%20some%20surveys%20cannot%20rule%20out%20zero.%20Then%20sweep%20the%0A%20%20%20%20**number%20of%20surveys**%3A%20the%20plots%20get%20smoother%2C%20but%20the%20spread%20barely%20moves.%20Finally%20move%20**%C2%B1%20how%20many%20SEs**%3A%20the%20SEs%20stay%20put%2C%20only%20the%0A%20%20%20%20width%20of%20each%20interval%20changes%2C%20and%20the%20notebook%20tells%20you%20the%20confidence%20it%0A%20%20%20%20buys%20(%C2%B1%201%20SE%20%E2%86%92%2068%25%2C%20%C2%B1%201.96%20%E2%86%92%2095%25%2C%20%C2%B1%202.58%20%E2%86%92%2099%25).%20Wider%20bars%20miss%20less%0A%20%20%20%20often%2C%20so%20the%20hit%20rate%20follows.%20That%20share%20is%20the%20area%20under%20the%20orange%20t%0A%20%20%20%20curve%20between%20%E2%88%92k%20and%20%2Bk%20SEs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20n%2C%20ols%2C%20x)%3A%0A%20%20%20%20_sd_x%20%3D%20x.std()%0A%20%20%20%20_k%20%3D%20ols%5B%22rmse%22%5D%20%2F%20_sd_x%0A%20%20%20%20mo.accordion(%7B%22%F0%9F%93%90%20The%20maths%3A%20why%20the%20number%20of%20WORKERS%20changes%20the%20spread%2C%20but%20the%20number%20of%20SURVEYS%20does%20not%22%3A%20mo.md(rf%22%22%22%0A%20%20%20%20**1.%20Workers%20per%20survey%20(%24n%24)%20change%20the%20true%20spread.**%20Stata's%20formula%0A%20%20%20%20(derived%20in%20the%20lecture%20notes)%20is%0A%0A%20%20%20%20%24%24%5Ctext%7B%7Bse%7D%7D(%5Chat%5Cbeta_1)%20%3D%20%5Cfrac%7B%7B%5Chat%5Csigma%7D%7D%7B%7B%5Csqrt%7B%7B%5Csum_i%20(x_i-%5Cbar%20x)%5E2%7D%7D%7D%7D%20.%24%24%0A%0A%20%20%20%20The%20bottom%20is%20a%20sum%20over%20the%20%24n%24%20workers%20in%20the%20survey.%20Each%20worker%20adds%0A%20%20%20%20about%20%24%5Ctext%7B%7BSD%7D%7D(x)%5E2%20%3D%20%7B_sd_x%3A.2f%7D%5E2%24%20to%20it%2C%20so%20the%20sum%20is%20about%0A%20%20%20%20%24n%5Ctimes%20%7B_sd_x%3A.2f%7D%5E2%24%2C%20and%0A%0A%20%20%20%20%24%24%5Ctext%7B%7Bse%7D%7D(%5Chat%5Cbeta_1)%20%5Capprox%20%5Cfrac%7B%7B%5Chat%5Csigma%7D%7D%7B%7B%5Ctext%7B%7BSD%7D%7D(x)%5C%2C%5Csqrt%7B%7Bn%7D%7D%7D%7D%0A%20%20%20%20%20%20%3D%20%5Cfrac%7B%7B%7Bols%5B'rmse'%5D%3A.2f%7D%7D%7D%7B%7B%7B_sd_x%3A.2f%7D%5C%2C%5Csqrt%7B%7Bn%7D%7D%7D%7D%20%3D%20%5Cfrac%7B%7B%7B_k%3A.2f%7D%7D%7D%7B%7B%5Csqrt%7B%7Bn%7D%7D%7D%7D%20.%24%24%0A%0A%20%20%20%20%7C%20workers%20per%20survey%20%24n%24%20%7C%20%24%7B_k%3A.2f%7D%2F%5Csqrt%7B%7Bn%7D%7D%24%20%7C%0A%20%20%20%20%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%2025%20%7C%20%7B_k%20%2F%2025%20**%200.5%3A.3f%7D%20%7C%0A%20%20%20%20%7C%20100%20%7C%20%7B_k%20%2F%20100%20**%200.5%3A.3f%7D%20%7C%0A%20%20%20%20%7C%20526%20%7C%20%7B_k%20%2F%20n%20**%200.5%3A.3f%7D%20%7C%0A%0A%20%20%20%20**Four%20times%20the%20workers%2C%20half%20the%20spread**%20(the%20%241%2F%5Csqrt%7B%7Bn%7D%7D%24%20rule).%0A%20%20%20%20More%20workers%20means%20more%20luck%20that%20cancels%20out%20inside%20each%20survey.%0A%0A%20%20%20%20**2.%20The%20number%20of%20surveys%20(%24R%24)%20does%20NOT%20change%20the%20true%20spread.**%0A%20%20%20%20Each%20survey%20is%20still%20a%20survey%20of%20%24n%24%20workers%2C%20so%20each%20one%20still%20wobbles%0A%20%20%20%20by%20about%20%24%7B_k%3A.2f%7D%2F%5Csqrt%7B%7Bn%7D%7D%24%2C%20however%20many%20of%20them%20we%20stack%20up.%20What%0A%20%20%20%20%24R%24%20changes%20is%20how%20**well%20we%20can%20measure**%20that%20spread.%20The%20SD%20of%20%24R%24%0A%20%20%20%20slopes%20is%20itself%20a%20little%20noisy%3A%0A%0A%20%20%20%20%24%24%5Ctext%7B%7Bmeasured%20SD%7D%7D%20%5Capprox%20%5Ctext%7B%7Btrue%20SE%7D%7D%20%5Ctimes%20%5CBigl(1%20%5Cpm%20%5Cfrac%7B%7B1%7D%7D%7B%7B%5Csqrt%7B%7B2R%7D%7D%7D%7D%5CBigr).%24%24%0A%0A%20%20%20%20%7C%20surveys%20%24R%24%20%7C%20typical%20error%20of%20the%20measured%20SD%20%7C%0A%20%20%20%20%7C---%3A%7C---%3A%7C%0A%20%20%20%20%7C%2010%20%7C%20%C2%B122%25%20%7C%0A%20%20%20%20%7C%20100%20%7C%20%C2%B17%25%20%7C%0A%20%20%20%20%7C%201%2C000%20%7C%20%C2%B12%25%20%7C%0A%20%20%20%20%7C%2010%2C000%20%7C%20%C2%B10.7%25%20%7C%0A%0A%20%20%20%20So%20with%2010%20or%2050%20surveys%20the%20SD%20**jumps%20around**%20every%20time%20you%20press%0A%20%20%20%20%F0%9F%8E%B2%3A%20that%20is%20measurement%20noise%2C%20not%20a%20real%20change.%20With%202%2C000%2B%20surveys%20it%0A%20%20%20%20sits%20still%20at%20the%20true%20SE.%0A%0A%20%20%20%20*Try%20it%3A*%20set%20%24n%24%20%3D%20526%20and%20sweep%20the%20number%20of%20surveys%20from%2010%20to%0A%20%20%20%2010%2C000%3A%20the%20SD%20settles%20down%20near%20%7Bols%5B'se1'%5D%3A.3f%7D.%20Then%20fix%20the%20surveys%0A%20%20%20%20at%205%2C000%20and%20sweep%20%24n%24%3A%20the%20SD%20really%20moves.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20ols%2C%20stata_table)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%20Back%20to%20the%20real%20table%0A%0A%20%20%20%20Our%20one%20real%201976%20survey%20is%20one%20of%20those%20bars%3A%0A%0A%20%20%20%20-%20**Coefficient**%20%3D%20%7Bols%5B'b1'%5D%3A.7f%7D%3A%20the%20bottom%20of%20the%20bowl.%0A%20%20%20%20-%20**Std.%20err.**%20%3D%20%7Bols%5B'se1'%5D%3A.6f%7D%3A%20how%20much%20the%20slope%20would%20wobble%20across%20reruns.%0A%20%20%20%20-%20**t**%20%3D%20%7Bols%5B'b1'%5D%3A.4f%7D%20%C3%B7%20%7Bols%5B'se1'%5D%3A.4f%7D%20%3D%20**%7Bols%5B't1'%5D%3A.2f%7D**%20standard%20errors%20away%20from%20zero.%0A%20%20%20%20-%20**95%25%20interval**%20%3D%20%7Bols%5B'b1'%5D%3A.4f%7D%20%C2%B1%20%7Bols%5B'tc'%5D%3A.4f%7D%20%C3%97%20%7Bols%5B'se1'%5D%3A.4f%7D%0A%20%20%20%20%20%20%3D%20**%5B%7Bols%5B'lo1'%5D%3A.4f%7D%2C%20%7Bols%5B'hi1'%5D%3A.4f%7D%5D**.%20(%7Bols%5B'tc'%5D%3A.4f%7D%20is%20%60invttail(524%2C%200.025)%60.)%0A%20%20%20%20%20%20The%20method%20behind%20it%20catches%20the%20truth%20in%2095%20of%20100%20surveys.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20stata_table(%7B%22b%22%2C%20%22se%22%2C%20%22t%22%2C%20%22ci%22%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A