week05 visuals

%23%20Week%205%20--%20three%20interactive%20pictures%20(marimo%20notebook)%0A%23%0A%23%20Run%20with%3A%20%20%20marimo%20run%20week05_visuals.py%20%20%20%20%20(app%20view%2C%20code%20hidden)%0A%23%20%20%20or%20with%3A%20%20marimo%20edit%20week05_visuals.py%20%20%20%20(see%20and%20change%20the%20code)%0A%23%0A%23%20All%20data%20are%20SIMULATED%3A%20we%20choose%20the%20true%20effect%20ourselves%2C%20so%20we%20can%0A%23%20check%20whether%20our%20methods%20find%20it.%0A%23%0A%23%20Prepared%20with%20the%20help%20of%20Claude%20(Anthropic)%2C%20checked%20by%20the%20instructor.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20np%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Week%205%3A%20three%20pictures%20about%20standard%20errors%0A%0A%20%20%20%201.%20**What%20does%20%2295%25%20confidence%22%20mean%3F**%0A%20%20%20%202.%20**Why%20do%20we%20cluster%20standard%20errors%20by%20school%3F**%0A%20%20%20%203.%20**Why%20does%20free%20lunch%20stop%20being%20significant%20with%20fixed%20effects%3F**%0A%0A%20%20%20%20Move%20the%20sliders%20and%20press%20the%20buttons.%20Every%20number%20is%20computed%20from%0A%20%20%20%20simulated%20data%2C%20where%20*we*%20know%20the%20true%20effect.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Slope%20from%20y%20%3D%20a%20%2B%20b*x%2C%20for%20many%20samples%20at%20once.%0A%20%20%20%20%23%20x%20and%20y%20have%20shape%20(samples%2C%20observations).%0A%20%20%20%20def%20ols_slope(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20xd%20%3D%20x%20-%20x.mean(axis%3D-1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20yd%20%3D%20y%20-%20y.mean(axis%3D-1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20b%20%3D%20(xd%20*%20yd).sum(axis%3D-1)%20%2F%20(xd**2).sum(axis%3D-1)%0A%20%20%20%20%20%20%20%20e%20%3D%20yd%20-%20b%5B...%2C%20None%5D%20*%20xd%0A%20%20%20%20%20%20%20%20return%20b%2C%20xd%2C%20e%0A%0A%20%20%20%20%23%20Plain%20(non-clustered)%20standard%20error%20of%20the%20slope.%0A%20%20%20%20def%20plain_se(xd%2C%20e)%3A%0A%20%20%20%20%20%20%20%20n%20%3D%20xd.shape%5B-1%5D%0A%20%20%20%20%20%20%20%20s2%20%3D%20(e**2).sum(axis%3D-1)%20%2F%20(n%20-%202)%0A%20%20%20%20%20%20%20%20return%20np.sqrt(s2%20%2F%20(xd**2).sum(axis%3D-1))%0A%0A%20%20%20%20%23%20Clustered%20standard%20error.%20xd%20and%20e%20have%20shape%20(samples%2C%20schools%2C%20years)%3A%0A%20%20%20%20%23%20add%20up%20x*e%20inside%20each%20school%20first%2C%20then%20square.%0A%20%20%20%20def%20cluster_se(xd%2C%20e%2C%20k%3D2)%3A%0A%20%20%20%20%20%20%20%20g%2C%20t%20%3D%20xd.shape%5B-2%5D%2C%20xd.shape%5B-1%5D%0A%20%20%20%20%20%20%20%20n%20%3D%20g%20*%20t%0A%20%20%20%20%20%20%20%20meat%20%3D%20((xd%20*%20e).sum(axis%3D-1)%20**%202).sum(axis%3D-1)%0A%20%20%20%20%20%20%20%20sxx%20%3D%20(xd**2).sum(axis%3D(-2%2C%20-1))%0A%20%20%20%20%20%20%20%20adj%20%3D%20g%20%2F%20(g%20-%201)%20*%20(n%20-%201)%20%2F%20(n%20-%20k)%0A%20%20%20%20%20%20%20%20return%20np.sqrt(adj%20*%20meat)%20%2F%20sxx%0A%0A%20%20%20%20%23%2097.5%25%20point%20of%20the%20t%20distribution%20with%20(schools%20-%201)%20degrees%20of%0A%20%20%20%20%23%20freedom%2C%20as%20Stata%20uses%20for%20clustered%20intervals.%0A%20%20%20%20T975%20%3D%20%7B2%3A%204.303%2C%204%3A%202.776%2C%209%3A%202.262%2C%2019%3A%202.093%2C%2049%3A%202.010%2C%2099%3A%201.984%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20199%3A%201.972%2C%20299%3A%201.968%7D%0A%20%20%20%20return%20T975%2C%20cluster_se%2C%20ols_slope%2C%20plain_se%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%201.%20What%20does%20%2295%25%20confidence%22%20mean%3F%0A%0A%20%20%20%20We%20know%20the%20truth%3A%20**each%20extra%20unit%20of%20spending%20raises%20the%20pass%20rate%20by%0A%20%20%20%202%20points**.%20We%20draw%20100%20separate%20samples%2C%20run%20the%20regression%20in%20each%20and%0A%20%20%20%20draw%20each%20sample's%2095%25%20confidence%20interval%20as%20a%20bar.%0A%0A%20%20%20%20*The%2095%25%20is%20a%20promise%20about%20the%20method%2C%20not%20about%20one%20bar%3A*%20about%2095%20of%0A%20%20%20%20the%20100%20bars%20should%20cross%20the%20true%20value.%20Misses%20are%20in%20**red**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_obs%20%3D%20mo.ui.slider(10%2C%20500%2C%20value%3D50%2C%20step%3D10%2C%20label%3D%22Observations%20in%20each%20sample%22)%0A%20%20%20%20level%20%3D%20mo.ui.dropdown(%7B%2290%25%22%3A%201.645%2C%20%2295%25%22%3A%201.960%2C%20%2299%25%22%3A%202.576%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D%2295%25%22%2C%20label%3D%22Confidence%20level%22)%0A%20%20%20%20redraw1%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Draw%20100%20new%20samples%22)%0A%20%20%20%20mo.hstack(%5Bn_obs%2C%20level%2C%20redraw1%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20level%2C%20n_obs%2C%20redraw1%0A%0A%0A%40app.cell%0Adef%20_(level%2C%20n_obs%2C%20np%2C%20ols_slope%2C%20pd%2C%20plain_se%2C%20redraw1)%3A%0A%20%20%20%20%23%20Simulate%20100%20samples%20of%20y%20%3D%201%20%2B%202*x%20%2B%20noise%20and%20build%20each%20interval.%0A%20%20%20%20TRUE_B1%20%3D%202.0%0A%20%20%20%20rng1%20%3D%20np.random.default_rng(100%20%2B%20redraw1.value)%0A%20%20%20%20x1%20%3D%20rng1.normal(0%2C%201%2C%20size%3D(100%2C%20n_obs.value))%0A%20%20%20%20y1%20%3D%201%20%2B%20TRUE_B1%20*%20x1%20%2B%20rng1.normal(0%2C%205%2C%20size%3Dx1.shape)%0A%20%20%20%20b1%2C%20xd1%2C%20e1%20%3D%20ols_slope(x1%2C%20y1)%0A%20%20%20%20se1%20%3D%20plain_se(xd1%2C%20e1)%0A%20%20%20%20ci1%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22sample%22%3A%20np.arange(1%2C%20101)%2C%0A%20%20%20%20%20%20%20%20%22estimate%22%3A%20b1%2C%0A%20%20%20%20%20%20%20%20%22low%22%3A%20b1%20-%20level.value%20*%20se1%2C%0A%20%20%20%20%20%20%20%20%22high%22%3A%20b1%20%2B%20level.value%20*%20se1%2C%0A%20%20%20%20%7D)%0A%20%20%20%20ci1%5B%22covers%20truth%22%5D%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20(ci1%5B%22low%22%5D%20%3C%3D%20TRUE_B1)%20%26%20(ci1%5B%22high%22%5D%20%3E%3D%20TRUE_B1)%2C%20%22yes%22%2C%20%22no%20(miss)%22)%0A%20%20%20%20return%20TRUE_B1%2C%20ci1%0A%0A%0A%40app.cell%0Adef%20_(TRUE_B1%2C%20alt%2C%20ci1%2C%20level%2C%20mo)%3A%0A%20%20%20%20colors1%20%3D%20alt.Scale(domain%3D%5B%22yes%22%2C%20%22no%20(miss)%22%5D%2C%20range%3D%5B%22%234c78a8%22%2C%20%22%23d62728%22%5D)%0A%20%20%20%20bars1%20%3D%20alt.Chart(ci1).mark_rule(strokeWidth%3D2).encode(%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22sample%3AO%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22low%3AQ%22%2C%20title%3D%22Estimated%20effect%20of%20spending%2C%20with%20its%20interval%22)%2C%0A%20%20%20%20%20%20%20%20x2%3D%22high%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22covers%20truth%3AN%22%2C%20scale%3Dcolors1)%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%22sample%22%2C%20alt.Tooltip(%22estimate%3AQ%22%2C%20format%3D%22.2f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22low%3AQ%22%2C%20format%3D%22.2f%22)%2C%20alt.Tooltip(%22high%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20dots1%20%3D%20alt.Chart(ci1).mark_point(filled%3DTrue%2C%20size%3D12%2C%20color%3D%22black%22).encode(%0A%20%20%20%20%20%20%20%20y%3D%22sample%3AO%22%2C%20x%3D%22estimate%3AQ%22)%0A%20%20%20%20truth1%20%3D%20alt.Chart().mark_rule(color%3D%22black%22%2C%20strokeDash%3D%5B6%2C%204%5D).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.datum(TRUE_B1))%0A%20%20%20%20chart1%20%3D%20(bars1%20%2B%20dots1%20%2B%20truth1).properties(width%3D600%2C%20height%3D420)%0A%0A%20%20%20%20hits1%20%3D%20int((ci1%5B%22covers%20truth%22%5D%20%3D%3D%20%22yes%22).sum())%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20chart1%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22**%7Bhits1%7D%20of%20100**%20intervals%20cross%20the%20true%20value%202%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(the%20method%20promises%20about%20%7Blevel.selected_key%5B%3A-1%5D%7D).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Try%20more%20observations%3A%20the%20bars%20get%20**shorter**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22but%20the%20share%20of%20hits%20stays%20about%20the%20same.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%202.%20Why%20do%20we%20cluster%20standard%20errors%20by%20school%3F%0A%0A%20%20%20%20Now%20the%20data%20are%20**schools%20observed%20for%206%20years**.%20A%20school's%20years%20are%0A%20%20%20%20linked%3A%20a%20school%20that%20spends%20a%20lot%20this%20year%20spent%20a%20lot%20last%20year%2C%20and%0A%20%20%20%20a%20school%20that%20does%20unusually%20well%20this%20year%20probably%20did%20last%20year%20too.%0A%20%20%20%20So%206%20years%20of%20one%20school%20are%20*not*%206%20independent%20pieces%20of%20evidence.%0A%0A%20%20%20%20We%20repeat%20the%20whole%20study%20**1%2C000%20times**%20with%20a%20true%20effect%20of%202.%20The%0A%20%20%20%20*true*%20spread%20of%20the%201%2C000%20estimates%20tells%20us%20how%20uncertain%20one%0A%20%20%20%20estimate%20really%20is.%20Which%20standard%20error%20matches%20it%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20link%20%3D%20mo.ui.slider(0.0%2C%200.9%2C%20value%3D0.6%2C%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22How%20strongly%20a%20school's%20years%20are%20linked%22)%0A%20%20%20%20n_schools%20%3D%20mo.ui.dropdown(%5B%223%22%2C%20%225%22%2C%20%2210%22%2C%20%2220%22%2C%20%2250%22%2C%20%22100%22%2C%20%22200%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D%2250%22%2C%20label%3D%22Number%20of%20schools%22)%0A%20%20%20%20mo.hstack(%5Blink%2C%20n_schools%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20link%2C%20n_schools%0A%0A%0A%40app.cell%0Adef%20_(T975%2C%20cluster_se%2C%20link%2C%20n_schools%2C%20np%2C%20ols_slope%2C%20plain_se)%3A%0A%20%20%20%20%23%201%2C000%20studies%2C%20each%20with%20G%20schools%20x%206%20years.%20A%20share%20%60rho%60%20of%20both%20the%0A%20%20%20%20%23%20spending%20variation%20and%20the%20unexplained%20part%20is%20fixed%20within%20a%20school.%0A%20%20%20%20REPS%2C%20YEARS%2C%20TRUE_B2%20%3D%201000%2C%206%2C%202.0%0A%20%20%20%20G2%20%3D%20int(n_schools.value)%0A%20%20%20%20rho%20%3D%20link.value%0A%20%20%20%20rng2%20%3D%20np.random.default_rng(2)%0A%20%20%20%20shape2%20%3D%20(REPS%2C%20G2%2C%20YEARS)%0A%0A%20%20%20%20def%20school_linked(r%2C%20size)%3A%0A%20%20%20%20%20%20%20%20school_part%20%3D%20r.normal(size%3Dsize%5B%3A2%5D%20%2B%20(1%2C))%0A%20%20%20%20%20%20%20%20year_part%20%3D%20r.normal(size%3Dsize)%0A%20%20%20%20%20%20%20%20return%20np.sqrt(rho)%20*%20school_part%20%2B%20np.sqrt(1%20-%20rho)%20*%20year_part%0A%0A%20%20%20%20x2%20%3D%20school_linked(rng2%2C%20shape2)%0A%20%20%20%20y2%20%3D%201%20%2B%20TRUE_B2%20*%20x2%20%2B%203%20*%20school_linked(rng2%2C%20shape2)%0A%0A%20%20%20%20b2%2C%20xd2%2C%20e2%20%3D%20ols_slope(x2.reshape(REPS%2C%20-1)%2C%20y2.reshape(REPS%2C%20-1))%0A%20%20%20%20se_plain2%20%3D%20plain_se(xd2%2C%20e2)%0A%20%20%20%20se_clus2%20%3D%20cluster_se(xd2.reshape(shape2)%2C%20e2.reshape(shape2))%0A%0A%20%20%20%20tcrit2%20%3D%20T975%5BG2%20-%201%5D%0A%20%20%20%20cover_plain2%20%3D%20np.mean(np.abs(b2%20-%20TRUE_B2)%20%3C%3D%201.96%20*%20se_plain2)%0A%20%20%20%20cover_clus2%20%3D%20np.mean(np.abs(b2%20-%20TRUE_B2)%20%3C%3D%20tcrit2%20*%20se_clus2)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20G2%2C%0A%20%20%20%20%20%20%20%20TRUE_B2%2C%0A%20%20%20%20%20%20%20%20b2%2C%0A%20%20%20%20%20%20%20%20cover_clus2%2C%0A%20%20%20%20%20%20%20%20cover_plain2%2C%0A%20%20%20%20%20%20%20%20se_clus2%2C%0A%20%20%20%20%20%20%20%20se_plain2%2C%0A%20%20%20%20%20%20%20%20tcrit2%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(G2%2C%20TRUE_B2%2C%20alt%2C%20b2%2C%20pd)%3A%0A%20%20%20%20%23%20Histogram%20of%20the%201%2C000%20estimates%3A%20this%20is%20the%20TRUE%20uncertainty.%0A%20%20%20%20hist2%20%3D%20alt.Chart(pd.DataFrame(%7B%22estimate%22%3A%20b2%7D)).mark_bar(color%3D%22%239ecae1%22).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22estimate%3AQ%22%2C%20bin%3Dalt.Bin(maxbins%3D40)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Estimated%20effect%20in%20each%20of%20the%201%2C000%20studies%22)%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22count()%22%2C%20title%3D%22Number%20of%20studies%22)%2C%0A%20%20%20%20)%0A%20%20%20%20truth2%20%3D%20alt.Chart().mark_rule(color%3D%22black%22%2C%20strokeDash%3D%5B6%2C%204%5D).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.datum(TRUE_B2))%0A%20%20%20%20chart2a%20%3D%20(hist2%20%2B%20truth2).properties(%0A%20%20%20%20%20%20%20%20width%3D330%2C%20height%3D260%2C%20title%3Df%221%2C000%20studies%20with%20%7BG2%7D%20schools%20each%22)%0A%20%20%20%20return%20(chart2a%2C)%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20b2%2C%20pd%2C%20se_clus2%2C%20se_plain2)%3A%0A%20%20%20%20%23%20Compare%20the%20true%20spread%20with%20what%20each%20standard%20error%20claims.%0A%20%20%20%20spread2%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22measure%22%3A%20%5B%22True%20spread%22%2C%20%22Plain%20SE%22%2C%20%22Clustered%20SE%22%5D%2C%0A%20%20%20%20%20%20%20%20%22size%22%3A%20%5Bb2.std()%2C%20se_plain2.mean()%2C%20se_clus2.mean()%5D%2C%0A%20%20%20%20%7D)%0A%20%20%20%20chart2b%20%3D%20alt.Chart(spread2).mark_bar().encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22measure%3AN%22%2C%20sort%3DNone%2C%20title%3DNone%2C%20axis%3Dalt.Axis(labelAngle%3D0))%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22size%3AQ%22%2C%20title%3D%22Size%20of%20the%20uncertainty%22)%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22measure%3AN%22%2C%20legend%3DNone%2C%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B%22True%20spread%22%2C%20%22Plain%20SE%22%2C%20%22Clustered%20SE%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B%22%23636363%22%2C%20%22%23d62728%22%2C%20%22%232ca02c%22%5D))%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22size%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20).properties(width%3D260%2C%20height%3D260%2C%20title%3D%22Which%20standard%20error%20is%20honest%3F%22)%0A%20%20%20%20return%20(chart2b%2C)%0A%0A%0A%40app.cell%0Adef%20_(G2%2C%20chart2a%2C%20chart2b%2C%20cover_clus2%2C%20cover_plain2%2C%20mo%2C%20tcrit2)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bchart2a%2C%20chart2b%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bcover_plain2%3A.0%25%7D%22%2C%20label%3D%22Plain%2095%25%20intervals%20that%20cover%20the%20truth%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bcover_clus2%3A.0%25%7D%22%2C%20label%3D%22Clustered%2095%25%20intervals%20that%20cover%20the%20truth%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20see.**%0A%20%20%20%20%20%20%20%20%20%20%20%20Set%20the%20link%20to%200%3A%20the%20years%20are%20independent%2C%20and%20both%20standard%20errors%20agree.%0A%20%20%20%20%20%20%20%20%20%20%20%20Raise%20it%3A%20the%20plain%20SE%20stays%20small%2C%20the%20true%20spread%20grows%2C%20and%20plain%0A%20%20%20%20%20%20%20%20%20%20%20%20intervals%20miss%20far%20more%20than%205%25%20of%20the%20time.%20The%20plain%20SE%20is%20**overconfident**.%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20clustered%20SE%20tracks%20the%20true%20spread.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Few%20schools.**%20With%20%7BG2%7D%20schools%2C%20Stata%20builds%20the%20clustered%20interval%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20a%20multiplier%20of%20%7Btcrit2%3A.2f%7D%20instead%20of%201.96.%20Try%203%20schools%20with%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20strong%20link%3A%20even%20the%20clustered%20SE%20is%20now%20smaller%20than%20the%20true%20spread%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20only%20the%20big%20multiplier%20(4.30)%20rescues%20it%2C%20so%20the%20intervals%20are%20very%20wide.%0A%20%20%20%20%20%20%20%20%20%20%20%20Clustering%20needs%20many%20schools%3B%20three%20schools%20(Maple%2C%20Oak%2C%20Pine)%20are%20far%20too%20few.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%203.%20Why%20does%20free%20lunch%20stop%20being%20significant%20with%20fixed%20effects%3F%0A%0A%20%20%20%20In%20Papke's%20data%2C%20the%20free-lunch%20coefficient%20is%20**%E2%88%920.58**%20(pooled%2C%20clearly%0A%20%20%20%20significant)%20but%20**%E2%88%920.16**%20with%20fixed%20effects%2C%20with%20an%20interval%20that%0A%20%20%20%20crosses%20zero.%20Here%20we%20build%20fake%20schools%20that%20behave%20the%20same%20way%3A%0A%0A%20%20%20%20-%20schools%20differ%20a%20lot%20in%20free%20lunch%20(**between**%20schools%2C%20spread%20about%2025%20points)%3B%0A%20%20%20%20-%20a%20school's%20free-lunch%20share%20barely%20moves%20from%20year%20to%20year%20(**within**%2C%20about%205%20points)%3B%0A%20%20%20%20-%20poorer%20schools%20also%20have%20*other*%20disadvantages%20we%20do%20not%20observe.%0A%0A%20%20%20%20The%20**true**%20effect%20of%20free%20lunch%20(inside%20a%20school)%20is%20**%E2%88%920.15**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20within_sd%20%3D%20mo.ui.slider(1%2C%2020%2C%20value%3D5%2C%20step%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22How%20much%20free%20lunch%20moves%20inside%20a%20school%20(points)%22)%0A%20%20%20%20hidden%20%3D%20mo.ui.slider(0.0%2C%200.8%2C%20value%3D0.45%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Hidden%20disadvantage%20of%20poorer%20schools%22)%0A%20%20%20%20redraw3%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Draw%20new%20schools%22)%0A%20%20%20%20mo.vstack(%5Bwithin_sd%2C%20hidden%2C%20redraw3%5D)%0A%20%20%20%20return%20hidden%2C%20redraw3%2C%20within_sd%0A%0A%0A%40app.cell%0Adef%20_(hidden%2C%20np%2C%20pd%2C%20redraw3%2C%20within_sd)%3A%0A%20%20%20%20%23%20200%20schools%20x%206%20years.%20school_lunch%20%3D%20the%20school's%20usual%20level%3B%0A%20%20%20%20%23%20quality%20%3D%20what%20we%20do%20not%20observe%20(worse%20in%20poorer%20schools).%0A%20%20%20%20G3%2C%20YEARS3%2C%20TRUE_B3%20%3D%20200%2C%206%2C%20-0.15%0A%20%20%20%20rng3%20%3D%20np.random.default_rng(300%20%2B%20redraw3.value)%0A%20%20%20%20school_lunch%20%3D%20np.clip(rng3.normal(37%2C%2025%2C%20size%3DG3)%2C%202%2C%2095)%0A%20%20%20%20quality%20%3D%20-hidden.value%20*%20(school_lunch%20-%2037)%20%2B%20rng3.normal(0%2C%208%2C%20size%3DG3)%0A%20%20%20%20lunch3%20%3D%20school_lunch%5B%3A%2C%20None%5D%20%2B%20rng3.normal(0%2C%20within_sd.value%2C%20size%3D(G3%2C%20YEARS3))%0A%20%20%20%20lunch3%20%3D%20np.clip(lunch3%2C%200%2C%20100)%0A%20%20%20%20math3%20%3D%2060%20%2B%20quality%5B%3A%2C%20None%5D%20%2B%20TRUE_B3%20*%20lunch3%20%2B%20rng3.normal(0%2C%2018%2C%20size%3D(G3%2C%20YEARS3))%0A%0A%20%20%20%20panel3%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22school%22%3A%20np.repeat(np.arange(1%2C%20G3%20%2B%201)%2C%20YEARS3)%2C%0A%20%20%20%20%20%20%20%20%22year%22%3A%20np.tile(np.arange(1994%2C%201994%20%2B%20YEARS3)%2C%20G3)%2C%0A%20%20%20%20%20%20%20%20%22lunch%22%3A%20lunch3.ravel()%2C%0A%20%20%20%20%20%20%20%20%22math4%22%3A%20math3.ravel()%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%20G3%2C%20TRUE_B3%2C%20lunch3%2C%20math3%2C%20panel3%0A%0A%0A%40app.cell%0Adef%20_(G3%2C%20T975%2C%20cluster_se%2C%20lunch3%2C%20math3%2C%20np%2C%20pd)%3A%0A%20%20%20%20%23%20Pooled%20OLS%3A%20one%20line%20through%20all%20school-years.%0A%20%20%20%20xd_p%20%3D%20lunch3%20-%20lunch3.mean()%0A%20%20%20%20b_pool%20%3D%20(xd_p%20*%20(math3%20-%20math3.mean())).sum()%20%2F%20(xd_p**2).sum()%0A%20%20%20%20e_pool%20%3D%20(math3%20-%20math3.mean())%20-%20b_pool%20*%20xd_p%0A%20%20%20%20se_pool%20%3D%20cluster_se(xd_p%5BNone%5D%2C%20e_pool%5BNone%5D)%5B0%5D%0A%0A%20%20%20%20%23%20Fixed%20effects%3A%20subtract%20each%20school's%20own%20average%20first%20(demeaning).%0A%20%20%20%20xd_fe%20%3D%20lunch3%20-%20lunch3.mean(axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20yd_fe%20%3D%20math3%20-%20math3.mean(axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20b_fe%20%3D%20(xd_fe%20*%20yd_fe).sum()%20%2F%20(xd_fe**2).sum()%0A%20%20%20%20e_fe%20%3D%20yd_fe%20-%20b_fe%20*%20xd_fe%0A%20%20%20%20se_fe%20%3D%20cluster_se(xd_fe%5BNone%5D%2C%20e_fe%5BNone%5D%2C%20k%3D1)%5B0%5D%0A%0A%20%20%20%20%23%20Both%20with%20clustered%20standard%20errors%2C%20as%20in%20the%20Stata%20file.%0A%20%20%20%20t3%20%3D%20T975%5BG3%20-%201%5D%0A%20%20%20%20ci3%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22model%22%3A%20%5B%22Pooled%20OLS%22%2C%20%22Fixed%20effects%22%5D%2C%0A%20%20%20%20%20%20%20%20%22estimate%22%3A%20%5Bb_pool%2C%20b_fe%5D%2C%0A%20%20%20%20%20%20%20%20%22low%22%3A%20%5Bb_pool%20-%20t3%20*%20se_pool%2C%20b_fe%20-%20t3%20*%20se_fe%5D%2C%0A%20%20%20%20%20%20%20%20%22high%22%3A%20%5Bb_pool%20%2B%20t3%20*%20se_pool%2C%20b_fe%20%2B%20t3%20*%20se_fe%5D%2C%0A%20%20%20%20%7D)%0A%20%20%20%20ci3%5B%22significant%22%5D%20%3D%20np.where((ci3%5B%22high%22%5D%20%3C%200)%20%7C%20(ci3%5B%22low%22%5D%20%3E%200)%2C%20%22yes%22%2C%20%22no%22)%0A%20%20%20%20within_share%20%3D%20xd_fe.std()%20%2F%20lunch3.std()%0A%20%20%20%20return%20ci3%2C%20within_share%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20panel3)%3A%0A%20%20%20%20%23%20Eight%20schools%2C%20spread%20from%20low%20to%20high%20poverty%3A%20one%20colour%20per%20school.%0A%20%20%20%20picks3%20%3D%20panel3.groupby(%22school%22)%5B%22lunch%22%5D.mean().sort_values()%0A%20%20%20%20chosen3%20%3D%20picks3.index%5B%5B5%2C%2030%2C%2060%2C%2090%2C%20115%2C%20140%2C%20170%2C%20195%5D%5D%0A%20%20%20%20few3%20%3D%20panel3%5Bpanel3%5B%22school%22%5D.isin(chosen3)%5D%0A%20%20%20%20chart3a%20%3D%20alt.Chart(few3).mark_line(point%3DTrue).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22lunch%3AQ%22%2C%20title%3D%22Students%20eligible%20for%20free%20lunch%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%20100%5D))%2C%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22math4%3AQ%22%2C%20title%3D%22Math%20pass%20rate%20(%25)%22%2C%20scale%3Dalt.Scale(zero%3DFalse))%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22school%3AN%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20order%3D%22year%3AO%22%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5B%22school%22%2C%20%22year%22%2C%20alt.Tooltip(%22lunch%3AQ%22%2C%20format%3D%22.1f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22math4%3AQ%22%2C%20format%3D%22.1f%22)%5D%2C%0A%20%20%20%20).properties(width%3D330%2C%20height%3D280%2C%20title%3D%22Eight%20schools%2C%206%20years%20each%22)%0A%20%20%20%20return%20(chart3a%2C)%0A%0A%0A%40app.cell%0Adef%20_(TRUE_B3%2C%20alt%2C%20ci3)%3A%0A%20%20%20%20rules3%20%3D%20alt.Chart(ci3).mark_rule(strokeWidth%3D5).encode(%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22model%3AN%22%2C%20sort%3DNone%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20x%3Dalt.X(%22low%3AQ%22%2C%20title%3D%22Free-lunch%20coefficient%2C%2095%25%20interval%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B-1.0%2C%200.4%5D))%2C%0A%20%20%20%20%20%20%20%20x2%3D%22high%3AQ%22%2C%0A%20%20%20%20%20%20%20%20color%3Dalt.Color(%22model%3AN%22%2C%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3D%5B%22%231f4e9c%22%2C%20%22%237f7f7f%22%5D))%2C%0A%20%20%20%20)%0A%20%20%20%20dots3%20%3D%20alt.Chart(ci3).mark_point(filled%3DTrue%2C%20size%3D120%2C%20color%3D%22black%22).encode(%0A%20%20%20%20%20%20%20%20y%3Dalt.Y(%22model%3AN%22%2C%20sort%3DNone)%2C%20x%3D%22estimate%3AQ%22%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%5Balt.Tooltip(%22estimate%3AQ%22%2C%20format%3D%22.3f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22low%3AQ%22%2C%20format%3D%22.3f%22)%2C%20alt.Tooltip(%22high%3AQ%22%2C%20format%3D%22.3f%22)%5D)%0A%20%20%20%20zero3%20%3D%20alt.Chart().mark_rule(color%3D%22red%22%2C%20strokeDash%3D%5B6%2C%204%5D).encode(x%3Dalt.datum(0))%0A%20%20%20%20truth3%20%3D%20alt.Chart().mark_rule(color%3D%22black%22%2C%20strokeDash%3D%5B2%2C%202%5D).encode(%0A%20%20%20%20%20%20%20%20x%3Dalt.datum(TRUE_B3))%0A%20%20%20%20chart3b%20%3D%20(rules3%20%2B%20dots3%20%2B%20zero3%20%2B%20truth3).properties(%0A%20%20%20%20%20%20%20%20width%3D330%2C%20height%3D280%2C%20title%3D%22Red%20dashes%20%3D%20no%20effect%3B%20black%20dots%20%3D%20truth%20(%E2%88%920.15)%22)%0A%20%20%20%20return%20(chart3b%2C)%0A%0A%0A%40app.cell%0Adef%20_(chart3a%2C%20chart3b%2C%20ci3%2C%20mo%2C%20within_share)%3A%0A%20%20%20%20pool3%2C%20fe3%20%3D%20ci3.iloc%5B0%5D%2C%20ci3.iloc%5B1%5D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.hstack(%5Bchart3a%2C%20chart3b%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bpool3.estimate%3A.2f%7D%22%2C%20label%3D%22Pooled%20estimate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%5B%7Bpool3.low%3A.2f%7D%2C%20%7Bpool3.high%3A.2f%7D%5D%2C%20significant%3A%20%7Bpool3.significant%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bfe3.estimate%3A.2f%7D%22%2C%20label%3D%22Fixed-effects%20estimate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%5B%7Bfe3.low%3A.2f%7D%2C%20%7Bfe3.high%3A.2f%7D%5D%2C%20significant%3A%20%7Bfe3.significant%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7Bwithin_share%3A.0%25%7D%22%2C%20label%3D%22Share%20of%20lunch%20variation%20inside%20schools%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**What%20to%20see.**%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Pooled%20is%20wrong%20and%20too%20sure.**%20It%20compares%20poor%20schools%20with%20rich%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20schools%2C%20so%20it%20also%20picks%20up%20their%20hidden%20disadvantages.%20Its%20interval%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20narrow%20and%20sits%20far%20from%20the%20truth.%20Set%20the%20hidden%20disadvantage%20to%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20pooled%20moves%20to%20the%20truth.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**Fixed%20effects%20is%20right%20but%20unsure.**%20It%20only%20uses%20each%20school's%20moves%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20year%20to%20year%20(the%20short%20left-right%20wiggles%20in%20the%20left%20picture).%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20Those%20moves%20are%20small%2C%20so%20there%20is%20little%20evidence%20and%20the%20interval%20is%20wide%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20it%20often%20crosses%20zero.%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20**%22Not%20significant%22%20does%20not%20mean%20%22no%20effect%22.**%20Increase%20how%20much%20free%20lunch%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20moves%20inside%20a%20school%3A%20the%20fixed-effects%20interval%20shrinks%20and%20eventually%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20excludes%20zero.%20The%20effect%20was%20there%20all%20along%3B%20we%20lacked%20the%20evidence.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A