«Ettpartistaten» fikk et uventet endeligt da Finn Gustavsen veltet statsminister Einar Gerhardsen og banet vei for den kortvarige Lyng-regjeringen i 1963, og enda mer da Per Bortens regjering tiltrådte etter den ikke-sosialistiske valgseieren i 1965.
Inntil da hadde altså Arbeiderpartiet full kontroll med tjenestene, slik at disse kunne arbeide som ulike deler av et «konsern» sammen med Ap/LOs tjeneste, men nå måtte partiet påregne å være langvarig borte fra regjeringsmakten. Det var ikke lenger «konsern-kommunikasjon» mellom Ap/LO-tjenesten og de andre.
Likevel satt det nå «partifolk i alle ombud», ikke minst i tjenestene. Men tilfeldighetene ville at det inntraff begivenheter som sterkt påvirket Aps stilling i tjenestene mens partiet var i opposisjon:
Blant disse var at statsminister Per Borten helt fra han tiltrådte opparbeidet et overraskende nært forhold til sin ekspedisjonssjef Andreas Andersen. Andersen var Ap-mann og hadde i sin ekspedisjonssjefsstilling nærmest vært sjef for tjenestene helt fra 50-årene. Folk fra tjenestene pleide gjerne å komme til ham for å «klarere» spesielle forhold. Etterhvert ble det imidlertid i meste laget for ham. Da Haakon Lie kom tilbake fra Israel etter syvdagerskrigen i 1967, meldte Andersen seg ut av Arbeiderpartiet1. Den utløsende årsak var at Lie «tilfeldigvis» hadde vært i Israel da krigen startet og Lies ensidige reisebrev hjem, men generelt var det selvsagt misbruket av tjenestene og Aps forhold til Israel og Mossad som var avgjørende. Andersen fortalte en del av det han visste til Borten2:
«Andersen kjente til den nære forbindelsen mellom ‘haukene i partiet’, Jens Chr Hauge, Haakon Lie, Konrad Nordahl og etterretningstjenesten, som ifølge Andersen samarbeidet meget tett.»
«Blant annet kunne Andersen fortelle meg at partiet fikk penger av etterretningstjenesten til å ansette sekretærer. Andersen kjente til dette i detalj og informerte meg om saken, forteller Borten. Borten kjenner også til at Andersen selv ble etterforsket av de hemmelige tjenester.
Nå må Jens Christian Hauge og Haakon Lie stå fram og fortelle det de vet. Og de vet mye, det vet jeg, sier Borten. Han legger til at en mann som Thorvald Stoltenberg også må bære på hemmeligheter, så langt han kan forstå hans nære forhold til seksjonssjef Trond Johansen …»
«Statsministeren fikk besøk av to amerikanske etterretningsfolk, som ba Borten forlate sitt kontor mens de arbeidet, angivelig for å avdekke hemmelige mikrofoner … Jeg vet idag at dette var etterretningsfolk, og jeg er overbevist om at de hadde nær kontakt med norsk etterretningsvesen. … Den viktigste hensikten var etter alt å dømme å installere det mest avanserte avlyttingsutstyr på mitt kontor.»
Umiddelbart etter valget ble Vilhelm Evangs sekretær, Ingeborg Lygren, arrestert, mistenkt for spionasje. Det langvarige uvennskapet mellom Asbjørn Bryhn og Evang helt fra krigens dager og Evangs og flere av hans nærmeste medarbeideres meget radikale fortid kombinert med opplysninger fra den russiske avhopperen Anatolij Golitzyn resulterte i denne arrestasjonen. Spionene i MI5 og MI6, senere kjent som «The Five», rekruttert av russerne i det radikale studentmiljøet på 30-tallet kunne lett gi assosiasjoner om at tilsvarende kunne ha skjedd i Norge i de tilsvarende miljøene som nettopp Evang tilhørte. Det er ikke utenkelig at Asbjørn Bryhn hadde spionen Abel i tankene. Abel oppholdt seg i Oslo på 30-tallet der han drev med spionasje og rekruttering av agenter uten at de norske myndigheter klarte å få nok på ham (senere ble han arrestert som spion i USA og utvekslet mot Powers/U-2).
Offisiell oppreisning for Ingeborg Lygren (og E-staben) kom ikke fra CIA før i 1978, etter arrestasjonen av Gunvor Galtung Haavik. I mellomtiden hadde E-staben gjennomlevet en periode der alle mistenkte alle og amerikanerne ikke hadde mye tillit til noen.
Arrestasjonen av Lygren medførte umiddelbart at den nye ikke-sosialistiske regjeringen delte den gamle E&S-staben i to: Etterretningsstaben og Sikkerhetsstaben. Regjeringen nedsatte videre det såkalte Mellbye-utvalget (etter høyesterettsdommer Jens Chr Mellbye) til å granske de hemmelige tjenestene. (Som vi senere skal komme tilbake til, ble det ikke noe resultat av Mellbye-utvalget, selv om Ronald Bye senere har bekreftet at det da foregikk kontinuerlig ulovlig politisk overvåking ihvertfall rettet mot egne rekker og fagbevegelsen i tillegg til venstresiden.)
Opplysningene fra Andersen kan ha bidratt til at Borten-regjeringen reagerte såpass resolutt etter Lygren-affæren. På grunn av oppdelingen ble oberst Evang og politiinspektør Bryhn frabeordret sine stillinger. Evangs etterfølger i den nye E-staben ble oberst Johan Berg, mens oberst Carl Ruge fortsatte som sjef for den utskilte S-staben. Politiinspektør Gunnar Haarstad etterfulgte Asbjørn Bryhn som sjef for Overvåkingspolitiet.
Arbeiderpartiet hadde dermed for en meget kort periode mistet kontrollen over tjenestene.