utvärderingsrapport

Förra året genomförde jag en utvärdering av två forskningsprogram som finansierats av Formas (och som började redan på saliga Byggforskningsrådets tid). Programmen LIV och DUST håller sig inom området stadspolitik och hållbar utveckling. I utvärderingen används ett antal metoder för att besvara frågan om vilka grupper som påverkat sina respektive områden på ett märkbart sätt och hur de svenska aktiviteterna ser ut i internationell jämförelse. I rapporten finns också en uppföljning av doktorandernas vidare öden och äventyr. Örebro och KTH (FMS-gruppen) får höga betyg i utvärderingen. Nästa år skall det genomföras en traditionell peer-review av samma grupper, blir intressant benchmark. Utvärderingen ligger också på Formas hemsida under "Utvärderingar" (länk kommer snart).

UNT har just nu en forskningspolitisk debatt

UNT - Upsala Nya Tidning - den tidning jag själv är uppväxt med, den tidning genom vilken jag lärde mig läsa har just nu en intressant forskningspolitisk debatt. Det är humanisterna som driver debatten men det finns också andra inslag. Glad blir jag av att näringslivschefen Lars Jonsson vid UU (UNT 16/10) avlivar myten om den svenska paradoxen och han gör det mycket övertygande. Johan Schnürer vid SLU argumenterar i linjen att de bästa forskargrupperna "har mycket kontakt med näringslivet", lite vagt men det är ändå viktiga fakta. En bra grafik skildrar de nya öronmärkta strategiska satsningarna till universiteten, se här. UNT är en omistlig tidning.

Bedöma avhandlingar

Jag råkade hitta en mycket trevlig skrift från Göteborg och Sahlgrenska Akademien - "Att bedöma en vetenskaplig avhandling". Denna typ av handbok, som det säkert finns rätt många varianter av vid våra svenska universitet, är uppfordrande och samtidigt klokt, förståndigt och realistiskt skriven. Bland annat finns en gradering i fyra kategorier:
*Enastående
*Mycket Bra
*Acceptabel
*Inte acceptabel
så att man själv kan sätta in sig och sin avhandling i "rätt" kategori. Jag står snart inför att fira 20-årsjubileum som doktor så det är bara att sätta igång och klassificera.
Hursom, det vore rätt kul att studera dessa skrifter (om hur man bedömer avhandlingar) och analysera dem. Kanske ett tips för en hugad språkvetare tillsammans med en mer kunskapsfilosofisk vetenskapsteoretiker. Vilka kvalitetsbegrepp är det som kommer till uttryck? Passar avslutningsvis på att tipsa om Sven Hemlins avhandling Quality in Science från 1991 som just handlar om forskares syn på kvalitet och vad de lägger in i begreppet.

Rothstein bloggar om Ostrom

Bo Rothstein som skrivit en del negativt om bloggar och bloggvärlden faller nu till föga och skriver ett inlägg på Ekonomistas blogg, se här. Det är under alla omständigheter en mycket bra artikel och jag föreställer mig gärna att Rothstein och Lennart J Lundqvist vid GU höjer en stor skål för Nobelkommittén. Ekonomistas är f ö en av de bästa och mest intressanta bloggarna.

The Field Factor - fältfaktorn i vetenskaplig tidskrift

Min tredje ISI-artikel för året har precis kommit. Tillsammans med Erik Sandström publiceras en artikel i tidskriften Research Evaluation (hämta artikeln här). Den bygger på ett bidrag till S&TI Vienna 2008 och beskriver den svenska incitamentsmodellen för universitetsprestationer. I grova drag kan sägas att artikeln redovisar den första egentliga undersökningen där den svenska och norska modellen jämförs. Och det görs på norska data; fyra stora norska universitet. Huvuddragen har tidigare publicerats i vår rapport till Högskoleverket men på Skandinavisk botten har den undersökningen visats oerhört litet intresse. Man undrar varför? Borde det inte vara möjligt att med samma dataunderlag visa om det skulle vara så att vår undersökning inte är korrekt genomförd? Nej, istället försöker de som driver den norska modellens idé att ignorera vetenskapliga undersökningar av det här slaget. Det var också tydligt att Vetenskapsrådets analysavdelning helt bortsåg från den här undersökningen.
Trevligt är att Leidenforskaren Henk Moed ingår ibland redaktörerna vilka skriver en editorial. jag uppskattar väldigt mycket att det har gått så pass snabbt. Bra jobbat Research Evaluation!

Per O Seglen

När jag skrev bilaga 8 till Brändströmsutredningens betänkande Resurser för kvalitet (SOU 2007:81) var jag uppriktigt förvånad över att man i Norge hade föreslagit en modell som i stor utsträckning baserades på den sedan länge förhatliga journal Impact Factor (IF). Eftersom det i Norge råkar finnas en forskare - Per O Seglen - som ägnat större delen av sitt professionella liv åt att plocka sönder IF och visa att det inte är en användbar indikator för att bedöma enskilda forskare eller forskargrupper var jag närmast oförberedd på att en norrman hade föreslagit något åt det hållet. Men så var det, Gunnar Sivertsen på NIFU hade använt IF som underlag för den "norska modellen" som ger olika poäng beroende på vilken tidskrift man publicerar i snarare än i vilken mån man erhåller faktiska citeringar.
När Sivertsen läste SOU 2008:81 skrek han i högan sky. Möjligen petade jag i det öppna såret och u fick vi ta del av skamkänslorna. Sivertsen fick i alla fall norska högskoleverket att underteckna en skrivelse till svenska Utbildningsdepartementet. Denna skrivelse har nog cirkulerat en del bland svenska bibliometriker in spe. Mitt svar, som nog inte cirkulerat i samma utsträckning, visade bl a att norska forskare som publicerade artiklar i nivå 1-tidskrifter i fyra av fem tidskriftsklasser hade högre citeringsgrad än de som publicerade i nivå 2. Men de senare fick högre poäng för sina ociterade artiklar.
Jag undrade naurligtvis, i all stillhet, vad Per O Seglen kunde tänkas tycka om detta. Nu har vi hans svar. Det publiceras i en skrift från norska vetenskapsakademien. Seglens inlägg är mycket läsvärt. Läs det här. Jag kanske skall tillägga att Per O Seglen har ett måtto för sitt bidrag: Science deserves to be judged by its contents, not by its wrapping". Det antyder kanske vartåt det lutar. Enligt hans mening är den norska modellen allt annat än att lita på.

Honeth tar VR i örat

Frågan om vilken modell som skall användas för att fördela statsmedel till universiteten har legat i stöpsleven under det senaste året. VR och dess analysavdelning fick uppdraget att "kvalitetssäkra" och "utveckla" modellen, men det visade sig att man inte var vuxen den uppgiften. Istället ägnade man all tid åt att marknadsföra en modell som redan på ett tidigt stadium (januari 2008) hade förkastats av departementet.
I maj månad la VR återigen fram sitt förslag. Rätt snart kunde det avvisas eftersom det bygger på en rad okända konstanter och har för svensk forskning ogynnsamma egenskaper:
1) översättningen från ISI:s tidskriftsklasser till svenska forskningsämnen skapar osäkerheter och svagheter, 2) den ekonomiska statistiken bygger på en rad förenklingar och oäkerheter av vilka de flesta är okända och svårkalkylerade, t ex transfereringar mellan universitet är allt oftare en del av verksamheterna, men dessa pengar har inga precisa ämnesklasser knutna till sig, inte sällan är det pengar till övergripande och tvärgående projekt, 3) huruvida universitet och högskolor redovisar personal på universitetet men finansieringen sköts av närliggande organisationer som landstinget eller andra organisationer får en avgörande betydelse för det ekonomiska utfallet, 4) VR föreslår ett system som bygger på att jämförelser endast kan göras inom Sverige och mellan svenska universitet, medan vårt system (eller regeringens om man så vill) byggts upp med nordiska referensvärden.
Om den första punkten bör tilläggas att VR silar mygg och sväljer kameler när de på oklara grunder avvisar Waringmodellen för statistiska osäkerheter medan de accepterar sina egna okända fel och osäkerheter. Varför görs inga konfidensintervall på VRs egen modell?
Den andra punkten känner vi väl till från svensk forskningspolitik sedan mitten av 1990-talet. Forskningsfinansiärer ger bidrag till konstellationer av forskare som representerar flera universitet. När pengarna skickas från universitet A till B redovisar universitet B dem inte som ett bidrag från forskningsfinansiären utan från universitet A. Ämneskategorisering byggd på en sådan statistik måste med nödvändighet medföra stora osäkerheter.
Den tredje punkten ger universiteten incitament att börja fiffla med organisation och ekonomi. Det skulle ta en ände med förskräckelse om ett sådant system infördes. Och det insåg var och en som var insatt i frågan. VRs räknenissar visade sig vara helt världsfrånvända.
Den fjärde punkten gäller något så viktigt som att VRs förslag inte tar hänsyn till hur andra liknande länder utvecklar sin publiceringsverksamhet. I princip skulle svenska forskare kunna minska aktivitetsnivå (jämfört med övriga nordiska länder) och ändå få en ökad utdelning från staten! Internationella jämförelser är en viktig poäng med allanvändning av bibliometriska indikatorer. Hur VR kan ha kommit på en så tokig idé har jag faktiskt svårt att förstå.

Det bör understrykas att vår Waringmodell har en väsentlig fördel: den bygger på en statistik som möjliggör att konfidensintervall kan beräknas. Vad jag vet har ingen kunnat visa att modellen inte håller för att användas på det sätt som regeringen gör - fördela till universitet. Några få ämnesklasser är små men det gör också att felen är obetydlliga i sammanhanget. Marginalfelen per ämnesklass tar rimligen ut varandra i de områden som bygger på ordentligt baserade värden, dvs. klasser med mer än 1000 artiklar. Alternativet som VR tagit fram bygger helt okända fel där vi kan anta att det föreligger systematiska skevheter t ex till följd av stora ämnesövergripande program är vanligare inom vissa områden och vanliga inom andra. SCB:s forskningsämnen är rent skrattretande eftersom de baseras på rapporter från adminstratörer. När jag försökt använda dessa forskningsämnen på individnivå har universitetsforskarna alltid slagit bakut och visat att de inte fungerar.

Departementet kallade således till sig VRs byråkrater och gav dem bakläxa. Ja, man tog VR ordentligt i örat för att man så flagrant misskött sitt uppdrag. VR undersökte aldrig huruvida den Waringmodell som Brändströmska utredningen lade fram fungerade tillfredsställande eller inte. Utan undersökning ingen rätt att tala är en god devis, men VR trodde sig kunna avvisa modellen på basis av rent önsketänkande. Självfallet höll det inte eftersom man kan säga mycket om personalen på departementet men lättlurade och dumma är dom i alla fall inte. De har en sällsynt god förmåga att genomskåda förslag. Dessutom framfördes VRs förslag på ett mycket okunnigt och trotsigt sätt. Minst sagt märkligt.
VR fick alltså i uppdrag att gå tillbaka och fick tre veckor på sig att komma med ett nytt förslag. Alltså fick man gå tillbaka till vår Waringmodell och eftersom man inte hade gjort sitt jobb och räknat fram waringvärden för områden, vilket man inte snyter ur näsan eftersom det kräver att materialet personrättas för hela Norden. VR klarar ju knappt av att adressrätta. De kunde inte heller placera in de nya tidskrifter som tillkommit i deras korrekta makroklasser utan har låtit dessa få genomsnittsvärden. Också det en tveksam metod. Hade det inte varit bättre att svälja förtreten och lyfta på telefonluren och ringa undertecknad så hade vi kunnat leverera detta.
Till syvende och sist visar det sig att VR låtit sin personal ha rent personliga antipatier som fått styra verksamheten. I sig ett haveri alldeles ovärdigt en myndighet som har att hantera forskningspolitisk rådgivning och som hanterar flera miljarder av forskningsbidrag.
Ett ganska klart indicium på att man spekulerat i ren okunskap är att VRs majrapport överhuvudtaget inte referar den undersökning som vi utförde i Högskoleverkets rapport Resurser för citeringar (2008:18R). Den undersökningen visar bl a att den norska modellen och den svenska waringmodellen är ungefär likvärdiga när det gäller att mäta forskningsaktiviteter vid svenska och norska universitet. Dessa undersökningar som nu inom kort publiceras i Research Evaluation och dess kommande septembernummer kan man inte komma förbi hur lätt som helst. Men VR förbigår dem med en talande tystnad. De saknar argument.
Nu föreligger alltså underlag för omfördelning av direkta statsanslag. De bygger på referensvärden som är rätt så gamla vid det här laget. Genom att deppet gav uppdraget till VR har framtagandet av referensvärden för Norden fördröjts ytterligare ett år. Dom borde skämmas.

debatten om VR, SSF och Tobias Krantz

På Newsmill finns en debatt som innehåller en del forskningspolitiskt sprängstoff. Det är fortsättningen på Elias Erikssons uppmärksammade DN-debattinlägg den 31 juli. På Newsmill ges Eriksson utrymme att i detalj lägga ut sin kritik och sina synpunkter på hur bedömningssystemet ser ut i dess olika skepnader, på SSF, på VR och hur det borde vara. Det jag saknar i debatten är en koppling till det faktum att VR:s Linnébidrag drabbas av just den kritik som Eriksson formulerar. Jag håller själv på med att undersöka hur bedömningsarbetet med Linnébidragen har gått till. Går det att se några mönster i bedömningsarbetet till följd av de ledamöter som de fyra kommittéerna har haft? Presenterande en första analys vid Riokonferensen i somras och jag har fått blodad tand. Erikssons utmärkta debatt understödjer behovet av dylika analyser.

Läkartidningen om nepotismen i Vetenskapsrådet

Tillsammans med en kollega vid Stockholms universitet publicerar jag i denna vecka en artikel i Läkartidningen som diskuterar frågan om vilka metoder som bör användas för att studera bias i fördelningen av bidrag från Vetenskapsrådet.
Artikeln bygger på vårt bidrag i Scientometrics "Persistent Nepotism in Peer Review". Där visas att nepotism, operationellt definierat som att man vid bidragsbeslutet uppgivit att det för en ledamot föreligger jäv till den bidragssökande, är en betydande faktor som förklarar en stor del av utfallet.
Sedan artikeln publicerades förra året har det vad jag vet inte framkommit någon som helst reaktion från Vetenskapsrådet. Nu är det hög tid att detta kommer upp på den forskningspolitiska dagordningen.

postcard from Rio Brazil

Som sagt, resan gick till Rio de Janerio. Besöket på denna ö var nummer 2 i ordningen för min del och jag trodde förstås att jag kom ihåg allt och kände mig väl förberedd. Icke sa nicke. Storstadspulsen blev nära nog en chockartad upplevelse eftersom hotellet låg nära Avenida Copacabana. Folk av alla de slag rör sig i en ständigt uppskruvad ström - alltsomoftast per bil/lastbil/buss - och med en vad det verkar alltmer ökande hastighet. Här vill jag inflika att vi ofta reste i den minst sagt vidsträckta staden med buss. Ganska obekväma fordon, dålig fjädring, dåliga växellådor med mera, men inget av detta hindrade busschafförerna från att köra tävlingsrally utefter den femfiliga leden mot stadskärnan. Jag trodde på fullt allvar att vi skulle välta eller åtminstone hamna i sladd ett par gånger.

Ett lucnchtips är restarangen ovanpå moderna museet. Lite dyr men så mycket bättre.

Vi tillbringade två veckor i Rio och en vecka i Buzios, det senare är en turistresort 20 mil nordöst om Rio, ca 3,5 timmes bilfärd från Rio. Vackert utan bara tusan och med ett knippe stränder som har den allra finaste sand jag någonsin sett. Tjugofem stränder inom ett par mil omkrets och ett litet centrum med en massa fina restauranger. Bland annat Havanna club som erböd musik varje kväll.

Första veckan i Rio bekantade vi oss med staden, promenerade mycket, solade och läste. Och letade efter Bip Bip, ett litet hål i väggen som blivit en världskänd musikbar, man firade 40 år den 13 december förra året. Första resan till Rio råkade jag gå förbi och fastnade för musiken och och det enkla okomplicerade, man satte sig (om det fanns en stol) eller stod och lyssnade. Ville man ha en öl gick man till kylskåpet längst in och tog en öl, betalade när det var dags att gå hem. Mellow samba blev sedan dess något jag gärna har i lurarna. I år gick förbi där varje kväll och en söndag var Paulinho do Cavoco där och ledde jammandet. Det är inte alltid perfekt, man lär sig genom att spela, och på Bip Bip förs traditionen vidare. Alla kan vara med.

Vädret första och andra veckan var mycket tilltalande, ca 25 grader och mjuka vindar. Vågorna går dock höga vid Atlantkusten så det är lite farligt att löga sig, men det går inte att låta bli.

Andra veckan var det konferens, ISSI no 12, och et borde jag väl skriva mer om, kanske gör jag det, men jag tyckte inte att det var nån fart på koferensen i år. Personligen misstänker jag, och jag fick medhåll av en del konferensdeltagare, att det blir lite väl inkrökt och för mycket sånt i år. Jag tror kanske att programme chair helst inte bör vara en biblioteksforskare utan en bibliometriforskare. Programläggarna hade inte lyckats på samma sätt som vid tidigare konferenser. Kom tillbaka Henk Moed var min spontana tanke efter konferensen. Festmiddan gick dock i sambastil och jag tror att alla deltagarna var uppe och dansade. Till och med Michel Zitt blev uppdagen av en av de inhyrda dansarna(!).

Visst det regnade en del den tredje veckan men det är ett regn som är svårt att beskriva i termer av svenska sommarregn. Det är som en sval smekning mot huden när det regnar i Buzios. Däremot kan man ju tillägga att det inte är tyst ens i Buzios. Sommarparadiset har sina gamla folkvagnar (VW) omgjorda till Buggys och med ljuddämpare som inte fungerar som såna utan som ljudförstärkare. I Brasilien är det status att åka bil och då skall det gärna låta om det. Och när bilarna står för natten sätter gärna hundarna igång och skäller.

Väl hemma på Lidingö och efter en natt i tystnaden på denna lilla ö kan jag bara säga att jag uppskattar det lugna och tysta. Även.

humanioradebatten i DN

Flera inlägg har kommit och jag tog och gjorde en rapport om frågan i min serie Forskning om forskning (nr 2 2009). Där framkommer en del intressanta saker: den svenska andelen av historia är låg (<0,5 %) och andelen av svenska historiker som publicerar på den internationella publiceringsmarknaden är påfallande låg. Men det ändras snabbt. Från en lå nivå blir ökningen stor om vi tittar på perioden 2002-2008. Av 420 historiker var andelen som publicerade mindre än 1 % 2002. Sju år senare har andeln ökat till närmare 4 %!
En kommentar till inläggen i DN av Collste, Myrdal och Nordin följer här:
Systemet som infördes 2009 har mött invändningar i DN. Göran Collste anför forskare som under två decennier inget publicerat, hur skall de värderas? Jo, de undandrar sig all utvärdering. Frågan är inte om vi skall utvärdera forskare utan hur det skall göras. Bibliometrin är ett enklare, billigare och mer objektivt sätt för att fördela resurser.
Utesluter olika publiceringsformer varandra som Janken Myrdal hävdar? Självklart inte. Böcker kan bli till artiklar och artiklar kan efterhand slås ihop till böcker.
En undersökning av hur svenska historiker publicerar i internationella tidskrifter (se Forskning om Forskning nr 2, 2009) visar att den svenska andelen i internationella tidskrifter är mycket låg, mindre än 0,5 procent. Svensk forskning brukar kunna utgöra 1,5 procent av världsproduktionen.
Detta antyder att våra 420 svenska historiker i allt väsentligt undviker att utnyttja det internationella tidskriftssystemet. Men andelen historiker som publicerar växer snabbt över perioden 2002-2008 från en mycket låg nivå.
Slutligen, Jonas Nordin misstolkar grovt den svenska publiceringsmodellen. För humaniora och mjuk samhällsvetenskap används överhuvudtaget inte citeringar utan humanisterna får ökad utdelning redan genom att publicera internationellt.
Nordin borde skruva ned sitt tonläge. Förintelseförnekaren David Irving har inte en enda artikel i Web of Science. Irving må ha fått många citeringar till sina böcker under årens lopp (förlag har det ju funnits som tryckt hans förnekelser), men vetenskapliga tidskrifter har inte öppnat sina spalter åt honom. Däremot har striden mot Irvings villfarelser i stor utsträckning förts i de vetenskapliga tidskrifterna. Det är ohederligt av Nordin att på det sättet blanda bort korten.

Liedman på analyssoffan

Sven-Eric Liedman skriver i senaste numret av Psykoanalytisk Tid/Skrift 2009:26-27 om universiteten, ”Tid för erfarenheter eller bara tid för yrkesförberedelse?” en hel del om ranking och publiceringsmätning. Det är en lång text som inte ger så mycket tillbaka, som vanligt är det Liedmans eget liv som ligger till grund för berättelsen. Han blir otroligt detaljerad kring saker som för många andra är självklarheter (t ex om rankningarna), bibliometrin har han nog aldrig förstått och avhåller sig klokt nog från att beskriva dess metodologiska uppbyggnad.
Intressant är att han har väldigt svårt att värja sig mot Svante Nordins angrepp på boken Humaniora på undantag (1978) som av den senare betraktas som det som fick dammluckorna att öppnas för diverse lättsinnigheter av postmodernistiskt slag, vilket blev förödande för humanioras ställning i akademien. Något som också skulle kunna förklara varför humaniora ”förlorat sin plats inom den värld som ledande politiker har för ögonen”. (Nordin: Humaniora i Sverige 2008)
Liedmans artikel är full av noter och referenser. Sär slänger han omkring sig en hel del lättsinnigheter t ex denna: En grupp estetiker gjorde” i sin tidiga ungdom” försök mäta semlors kvalitet genom att betygsätta olika egenskaper. De misslyckades vilket av Liedman tas till intäkt för långtgående slutsatser om omöjligheten att kvantifiera kvaliteter.
Artikeln har ett bestämt syfte. En central passage är kritiken mot Citation Indexes vilka betraktas som pseudokvantiteter när ”siffrorna” betraktas som avgörande för kvaliteten. Liedman slåss mot väderkvarnar. Det är ingen som hävdar att citeringar är detsamma som forskningskvalitet. Vad man mäter är genomslaget på forskning (impact). Impact visar i vilken utsträckning som andra forskare använder, hänvisar till, en viss forskargrupps resultat.
Det är självklart att ett sådant mått är ofullständigt. I stort sett visar citeringsgraden i vilken utsträckning man ingår i ett fungerande sammanhang (nätverk). Att inte få citeringar säger inget bestämt om en enskild forskargrupp, den kan utföra högkvalitativ forskning, men vara helt förbisedd av samtida kolleger bl a till följd av att de driver en forskningslinje som går på tvärs mot gällande normbildning inom ämnet.
Det är dock sällsynt att ett helt universitet eller en hel fakultet består av sådana avvikande grupper. Forskningen är social till sin karaktär och även den missedda blir förr eller senare erkänd om han/hon ger viktiga bidrag till forskningsfronten.
När vi lyfter blicken från det mikrosociala till större gemenskaper (fakultet, storinstitution eller universitet, nation) blir det genast helt möjligt att betrakta frekvensen användning som en proxy för kvalitet. Otaliga undersökningar visar att det finns en stark överensstämmelse mellan peer review bedömningar och bibliometriska värderingar. Jag går inte in närmare på detta här och nu utan hänvisar till min rapport KTH RAE Bibliometric Report (2008) tillgänglig på min hemsida: här
Självklart är inte överensstämmelsen mellan bibliometri och peer review helt perfekt men samvariationen är stark och signifikant. Och det räcker enligt min mening för att vi skall dra slutsatsen att det bibliometri mäter är något som närmar sig detsamma som peer review uttrycker, dvs. förmåga att hantera forskningsfrågeställningar, bidra till att belysa dessa med olika dataunderlag, samt att dra teoretiska slutsatser av arbetet. Sedan ingår en hel del annat socialt i såväl bibliometri som peer review och det är inte mycket vi kan göra åt det. Alternativet är att inte mäta och värdera alls. Vart leder det oss?

Citation Amnesia

The Scientist publicerade nyligen en undersökning, som man uppenbarligen utfört på egen hand, av hur forskare uppfattar citeringskulturen i sina respektive områden (här). Artikeln är väl värd att läsa och det finns länkar till tidigare artiklar. Attityder och uppfattningar är naturligtvis en sak och behöver inte alltid stämma överens med hur det egentligen förhåller sig. Jag tror för min del att det är ett allvarligt problem som akademien måste försöka ta itu med på något sätt. Artikeln i The Scientist diskuterar olika sådana förslag. Kanske behöver vi i forskarutbildningen inte bara lära ut forskningsmetoder utan också citeringsetik.

Rothstein om samhällsvetenskaperna

Bo Rothstein gör en välkommen kritisk granskning av svensk samhällsvetenskap i GP (två artiklar, ettan och tvåan). Välgörande eftersom han pekar på ett par viktiga problem som bitit sig fast hos många samhällsvetare. Det ena är det Rothstein kallar "teoretiska förälskelser" och det andra det falska "hjälteideal" som odlas av många samhällsvetenskapliga forskarutbildningar.
Teori-eländet har förlamat svensk samhällsvetenskap sedan lång tid tillbaka. rothstein skildrar det på ett målande sätt och har kloka synpunkter. Framförallt är det immuniseringsstrategierna som bekymrar en Popper-inspirerad forskare (som jag). Genom att skolas in i en teori som institutionen driver blir svaren givna från början. Inom naturvetenskaperna talas numera om "discovery driven research" vilket är något som påminner om bibliometrins arbetssätt. Stora databaser och förmågan att hantera dessa på nya och intressanta sätt leder till nya resultat som ifrågasätter tidigare föreställningar och hypoteser. Förvisso är det så att bibliometri innefattar dolda teorier och hypoteser och där behövs ett teorikritiskt perspektiv, vilket dock fordrar att den som driver det kritiska arbetet åtminstone har satt sig in i elementa. Jag ser hela tiden nya tekniker komma fram, inte sällan från spanska forskare, som ger nya möjligheter att bearbeta material som i sin tur leder till ifrågasättanden. Fokuseringen på några få utvalda teorier leder till ett ointresse för empiriska frågeställningar och synes ha lett till att samhällsvetarna har underlåtit att bygga databaser för sin forskning. Visst, det finns undantag, t ex SOFI vid SU, valforskningen vid GU etc, men alltför många tröskar en invåtvänd verksamhet som saknar öppningar. Läs även Rockystars blogginlägg i frågan.
Hjälteidealet hänger ihop med fokuseringen på teorier: "myten om vad man kan kalla "det ensamma geniet". Forskarutbildningens "dolda läroplan" innebär att en ensam forskare själv skall kunna vara inläst på alla de centrala teoretiska frågorna, själv behärska alla de olika metodologiska moment som kan bli aktuella i forskningsprocessen och dessutom ofta själv samla in och systematisera den empiri som behövs".
Rothstein pekar alltså på en myt som sprids genom den samhällsvetenskapliga forskarutbildningens organisering. Genom att doktoranderna skall skriva sitt livsverk och lösa de "stora problemen" tränas de till högt individualiseade forskare. Mina egna erfarenheter av detta gäller mitt stora riksbanksfondsprojekt Universiteten och det nya forskningslandskapet som fick drivas med ett stort antal odisputerade forskare. Orsaken var att det var omöjligt att hitta disputerade forskare som kunde infogas i programmet. Tyvärr anställdes också några post docs men de drev sina egna forskningsprogram (desutom helt utan att skämmas) och använde sin tid till att söka pengar för att kunna gå vidare till egen verksamhet. Forskningsråden synes, på det sätt som Bo R beskriver, understödja detta falska hjälteideal.
Ett sätt att ändra på den dolda läroplanen i forskarutbildningen vore att klart och tydligt säga nej till monografier, ta bort tryckningsbidragen (och döda den uppblåsta kvasimarknaden som skapats för "akademisk" "bok"utgivning), samt tvinga doktoranderna att infoga sig i riktiga forskningsprogram eftersom det är enda chansen för dem att snabbt att få hjälp med att skriva artiklar till vetenskapliga tidskrifter. Helt klart skulle sammanläggningsavhandlingar bidra till att få bort "hjäteidealet" och bidra till minska svensk samhällsvetenskaps insulära tendenser. Inte bara humanisterna behöver lära sig att utnyttja den resurs som finns hos de referees som internationella tidskrifter erbjuder.

Björntjänst mot humaniora - DN Kultur idag

Mitt svar till Sverker Lenas publiceras i dagens DN Kultur. Texten följer här nedan för den som inte har pappersupplagan. Av någon anledning finns denna debatt inte på DN:s webb. Jag kommenterar Lenas avslutande svar efter artikeln som givits rubriken: En björntjänst: Varför vill humanister undvika vetenskaplig granskning?

Till god journalistisk sed hör att gå till källorna, men det gör inte Sverker Lenas i sin artikel om humaniora (DN 10/6). I stället har han talat med personer som förefaller genuint okunniga om viktiga komponenter i regeringens system för fördelning av resurser till forskning.

Professorerna Fornäs och Myrdal används för att sprida vanföreställningen att naturvetare och humanister jämförs på ett sätt som missgynnar humaniora. Påståendet att ett hundratal medicinare skulle vara mer ”samhällsnyttiga” än humanioras världsstjärnor är helt gripet ur luften eftersom regeringens system bygger på att jämförelserna görs inom respektive forskningsområde.

Regeringen har delat in forskningen i 34 områden eller ligor som Myrdal vill kalla det. Precis tvärtemot vad Myrdal tror sker ingen hopslagning av fotbolls- och handbollsligorna utan alla jämförelser sker inom respektive liga. Varje liga eller forskningsområde består av samtliga akademiska forskare i Norden. Referensvärdena bygger på antalet artiklar som en nordisk normalforskare skriver per fyraårsperiod.

Genom att hålla fram en fågelskrämma istället för att debattera de metoder som faktiskt används gör sig humanisterna en riktig björntjänst. Ingen har kunnat visa att humaniora skulle vara förlorare på det nya systemet, undersökningar tyder på motsatsen.

Gör de sitt jobb och ökar på sin internationella publicering kan humanisterna dra in stora resurser till sina universitet. Varje publicering i humaniora ger med dagens system cirka 120 000 kronor till universitetet. För naturvetarna betalar en publicering sig betydligt sämre, en kemitekniker genererar mindre än 5 000 per artikel till sitt universitet.

Humanisterna kan koras till de stora vinnarna. Genom att hålla sig till sina forskningsuppgifter och genom att relatera till sina internationella kolleger kan humanisterna öka resurserna till sina områden på ett sätt som andra forskningsområden har svårt att göra.

Vad diskussionen nu måste handla om är varför företrädare för humaniora vill dra sig undan normala vetenskapliga granskningsmetoder. Det internationella tidskriftssystemet erbjuder inte bara ett fönster mot världen utan ger samtidigt tillbaka utlåtanden från de bästa forskarna inom respektive specialområde (referees). Detta höjer kvaliteten på svensk forskning. Antalet tidskrifter är stort för alla områden och det bör understrykas att ett ämne som historia tillhör de största tidskriftskategorierna i den internationella databasen.

Lenas försöker att med ”guilt by association” koppla regeringens system till kommersialisering av forskning. Ovanstående visar tydligt att systemet erbjuder ett alternativ som baseras på det vetenskapliga innehållet. Inte kommersiellt eller politiskt tiggeri, vilket blir följden när knappheten på resurser gör sig gällande framöver. Om humaniora drar sig undan internationella granskningsrutiner kan inte följden bli annat än stagnerande resurser.

Ulf Sandström
Docent vid Linköpings universitetDeltog i RUT-utredningen och designade regeringens tillämpade system

Sverker Lenas svarar direkt med rubriken "Även regeringen säger nej!". Denna rubrik har kanske inte satts av honom själv för den är helt felaktig och bygger på en sammanblandning av regeringen och Vetenskapsrådet. Det är nog vanligare att Vetenskapsrådet gör den förväxlingen än att journalister råkar göra detsamma. Vetenskapsrådet vill nog vara regering, men än så länge får vi nog hålla oss tillgoda med politikerna.
Varför säger Vetenskapsrådet "nej" eller rättare "nja" till bibliometriindikatorn? Samma styrelse ställde sig för ett år sedan bakom RUT-utredningens förslag. RUT-utredningen är grunden för regeringens system. Vetenskapsrådet vinglar vidare, skulle man kunna säga.
Det finns inga redovisade argument mot bibliometriindikatorn i VR-styrelsens inlaga. Den byger på systematisk desinformation eftersom VRs analysavdelning inte förmått att utföra det uppdrag som man gavs av regeringen. Analysavdelningen har skändligen misslyckats med detta uppdrag. Detta kan sammanfattas i punktform:
1) Man behärskar inte de klustringstekniker som ligger bakom uppdelningen i 34 områden.
2) Man har inte genomfört den uppdelning av nordiska forskare till 54 000 unika författare som ligger till grund för modellen. Detta är en helt avgörande punkt eftersom det, särskilt i Sverige, finns många forskare som har samma namn (homonymer), t ex vid de nio största universiteten finns 29 personer som kan framträda med författarnamnet "Svensson M". Utan att göra en sådan unika-författare-uppdelning är det självfallet helt omöjligt att få vettiga resultat. Det har VR inte gjort. Ändå tror de sig kunna uttala sig om modellen!
3) VR diskuterar inte alla de undersökningar som har gjorts kring modellen. I Högskoleverksrapporten (2008:18) redovisas en viktig undersökning som jämför utfallen för den norska modellen och den svenska modellen på fyra stora norska universitet. Om den undersökningen skrev rektor Kåre Bremer: "Jag kan rekommendera Högskoleverkets rapport Resurser för citeringar. Läser man den framgår att det inte är någon stor dramatik i bibliometriska analyser. Resultaten varierar, till exempel om man fokuserar på antalet publikationer som i den norska modellen eller på antalet citeringar, men skillnaderna är inte stora så länge man håller sig till lärosätesnivå. Rapporten visar också att lärosätena kommer ut ungefär på liknande sätt om man rangordnar dom till exempel efter erhållna externa forskningsbidrag". Undersökningen presenterades som konferensbidrag på den europeiska bibliometrikonferensen i Wien. Bidraget blev därefter uttaget att publiceras i Scientometrics och kommer väl under nästa år. Til skillnad från mycket annat som debatteras i forskningspolitiska sammanhan är detta således reviewat och granskat på flera olika sätt.
Detta till trots är detta något som VR helt förbigår i sina underlag. Det är ett synnerligen starkt argument för den svenska modellen. Den förmår att på ett tillfredsställande sätt ange publikationsvolymen (liksom den norska modellen), men till detta kommer att den svenska modellen också kan använda citeringar. Därmed införs ett kvalitetsmoment. Detta sammanfaller klart och tydlgt med regeringens syfte med reformen: att garantera och helst förbättra forskningens kvalitet i ett läge när större resurser skall ställas till universitetens förfogande.
Det är skamligt av analysavdelningen att på detta sätt desinformera sin styrelse och det är stor skam av styrelsen att låta sig förledas på det sättet.

i morgondagens DN kommer svar

Om jag inte är felunderrättad innehåller morgondagens DN Kultur mitt svar på Sverker Lenas artikel. Så håll utkik i morgon! Möjligen kan det bidraget hyfsa debatten en smula. Men det ser minst sagt dystert ut. I Aftonbladet häromdagen kommenterade Åsa Linderborg utbildningsministerns avgång bl a med följande harang: Den nya forskningspolitiken fördelar pengar bara till sådant som ger ekonomisk avkastning, och mest pengar ska den ha som oftast blir citerad, det senare en idé som Vetenskapsrådet helt tar avstånd från. (För en saklig och lagom alarmistisk exposé över tillståndet för svensk humaniora, läs Sverker Lenas lysande artiklar i Dagens Nyheter den här veckan.)

Att Sverker Lenas artiklar skulle kunna karateriseras med "saklighet" och att betrakta dem som uttryck för "lysande" journalistik övergår mitt förstånd. Men jag förstår väl inte. Då är nog Marie Louise Samulessons krönika i Expressen betydigt mer underbyggd. Hon har ju i en serie artiklar granskat Lasses gärningar och ogärningar. Hon har dessutom rätt i att Allan Larsson skall ha cred för ESS, om det nu är något att få cred för. Där håller jag med Bo Sundqvist, Vetenskapsakademien, som allvarligt ifrågasatte syftet med ESS och talade sig istället varm för MAX4.

Harriet Wallberg-Henriksson, rektorn för Karolinska Institutet, satte fingret på att Lasse nog kommer att gå till hävderna för att ha infört ett kvalitetssystem för fakultetsmedel - han bidrog till att konkurrensutsätta statsmedel till univesiteten - och jag är böjd att hålla med även om det också i det fallet bör framhållas att detta var ett förslag som togs fram av en utredning tillsatt av den socialdemokratiska regeringen (resursutredningen). Men det faktum att Lasse faktiskt fick till det bör han hållas räkning för.

Äntligen!

Jo, nu kommer det äntligen en debatt i de stora drakarna (DN) om regeringens bibliometriskt baserade system för resursfördelning. Jag säger äntligen för att nu när humanisterna börjar argumentera istället för att diskutera i korridorerna går det att tillbakavisa deras missuppfattningar, vanföreställningar och mytbildningar.
I dagens DN på kultursidorna skriver Sverker Lenas en stort upplagd artikel om "uträknad humaniora". Artikeln bygger på tre genuina journalistiska felgrepp:
1) ingen har kunnat visa att humaniora är "uträknat" i regeringens proposition, tvärtom är det så att humaniora får ungefär sin del av kakan och de kan få mycket mer;
2) argumenten riktas inte mot modellen utan mot en fågelskrämma;
3) artikeln blandar ihop kommersialisering och bibliometri i ett försök till "guilt by association".

jag tar upp dessa tre korrupta argument i det följande men kommer också att göra två inlägg av dessa eftersom det blir långt det här

Många humanister, åtminstone de som intervjuas i artikeln, har inte givit sig tid att sätta sig in i bibliometrins möjligheter och metoder. De har aldrig förstått poängerna med det system som regeringen sjösatte förra året. Det gör faktiskt att att de blir humanioras dödgrävare istället för de whistleblowers som de vill framstå som. Jag skall försöka visa att så är fallet.
Fornäs är det tydligaste exempelet på en person som pratar strunt. Det är inte alls så att humanisterna jämförs med naturvetare på det sätt som han påstår. Tvärtom. Hela poängen med bibliometrisk metod är att undgå enkla fel typ att jämföra äpplen och päron. Om man inte har förstått ens detta är det svårt att föra diskussion. Jag hade högre förväntningar på Janken Myrdal men även han lånar sig till samma typ av fel med sin liknelse att man slår ihop handbolls-och fotbollsligorna.
I själva verket bygger regeringens system på en indelning av vetenskaperna i 34 olika ligor. Ligorna spelar på nordisk nivå, dvs alla akademiska forskare i Norden ingår och jämförs inom respektive liga med varandra.
Humaniora är en sådan liga där svenska forskare jämförs när det gäller antalet producerade artiklar i internationella tidskrifter.
Svenska forskare är absolut inte sämre än andra (i Norden) och resultatet blir att humaniora får sin beskärda del. Ingen har hitintills kunnat visa att utdelningen för humaniora skulle vara sämre än vad det borde vara. Bibliometriska mått som änvänds i Norge ger högre utdelning till humanisterna. Och den svenska modellen ger motsvarande resultat.
Intressant är att läsa kommentarspalten i dagens SvD:s kultursida (10 juni) (Lärosäten döms ut när teologin blomstrar) där det mot Högskoleverkets peer review granskning, som dömt ut mycket av teologin i Sverige, anförs att det "(är) häpnadsväckande hur väl representerade svenska teologer är vid renommerade internationella bokförlag och i ledande tidskrifter". Här fungerar bibliometriska indikatorer som ett korrektiv till peer-granskning. Då duger det att hänvisa till antalet artiklar och antalet böcker på vissa förlag.
Regeringens modell fördelar 5 procent av resurserna och man skulle kunna hävda att det är humanisterna (och samhällsvetarna) som har de största vinsterna att hämta från systemet. Åtminstone potentiellt.
Humanisterna är de stora vinnarna av systemet om ser till vad varje artikel ger i utdelning. En humanist vid våra större universitet genererar cirka 105 000 kr per artikel till sitt universitet. Är han eller homn vid ett av de nya universiteten ger det 120 000 kr till universitetet.
En vanlig naturvetare får cirka 10 000 per artikel och kemisterna endast 5 000 kronor. Det är stora skillnader eftersom metoden inte jämför äpplen och päron. Samhäälsvetarna ligger i spannet 30-50 000 per artikel.
Innebörden av systemet är att humaniora har starka incitament för internationella publiceringar. Ett universitet kan verkligen få sina humanister att göra skillnad och satsningar på humaniora gör verkligen skäl för sig i en situation där andra universitet låter vanföreställningarna råda.
Så över till Sverker Lenas märkliga sammanblandning av kommersialisering och bibliometri. Resonemanget är som antytts av "guilt by association"-karaktär. Genom att föra ihop det skall "mätnissarna" klassas som samma konstiga typer som hotar forskningen. Kommersialisering är en viktig aspekt av många forskningsområden och skall så vara, men ett incitamentssystem inriktat på vetenskap skall självfallet inte blanda in ekonomisk framgång i modellen. Det görs inte heller genom att det bibliometriska systemet bygger på refereeförfarande i internationella tidskrifter. Forskningen förs i form ett antal vetenskapliga diskurser och tidskrifterna är dess främsta forum. En bok utgiven på ett internationellt förlag består för det mesta av artiklar som tidigare publicerats och som tidskrifterna givit tillstånd att ge ut i bokform.
Om svenska humanister vägrar att vända sig till sina internationella kolleger, om de underlåter att utnyttja den oerhörda resurs som ligger i refereeförfarandet - att få synpunkter från de bästa och mest erfarna kollegerna - menar jag att det inte går att försvara. Det är något märkligt med att skattebetalarna skall underhålla forskare som inte låter sig granskas av sina kolleger.
Med stor sannolikhet går vi nu in en långvarig depression. Den som inte redan är trött på tillväxt och innovationssystem för förbereda sig på en närmast outhärdig period av utmattande forskningspolitiska diskussioner. Tro mig, allt kommer att fokusera på tillväxt och innovationer.
Vi kommer alltså att få något som liknar 1980-talets intellektuella klimat. Efter 1960-talet entusiasm för forskning kom en stagnation och innovationsdebatten tog fart. I det läget riskerar vi att humaniora hamnar i bakvattnet och att den forskningen får väldigt svårt att motivera sig. Karriärerna framstår som återvändsgränder.
Då är chansen för humaniora att skaffa sig respekt genom internationellt gångbara prestationer. Detta är essensen av regeringens system och var RUT-utredningens förslag.
Det är vad jag förstår det enda tillgängliga alternativet för en humaniora som riskerar stagnerande resurser. Alldeles självklart är det framtiden för en humaniora som ställer sig bredvid det nu genomförda resursfördelningssystemet och som istället hoppas på politikernas förståelse för deras goda sak.
Frågan kokar ner till vem som skall ha makten över utvärderingssystemet. Skall humaniora få ställa sig bredvid och tillåtas att underkänna en metod som de inte ens har förstått eller vägrar att förstå?

sister utvärderades 2003

När jag skrev inlägget om Sister:s nedläggning sökte jag efter utvärderingen 2002-2003 och en del andra dokument som gällde hur vi tänkte kring strukturella frågor, hur finansiera ett institut av den typen. Utvärderingen var inte lätt att hitta, av någon anledning lades den aldrig ut på Sister:s hemsida (i dokumentet har jag lagt med direktörens svar på utvärderingen). Jag tror mig förstå varför den inte publicerades; den var inte riktigt bra för vissa direktörer. Men där sägs en hel del kloka saker och den sedermera tillträdande direktören, som var samma person som utvärderade institutet(sic!), och som fick förtroendet att leda institutet borde ha varit klokare. Ja, han var klokare än att sätta sig i den situationen, men saken var den att han de facto trodde att styrelsens styrelser skulle ta sitt förnuft till fånga och inse att det behövdes pengar för att få forskning/utredning. Som jag ser det gjordes detta "olyckliga" misstag av det enkla skälet att institutet var administrativt misskött, direktören var tidvis på "rymmen", och dessutom fanns det anledning att tro på "innovation" som ett forskningsområde där det fanns resurser och villighet även från styrelsens styrelser att lägga pengar. (Bilden är från den tiden det begav sig)

Jag hitttade också ett dokument från november 2001 - Sister förstatligat - som ingick i en scenariodiskussion som vi tre forskningsledare förde. Det var efter ett och halvt års verksamhet och ett år innan utvärderingen. Redan då stod det klart att det skulle komma att bli strukturella problem. Redan då stod det klart att fondstiftelserna inte var att räkna med. Dokumentet kan vara viktigt för att ingen skall tro att mina åsikter och analyser av situationen är "baklängesforskning", dvs med facit i hand... Nej, detta stod verkligen klart på ett tidigt stadium och det kändes verkligen som att jag blivit inlurad i en fälla. Utvägen blev att lämna institutet.

har Metro köpt upp forskningen.se?

I dagarna har nättidningen forskningen.se lanserats. Jag antar att den skall fungera som en slags tidning för andra journalister att snappa upp olika saker och föra vidare i sina tidningar. Jag hoppas vid Gud att så inte sker. Det är i alla fall min bedömning av att ha läst deras lanseringsnummer. Det är en stor sektion av artiklar som alla behandlar regeringens nya system med incitament för kvalitet i publiceringar. Redan här vill jag påstå att journalisterna i sin iver att hugga upp (metroisera) så att det blir snabbt läsbart för snabbläsande kolleger går miste om de verkliga och viktiga poängerna.

Låt mig säga så här - det finns en berättelse (en narrativ) bakom regeringens förslag. Det är historien om ett land som känner sig litet och utsatt för konkurrens, ett land som hela tiden känner av risken att hamna i bakvatten. För att inte göra det sätter man sin tilltro till hög kompetens hos arbetare och tjänstemän. En kompetens som fylls på av att en del "arbetare" har specialuppdrag som forskare. Dessa forskare får pengar via två strömmar; direkt till universiteten och indirekt via forskningsråd och myndigheter.

Nu hade det med tiden blivit så att den senare strömmen blivit allt större på bekostnad av den förra. Detta gjorde att forskningsarbetarna börjat knorra: "Vi ansöker hela tiden om anslag och det tar för mycket av vår dyrbara arbetstid", sa man. Alltså borde mer pengar gå direkt till universiteten. Det ville regeringen men här fanns ett litet problem - "tänk om forskarna blir lata av att få pengar direkt?". Någon sorts incitament behövs nog så att forskarna stimuleras att hålla god arbetstakt och god kvalitet i sin forskning - "annars hamnar vi i bakvatten och våra företag förlorar i kapptävlingen med andra länders företag", tänkte regeringen.

Då hände det sig att ett par gossar kom med en förlösande idé som gick ut på att benchmarka svensk forskning mot andra länder såväl i antal artiklar som i antal citeringar. Regeringen tände på den idén eftersom det borde kunna fungera väl för att bygga ett incitamentssystem. Regeringen hade inget behov av att veta allt som forskarna gjorde, det räcker gott och väl med det som är internationellt jämförbart. Hela poängen med systemet är att upprätthålla svensk konkurrenskraft och att stimulera de forskare som utnyttjar det internationella systemet för bedömning av kvalitet. Det räcker eftersom systemet handlar om att omfördela 5 procent av de direkta statsmedlen.

Det är det här som jag misstänker att forskningen.se inte riktigt har förstått. Man skriver att databasen "ger fel bild av svensk forskning". Absolut inte, vill jag hävda. De forskare som man tagit fram som exempel har få eller inga internationella artikelpubliceringar. Det säger absolut inget om omfattningen av deras svenska verksamhet att gå till ISI, men det säger onekligen en del om hur dessa forskare arbetar mot det internationella refereesystemet. De utnyttjar inte denna resurs. De underlåter att använda sina internationella kolleger för att få synpunkter på work in progress. Svenska förlag saknar genomgående (få undantag) externa kvalitetsgranskningsprocesser. Det har skapats en kvasimarknad för forskningsböcker som ger förlagen viss vinstmarginal men inte räcker till för att informera och distribuera dessa böcker (ofta i antologiform). Konstateras kan också att de svenska forskare som används inte förmått att utnyttja sina arbeten för att göra artiklar av bokkapitlen innan de gjordes till bok. Om man ser till en av de mest publicerade statsvetarna - Rothstein - framkommer att han har förstått att nyttja denna stora resurs och publicerar hela tiden han skriver sina böcker. Det är alltså inte alls uteslutet att stimulera bokproduktionen med det här systemet, men det kommer då att vara böcker som är kvalitetsgranskade genom artikelsystemet.

Redovisningarna i forskningen.se är dessutom ganska motsägelsefulla. Delvis beror detta på att det är flera journalister med olika agendor, men on top så förkortar man, twittrar till budskapet, och gestaltar verkligheten med ett synnerligen begränsat perspektiv. Det är synd, det blir minar sagt obegripligt. I en artikel skriver man att de nya universiteten drabbas för att de har en stor andel humaniora och samhällsvetenskap, i en annan artikel framkommer (helt riktigt) att just humaniora och samhällsvetenskap har sällsynt goda förutsättningar i det nya systemet. Jag har räknat på det och en humanist eller mjuk samhällsvetare vid ett nytt universitet får närmare 120.000:- per publikation. Samtidigt ger regeringen en kemist vid KTH mindre än 5.000 per artikel. Det är skillnader på upp till faktor 26 i detta system. Det innebär i sin tur att de nya universiteten på lång sikt kan bli vinnare i kampen om resurser - förutsatt att de kan publicera internationella artiklar som blir citerade.

Jag tycker också att nättidningen gått väl långt i sina ingresser. Man skriver följande i huvudingressen: <Kvalitet i forskningen skulle bli en ledstjärna för tilldelningen av regeringens nya forskningsmiljarder. Men mannen som tagit fram regeringens underlag är starkt kritisk till hur hans siffror används. "De är inte tillförlitliga", säger forskaren Ulf Sandström.> Jag fick se underlaget till den artikeln innan den publicerades och det står inte att känna igen. Självklart är jag kritisk till den användning som våra data fick i regeringens speciella tillämpning, men jag vill inte påstå att data är otillförlitliga, det vore väldigt märkligt. De kan förvisso vara mer eller mindre stabila indikatorer och i ett brev till regeringen som följde med våra data (081001)gjorde vi följande anmärkningar:

Ett par av dessa anmärkningar är rätt viktiga - citeringsfönstret och adressrättningen - men jag skulle ändå inte skriva under beteckningen "otillförlitliga"; då hade jag inte skickat några data. Man måste inse att det finns en dynamik i detta med adressrättningen; så snart systemet är igång har universiteten all anledning att inskärpa behovet av korrekta adresser för sina forskare. Så i den frågan är jag böjd att påstå att det kan vara bra att komma i skarpt läge för att förbättra underlagen. När det gäller citeringsfönstret är det en svårare sak men jag uppfattade att regeringen gjorde en politisk bedömning som dock kan och bör diskuteras. Jag skulle inte hävda att data var så otillförlitliga att de inte skulle kunna användas. Vid en jämförelse mellan tre- och fyraåriga värden var det mycket liten skillnad (just de åren) men jag ville understryka att detta med stor sannolikhet var ett problem.

Det borde också tydligare ha framgått att min kritik mer specifikt gäller vikterna (att dubbelvikta publiceringar är orimligt) och det faktum att publiceringsdata sätts i relation till statsanslagen och inte till totalanslagen (dvs mäter effektivitet). På de punkterna är man förhållandevis återhållsam i forskningen.se.

Det tycker jag är dåligt eftersom man hållit på med det här rätt länge.

gravöl för SISTER

någon av se sista dagarna i april var jag inbjuden att övervara SISTERs slutgiltiga nedläggning och begravelse. Det gjorde mig riktigt ont att se bedrövelsen de två sista dagarna. Jag råkade ha en del material kvar sedan jag jobbade där och hade alltså det tveksamma nöjet att vara i lokalen och spara undan en del (nästan) oundgängligt material (hm...).

Bilden visar en av två stora containrar som fylldes med papper. Men inte bara "papper" utan rapporter (90 utg. rapporter!), böcker och annat som utgivits av SISTER. Ingen vill ha det, sas det. Kanske är det så. Många kubik blev det.

Varför gick det åt skogen med SISTER? Svaret är naturligtvis ett komplex av olika saker och ting men jag skulle vilja peka på några avgörande faktorer. SISTER startades av några löntagarfondsstiftelser: RJ, SSF, KK och STINT. Dessa bildade en förening som också inbjöd andra att för 25.000 kr bli medlemmar i föreningen. Men det visade sig vara en dålig idé att bygga verksamhet på fondstiftelserna. Rätt snart gick 90-talets ekonomi över i ett bakslag och flera stiftelser drabbades, särskilt den (SSF) som la merparten av pengarna. I Sisterstyrelsen satt representanter för stiftelserna men dessa kom från kanslierna. De måste alltså gå till sina respektive styrelser och försöka utverka stöd. Efter ett tag blev det besvärligt. Redan 2003 hade man så svårt att det glunkades om att dra tillbaka stödet från SSF eftersom det inte handlade om stiftelsens känrverksamhet. Mindre begåvat är väl det snällaste man kan säga om denna konstruktion och om de stiftelser som lät sig övertalas (i ett finansiellt läge) vara med om att starta en forskningsinstitut. Rent idiotiskt blir det om man betänker att det här var frågan om relativt starka spelare som dessutom bestod av "handläggarkompetens" som skötte ungefär 1,5 - 2 miljarder kronor om året till svensk forskning. Hur tänkte de att det skulle vara möjligt att starta ett forskningsinstitut på 1,5 miljoner kronor, dvs. med lokalerna, en administratör och en halv direktör betald? Vad tyder det på för organisationskompetens att forskningshandläggare kan få för sig att det går att driva upp forskning på det sättet?

Det var ett helt omöjligt upplägg och än mera omöjligt blev det när man insåg att så gott som alla andra forskare och forskningsfinansiärer trodde att stiftelserna de facto stod bakom institutet och alltså drog slutsatsen att det gick att söka pengar från Sister och, som en konsekvens av detta, att forskningen där var väl försörjd och inte behövde ges resurser. Med andra ord praktfiasko från början till slut. Svårast att ta var den misstro som visades från flera av grundarstiftelserna. Man trodde egentligen inte på idén. Jag avslutade min session där hösten 2003, jag gick när man krävde att vi skulle börja med "innovationsfrågor". Där gick min gräns.

Facsimil från Dagens Forskning efter utvärderingen 2003 (DF 4/2003)

Med tanke på omständigheterna är det ett gott betyg till de som arbetade på Sister att verksamheten gick att driva ytterligare fem år. Jag har förstått att det inte varit smärtfritt och att misstron mellan stiftelserna och Sister fortsatte. Bäst då som skedde eftersom det var en ohållbar konstruktion men behovet finns ju kvar och Sister lägger ytterligare en olöst fråga till de många svåra problem som dominerar svensk forskningspolitik.

Rio 2009

ISSI:s (internationella bibliometrikersamfundets organisation) har kongress i Rio i sommar. Vi fick full utdelning (konferensen sägs ha 50 % rejection rate) på våra insända konferensbidrag, dvs. två presentationer plus ett bidrag till workshop om tvärvetenskap accepterade. Det senare behöver jag inte säga mera om men de två förra "riktiga" konferensbidragen handlar dels om metoder för bibliometrisk utvärdering dels om kognitiv bias i peer review. Kommer att lägga ut bidragen på hemsidan inom kort.

Rio är verkligen något att se fram emot. Hade förmånen få vara där för nio år sedan (2000) och det smakade verkligen mera. Då var det Triple Helix-konferens och perfekt väder hela veckan. Men det var i januari, nu får vi se som julivädret erbjuder samma goda villkor för allmän lättja. Det som fångade mig mig mest var kanske musiklivet. Jag älskade rytmerna och glömde bort att bry mig så mycket om maten.

om vikten av korrekta referenser

Nu har jag äntligen huv'et över vattenlinjen igen. Tog en motionsrunda igår och såg de första gullvivorna vid Kyrkviken Sommaren hägrar även om jag frös mest hela tiden, det var kallt i luften, gullvivorna huttrade med mig. Varje gång jag är ute på en runda får jag idéer till vad jag bör och kan skriva om på bloggen. Sedan är det där med genomförandet, inte alltid så lätt att vara konsekvent och framgångsrik med sina föresatser.

Tänkte dock ta upp en sak som länge varit aktuell för mig - vikten av korrekta referenser. Många av oss slarvar allt som oftast när vi skall skriva in referenser. Till exempel när det läggs upp publikationsdatabaser låter man forskarna själva, eller forskarna låter någon annan skriva in deras artiklar och böcker, registrera sina poster. Det blir väldigt många fel, vilket jag fick erfarenhet av i mitt arbete på SLU under våren. Biblioteket hade lagt upp en grundstrategi som innebar att forskarna laddade upp material från databaser (ISI, Web of Knowledge) och då blir det ju någorlunda rätt. Det fungerade bra. När jag sedan skulle bearbeta materialet blev det rätt snart uppenbart att det för enheter som inte hade några internationella publiceringar skulle bli nödvändigt att använda den publikationsdatabas som SLU hade byggt upp men som ratats för just det här ändamålet. Det var naturligtvis att be om det och problemen blev mycket riktigt betydligt värre än väntat. Lustigt att det är just de som inte har internationella publiceringar som är sämst på att sköta sådana här saker. Problemet med självrapporterade databaser är att forskare (eller deras underhuggare) lät gör det lite fel. Kastar om bokstäver och siffror, ett vanligt "fel" är att författarordningen blir egocentrerad, dvs den som lägger in sätter sitt namn som försteförfattare, och så vidare. Saken är att det materialet inte går at använda för att göra sig av med dubletter. Så då får man sätta sig ned och ta till handkraft.

Att fel i bibliografiska referenser får många olika konsekvenser är känt sedan länge. Leidengruppens Henk Moed har gjort ett antal undersökningar som är klassiker på fältet. Nu har en grupp spanajorer följt i Moeds fotspår och nedan finns referens och abstract till en intresant artikel. Förslaget att referees i större utsträckning skulle kontrollera referenserna är helt OK i princip men jag är böjd att hålla med skeptikern i mig - det kommer inte att fungera. Först och främst vore det onekligen bra om jag och alla andra slarvpellar tog oss i kragen opch gjorde rätt från början. Ett referenshanteringsprogram är bästa sättet att unerlätta.


TITLE : Consequences of the error in bibliographical references
Author(s): Osca-Lluch J et al

Source: PSICOTHEMA Volume: 21 Issue: 2 Pages: 300-303
Published: MAY 2009
Abstract: Consequences of the error in bibliographical references. The specific case of the journal Psicothema The errors, as they appear in the databases of the Web of Science, found in the bibliographical citations of the works published 'in Psicothema were analyzed. The most frequent error found is citing the title of the journal as Psicorhema, instead of Psicothema. The authors reveal the need to take more care when reviewing the titles of journals in the bibliographical references of the works. Such errors often prevent locating the works cited in the article. They also hinder authors' evaluation of the works and the journals because many bibliometric indicators used to establish the rankings of the best journals of a specialty are calculated based on the number of citations of works published in the journals.

(o)väntat resultat om titelsjukan

Michal Jasienski skriver i senaste numret SCIENTOMETRICS (78 (2): 347-353 FEB 2009) om artiklar med "surprising" or "unexpected" i titeln. Det visar sig att tendensen att betrakta sina resultat som oväntade eller förvånande ökar stadigt medan citeringsgraden för artiklar med sådan varudeklaration i titlen inte var högre än "förväntat". Här är samhällsvetarna något mera modesta men som vi vet beror det kanske mest på att det är svårt att presentera förvånande resultat inför en publik som knappast har gemensamma förväntningar.

Abstract: The relative occurrence of the words "surprising" and "unexpected" in the titles of scientific papers was 11 times more common in 2001-2005 than in 1900-1955. However, papers which had titles containing one of these words did not receive enhanced numbers of citations. Both words (and also adjectives "unusual" and "unfortunately") are used significantly more frequently in science than in social sciences and humanities. The distribution of the statements of surprise is not random in scientific literature (chemistry journals ranked highest in the number of papers claiming "surprising" or "unexpected" results) and may reflect the level of maturity of a discipline.

artikel i Forskningspolitikk

En artikelversion av rapporten om nordisk publiceringsutveckling finns nu tillgänglig på nifusteps hemsida. Den publiceras i tidskriften Forskningspolitikk med Egil Kallerud som redaktör. Numret i övrigt innehåller mycket intressant material om norsk innovationspolitik.

konstfack

tillbaka efter en vecka med vinterns kräksjuka och nu mer levnadsglad än på länge; det är så förfärligt att må illa och helt tappa aptiten.
Allt nog, skulle vilja gå tillbaka till den numera gamla konstfacks"skandalen". Något som inte kommit fram i den mediala diskussionen, vad jag vet, är att tilltaget knappast hade något nyhetsvärde i sig. Det första Wallrafferiet gjordes redan 1887 av en journalist som hette Nellie Bly (se bild: källa Flickr) (vilket jag har från en vanligtvis välunderrättad källa). Hon trände sig på hemska grimaser framför spegeln och tog sig sedan till ett sinnesjukhus och lyckades bli intagen (ja det finns flera varianter av historien). Uppsåtet var att avslöja hur illa patienterna behandlades och i det syftet gick det henne rätt så väl. Det resulterade i en bok, Ten Days in a Madhouse, och efterhand mer uppmärksamhet och pengar till dåtidens mentalvård. Däremot kan man vara osäker på huruvida konstfackelevens tilltag ger annan uppmärksamhet än på artisten hon själv. Hade det varit ett traditionellt akademiskt arbete borde eleven ha underkänts om hon inte refererat tillbaka till pionjärinsatsen av Nellie.

utvärdering eller incitament?

Få som diskuterar frågor kring bibliometri förstår att skilja på bibliometiska metoder som underlag för utvärdering av forskning och bibliometriska metoder som underlag för att skapa incitament i forskningssystemet.
För att utvärdera forskning behöver bibliometrin utvidga sin metodarsenal så att den på ett rättvisande sätt kan visa hur produktivitets- och kvalitetsdimensionerna har utvecklats inom ett forskningsområde. Jag vill mena att bibliometrin idag kan ge en mer rättvisande bild än den typ av peer review som av Naturvetenskapliga forskningsrådet (NFR) introducerade under 1970-talet. I den modellen beror alltför mycket på urvalet av reviewers. Det är betecknande att inte ens VR idag känner sig särskilt nöjda med den utärderingsmetoden men oklart på vilka grunder. NFR-modellen är rätt så brutal, dvs går igenom resultat per enskild forskare, vilket kan kännas lite väl pang på rödbetan. Bibliometrin har förvisso svagheter men ger ett mer stabilt resultat grundat på hur hela forskarsamhället (indirekt) värderat forskarnas resultat. Däremot är bibliometri inte riktigt användbar på individnivå, men gör sig bättre som utvärdering av forskargrupper. Kom ihåg att utvärdering inte endast handlar om att sätta ett betyg utan att belysa verksamheten och dess förutsättningar.
Incitament konstrueras med olika syften. Helst bör man ha klart för sig vad man vill uppnå när man avser att införa incitament. Jag är inte säker på att regeringen visste det när man införde den nya modellen. Micklandet med parameterarna tyder på att så inte var fallet.
En målsättning som man kan använda incitament för att uppnå är enligt mitt förmenande att forskningen skall utsättas för internationell granskning. Det innebär att det är forskning som relaterar till de internationella forskningsfronterna som premieras, forskning som är helt lokal och i princip ogranskad ger inga poäng. Mycket av det som idag ges ut på svenska förlag är helt betalt av universiteten själva och förlagen tar inga som helst risker (och har heller inga incitament att sprida böckerna). Dessutom är innehållet i dessa hyllvärmare omöjliga att nå för den som använder söktermer.
Jag menar att samhällsvetare och humanister behöver konfronteras med de internationella tidskrifterna och att den processen i sig medför en kvalitetshöjning. Därför har jag föreslagit ett system för all svensk forskning som utgår från den internationella tidskriftsfloran och med fokus på citeringar, vilket gör att Thomsons databas är mest lämplig.
Om jag däremot vill utvärdera forskningen vid en institution eller vid en fakultet menar jag att det behövs andra metoder som förmår att täcka upp de aktiviteter som kännetecknar olika typer av forskning. Om utväderingen avser samhällsvetenskaplig forskning är det t ex oftast nödvändigt att ta med bokproduktionen. Det går att göra, som jag visat i uppsatsen PUBLICERINGSKULTURER VID EN SVENSK HUM-SAM FAKULTET.

mittåt

Får brev från Bo Rothstein som rättar mig, han "bloggar" inte på sin hemsida. OK det var lite oförsiktigt och slarvigt av mig. Jag vet ju att Bo krigat med bloggosfären på mycket principiella grunder. På hans sida finns endast publicerade artiklar, publicerade i tidningar och tidskrifter. (bild från Bosses utmärkta hemsida)

rothstein visar ny sida

Elaka tungor sade förr att Rothstein inte behövde någon blogg, han hade ju DN debatt. Alltnog, nu har Bo öppnat en egen hemsida där han kommenterar (bloggar) dagens politiska frågor. Det lär blli en hel del forskningspolitik. Sidan finns här. Apropå Rothstein vill jag ta tillfället att hänvisa till hans senaste inlägg i tidskriften Axess. Hans penna är som vanligt myckt vass och den här gången går han åt en av kollegerna vid Göteborgs universitet - Lisbeth Larsson, litteraturvetare och ledamot i VR. Hur kan det komma sig, frågar Rothstein, att humanisterna väljer en person med hennes åsikter som representant i forskarnas högsta organ:

"Den sammantagna bilden av humanisternas forskningspolitiska röst är således denna. Man önskar mera politisk direktstyrning av medel och tjänster och mindre inflytande från forskarsamhället. Det är den av politikerna definierade nyttan som skall avgöra vad det ska forskas som (bilindustrin?), inte vad forskarsamhället anser relevant. Att bidra till den internationella utvecklingen av det egna ämnet är ointressant jämfört med den ovan provinsiellt definierade nyttan.  Om det nu finns en kris för svensk humaniora blir i ljuset av ovanstående min kommentar till de svenska humanister denna: Väl bekomme!" 

För egen del är jag naturligtvis bekymrad över den göteborgska hållningen i frågor som har med publiceringspolitik att göra. Nu senast var det Sven-Eric Liedman i DN som med förhållandevis populistiska medel försökte kasta misstro mot allt vad bibliometri heter. Det är mycket viktigt att diskussionen fortsätter men om humanister väljer att stänga diskussionen utan att ta en rak och ärlig diskussion finns inte mycket hopp.  

norge

Jag har uppdaterat rapporten om nordisk publiceringsutveckling och passat på att korrigera en del småfel. Den har redan skapat en hel del intresse i Norge. Aftenposten hade en artikel i gårdagens upplaga. Där gör man, enligt min mening, en del tveksamma tolkningar av rapporten och drar slutsatser om vad som ligger bakom den remarkabla norska ökningen. Alltnog, detta är politik så det får man leva med. I alla fall har jag också inbjudits att skriva en artikel på basis av rapporten till norska Forskningspolitikk. Debatten fortsätter!

amerikansk forskningspolitik

Det finns en intressant blog om amerikansk "science policy"; Prometheus - the science policy blog utg av forskare vid University of Colorado. För den som vill följa debatter om forskning är den en bra genväg. Jag misstänker och hoppas att amerikansk forskningspolitik blir något alldeles extra under Obama.

filologens dröm

Väl hemkommen från en skön helg på Yasuragi, dvs japanskt spa, vill jag skriva om Björn Larssons bok Filologens dröm (Norstedts, 2008).
Undertiteln är Berättelser om upptäckarglädje. Det här är en bok med det akademiska livet i fokus och som beskriver forskares tankar och drivkrafter.

Genom nio små berättelser följer vi olika akademiska öden, och allt går inte på räls. Flera har oväntade slut, inte alltid lyckliga, några gör en poäng av att forskare också är känslomänniskor som låter kärleken förändra synen på sitt forskningsproblem. Filologens dröm är alltigenom läsvärd (och spännande) för alla som är det minsta intresserade av goda berättelser. För den som vill förstå sig på akademikerna i vänkretsen betraktar jag boken som helt oundgänglig.

insnävad kunskap

Senaste numret av Research Policy har anlänt. I nytt stort format, jag antar att gubbarna i SPRU börjar se dåligt och därför behöver större text (hm...). Det är bra att tidskriften utökas eftersom det är stort tryck på tidskriften. Irriterande är att det ibland tar två år för vissa artiklar medan författare relaterade till SPRU får in sina efter tre månader.

Mer och mer bibliometriskt material förekommer i RP. I detta nummer (1/2009) finns bl a studier av effektivitetsmått (output/input) samt en uppsats som försöker studera bredden på kunskapsproduktionen och som, om jag förstår det rätt, antyder att patentproduktionen vid universiteten bidrar till att minska denna bredd. Återkommer i detta ärende. Har inte tid just nu.

Universitetsvärlden

Varför finns det inte en tidning som heter Universitetsvärlden? Gud vad jag saknar Dagens Forskning, den hade behövts så fruktansvärt mycket just i denna tid. Varför verkar det som att regeringen håller nere debatten istället för att understödja den? Några av dessa funderingar hade jag med mig när jag svarade på reporterns frågor. Resultatet finns i senaste Universitetsläraren 2/09. Liksom i Fokus är vinkeln lagd mot de nya universiteten och som jag har försökt säga så är det helt klart en fråga att diskutera, men svaret är inte självklart. Varför inte diskutera olika sätt att angripa frågan och göra undersökningar? Kom ihåg att den viktning som de nya universiteten fått, 1,65 är mycket hög. Jag ägnar mig mer åt att diskutera förutsättningarna för att hålla debatten vid liv och hålla den fokuserad på de viktigaste frågorna. Och min ståndpunkt är att både politikerna och universiteten samt andra aktörer får ta på sig en skuld för att RUT-utredningen aldrig blev diskuterad innan den genomfördes.

universitetspatent på nedgång

Den danska Universitetsblogen kommenterar en artikel av Leydesdorff och Meyer som visar att unversitetspatenten, mot förväntan, har gått ned sedan 2000. De förklarar det med att andra incitament har tillkommit, framförallt ranking. Personligen ser jag det som ett friskhetstecken att universiteten förstoch främst ägnar sig att publicera den kunskap som tas fram. Jag är dessutom övertygad om att det blir bättre ekonomisk effekt av kunskapen om den sprids så vitt som möjligt. Lägger man patentrestriktioner på kunskap så hindras de entreprenöriella krafter som finns i anslutning till universiteten. Leydesdorffs och Meyers artikel kan laddas ner här.

fokus om regeringens nya system

Tidskriften Fokus, en pigg och vaken journalistisk veckotidning, tar i sitt senaste nummer upp forskningspolitiken i en kommentar till det nya fördelningssystemet. Vinkeln är att det nya systemet sänker de nya universiteten. Förvisso är det riktigt att de nya universiteten - Örebro, Mittuniversitet, Karlstad och Växjö - kommer ut dåligt om man kör deras resurser mot deras prestationer i publiceringar och citeringar. Det kan till viss del bero på att systemet bygger på en jämförelse mellan prestationer och statsanslag, man får tilldelning efter hur stor del av prestationerna man har och detta ställs mot andelen av statsanslaget. Men vad som då glöms bort är att systemet är bakåttungt, dvs. det bygger på prestationer flera år tillbaka i tiden. En konsekvens av det är att ett universitet som har snabb tillväxt i resurser (t ex statsanslag som ökar) kommer att bestraffas. Denna märkliga effekt är en följd av att prestationerna ställs mot andelen statsanslag under det senaste året. Detta borde kan kunna justera i framtiden så att större hänsyn tas till den faktiska resursnivån för den period som prestationerna avser. Och då skall man komma ihåg att publiceringar för 2005-2007 sannolikt tillkom under 2003-2006. Det är rätt självklart att om man hade relativt sett små resurser vid periodens början så får det effekter.
Så bör det ha varit för de nya universiteten. De fick sina första fasta forskningsresurser 1998-1999 och det tar tid att bygga upp en forskningsverksamhet, även om forskargrupper i några fall har flyttats från de större universiteten till de små och nya.

Vid sidan av detta finns andra och delvis viktigare frågor i forskningspolitiken. Är universiteten beredda att skriva på det kontrakt som de erbjudits av staten? Finansdepartementet säger så här: Om ni garanterar fortsatt forskning av högsta internationella klass vill vi ställa resurser till Ert förfogande. Nya resurser som inte skall konkurrensutsättas via myndigheter. Ni får nya pengar direkt till universiteten och får fördela dessa efter eget skön. Nu ska vi vända på utvecklingen, från impotenta universitet till mer potenta. I utbyte vill vi ha ett system som ger betalt för produktion av artiklar i internationella tidskrifter och för citeringar, dvs. forskning som används av andra forskare betraktar vi som nyttig forskning. Det är rimligt att resurser knyts till incitament så att Ni inte slarvar bort pengarna i akademiska konflikter och allmän ineffektivitet. Vad sägs om det?Så såg det ut i RUT-utredningens betänkande. Universiteten har aldrig tydligt svarat på frågan. Det behövs en debatt från de stora universiteten som visar att de medvetet ingår kontraktet och är beredda att acceptera de kontrollsystem som samtidigt införs. Bristen på debatt gör att det uppstått en otydlighet i forskningspolitiken. Regeringen har sin skuld i detta genom att inte förklara systemets uppbyggnad på ett klargörande sätt. Universiteten har allt att vinna på en offentlig debatt. Och kanske det i slutändan kommer ett mera rättvist system. Det fordrar dock öppen debatt.

Che Guevara och spionen

har just precis avrapporterat ett projekt och känner mig mer än vanligt tom och trött. Efter sju veckor av konstant arbete och lite sömn längtar kroppen efter vila. Och då är ju alltid så att det pilat upp sig en massa åtaganden och löften om att det och det kan fixas, lätt alltså! Kunde önska att min lättvindighet gick att medicinera bort.

Sju veckor då jag varit i avsaknad av möjlighet att blogga, ja ett litet undantag då gjordes för rapportserien. Men man ägnar ändå bloggen en sina funderingar och planerar inlägg så fort det uppstår nåt som passar.

Detta är många år sedan. Slutet av 70-talet i Örebro. Av någon anledning blev jag och en kollega kontaktade av en manlig person som ville skänka böcker, litteratur som han trodde att vi kunde vara intresserade av. Vi åkte till adressen och han visade en rätt fantastisk samling av vänsterinriktad politisk litteratur, såväl böcker som tidskrifter från 50-talet och framåt. Många intressanta böcker och obrutna serier av tidskrifter som Kommentar, Häften för kritiska studier m fl.

Vi tog varsin del från det stora överflödet, kunde inte härbärgera särskilt mycket. När jag började titta närmare på böckerna märktes att det var en person som hade studerat och analyserat materialet. Inte som en vänsterperson kunde tänkas ha gjort det, utan med understrykningar och förklaringar av okända termer och begrepp. Och en tydlig sorts kylig distans till det texterna. Som för att förstå en politisk motståndare.

Efterhand växte det fram en bild av personen som hade haft materialet. Det bör ha varit en SÄPO-agent eller kanske en SAPO-agent. På något sätt blev böckerna mer intressanta för sina understrykningar och kommentarer än för innehållet som då framstod som nattståndet.

Idag råkader jag få fram en av dessa böcker - Che Guevaras Vi skall segra! utg av Rabén & Sjögren 1968. Jag minns att jag tog med den för att jag en gång fått den i julklapp av en faster men sedan förlorat den vid någon flytt eller så. Nu började jag återigen läsa margnalanteckningar och understrykningar.

Personen måste har varit oerhört försiktig om sina böcker, sannolikt betalade av SÄPO, eftersom de faktiskt är lästa och kommenterade men sällan vikta i ryggen. Utanpå ser de ut att vara helt olästa.

På sidan 140 börjar ett utdrag ur Guevaras Minnen från det revolutionära kriget (1963) och där har personen, som annars använde lätt blyerts, övergått till att göra understrykning med röd färgpenna, vilket var ovanligt. En mening har fått röd understrykning:

"Båda spionerna avrättades följande dag."

Inget annat. Man undrar vad spionen tänkte när han läste och markerade denna mening.

småputtrigt reportage i LiU-nytt

Just idag publicerar den elektroniska universitetstidningen LiU-Nytt ett reportage innehållandes en liten intervju med han Sandström själv. Ger lite kringinformation till regeringens nya system för fördelning av fakultetsmedel. 

ny rapportserie Forskning om Forskning

Idag lanseras en ny rapportserie kallad "Forskning om Forskning" på hemsidan - forskningspolitik.se. Den första rapporten i serien handlar om den nordiska publiceringsutvecklingen från 1998-2006. En imponerande norsk utveckling framträder och det läggs till grund för en analys av de nordiska publiceringarna/citeingarna. Sker ökningen i tidskrifter med låg impact? Svaret som ges i rapporten kan förvåna den som har förutfattade meningar. Vi kontrollerar också resursutvecklingen i dessa länder och diskuterar resultatet. Hoppas att ni läsare kommer med många intressanta inlägg som reaktioner på rapportserien!

God Jul!

En riktigt GOD JUL tillönskas alla de som följer bloggen forskningspolitik!

På återseende efter julhelgen med nya analyser, elakheter och kommentarer. En uppsats om nordisk forskning står på tur att lanseras. Kommer direkt efter nyåret...

ny gd till vinnova

Per Eriksson har fått nytt jobb (rektor i Lund) och Regeringen söker nu GD och chef till Verket för Innovationssystem. I förra veckan var det avskedspartaj och enligt rapporterna var inte ett öga torrt. Storchefen PH var där och höll tal.

Visst, Per har gjort ett bra jobb, men det finns också kritik at rikta mot hans sätt att driva forskningen inom området. Per var sedan tiden i Blekinge en vän av Triple Helix och innovationssystem. Detta lades till grund för hela organisationens sätt att arbeta. Okej även det, men det är problematiskt att forskningen om innovationsfrågor handhas av en organisation som försvurit sig åt en teori på området. Man kan misstänka att Vinnova inte kunnat förhålla sig kritisk till sina egna teorier och som det brukas i sådana här sammanhang har forskarna mangrant ställt upp och anslutit sig till den gällande husteorin. Det finns mycket att säga om det och om de potentiella förluster som kommit av att all forskning inom området styrts av en enda ideologisk uppfattning - att det skall till samarbete mellan stat, näringsliv och universitet för att det skall vara möjligt att innovera, att saker och ting skall ses i systemteoretiskt perspektiv etc. Som jag tidigare påpekat går det att ifrågasäätta en hel del av områdets förgivttaganden, t ex att det finns en europeisk (och svensk) paradox, att det viktigaste är att kommersialisera forskning, att det därför är viktigt att skydda svenska immateriella rättigheter etc. Under en sådan regim förtvinar universiteten.

Nu kan vi hoppas att det kommer en mer vidsynt GD till Vinnova.

Stockholms universitet agerar strategiskt smart

Som meddelats i de flesta dagstidningar har styrelsen för Stockholms universitet beslutat att satsa rejält på humaniora. Kåre Bremer skriver om det på sin blog. Nu börjar effekterna av regeringens forskningsprop att bli mer tydliga. Humaniora sitter i guldsits. Det är stor utväxling på de internationella publikationer som humanister kan tänkas komma med och satsningarna är i stor utsträckning koncentrerade till de områden som brukar kunna eller redan har en hyfsad internationell publicering, t ex arkeologi, filosofi och lingvistik. Smart. Frågan är bara om regeringens politik kommer att ligga fast eller om det blir skifte redan nästa år?

KTHs Research Assessment

Idag släpptes boken från KTH:s RAE, en publikation med titeln

Focusing on Quality. Som medförfattare känner jag mig, självklart, ganska tillfreds med denna skrift. Jag hoppas att läsaren kan se det engagemang som ligger bakom den stora insats som gjordes av många medarbetare på KTH i anslutning till RAE:n. Det är svårt att gestalta detta och nu är det nya frågor och nya problem som står för dörren (regeringens strategiska satsningar). Samtidigt är det helt uppenbart att om arbetet med RAE:n skall ge frukt är det nödvändigt att forskargrupperna på KTH får tid och möjlighet att smälta resultaten och ta till sig de material som finns tillgängliga. Det som visas i boken och på KTHs RAE-sida (här) är egentligen bara en bråkdel av de underlag som jag var med om att ta fram. När de underlagen används av forskargrupperna då står tiden stilla och bibliometrin får äntligen möta sin publik. Än är det kanske lite tid tills dess men jag ser fram mot något sådant med stor spänning.

Web of Science with ISI Proceedings

Web of Science utvecklas ständigt. Nu är man inne i en intensiv och dynamisk fas av konkurrensen med Scopus och det har gjort att det tillkommer nya delar i databasen och nytt material som fogas till citeringsindexet. Nu talar man om sig själva som "the world’s leading citation database with multidisciplinary coverage of over 10,000 high-impact journals in the sciences, social sciences, and arts and humanities, as well as international proceedings coverage for over 120,000 conferences". Det sista är väl värt att uppmärksamma. Alla universitet med självaktning bör skaffa sig licenser för att hålla sig ajour med vad som händer på konferensmarknaderna. Linköping var tidigt ute och så även Göteborgs universitet. När kommer KTH och Chalmers?

science writing och P.O.

Är verkligen nöjd med att PO Enquist fick Augustpriset. Berättelsen Ett annat liv är det bästa jag läst på verkligt länge. Rösten som hörs så tydligt när man läser honom är så märkligt förtroendeingivande och sanningsbärande. En så väl genomförd gestaltning från början till slut. Och jag måste säga att mottagandet för ett par månader sedan (recensioner m.m.) gav en helt felaktig bild av boken. Jag fick intrycket att det handlade om en bekännelse av en f.d. alkoholist, och eftersom jag alldeles nyligen hade läst en roman om medberoende var jag litet skeptisk. Ack vad jag bedrog mig och ack vad recensenterna hade pratat i nattmössan. Enquists livshistoria är fullständigt makalöst skildrad och alkoholen finns visserligen där på slutet men det är en mycket liten del av berättelsen. Grattis P.O.

Vill gärna ta tillfället att uppmärksamma blogläsarna på bokserien The Best American Science Writing 2008, (billigt på Amazon!) en serie som kommit ut ett antal år och som är synnerligen läsvärda och njutbara populärvetenskapliga essäer hämtade från de stora tidningarna i USA. Mycket om den revolutionära DNA-forskningen och hur den förändrar våra liv och våra etiska överväganden. Jag fäste mig dock särskilt vid de avslöjande reportagen om hur läkemedelsindustrin slår klorna i läkarkåren och köper upp dem på de mest förslagna sätt. Ett inifrånreportage skrivet av en läkare som rekryteras till ett a storbolagen för att "ge föreläsningar" för sina kolleger är i högsta grad dynamit. Författaren heter Daniel Carlat, en psykiatriker som började tvivla och som driver en blog med läkemedelskritiska synpunkter. Viktig i essän tycker jag hans beskrivning av hur självbedrägeriet upprätthålls: - Jag får bra betalt för att göra det jag är bra på, inte är det fel? - Pengarna har ingen betydelse för hur jag presenterar resultaten. Och såvidare, tills han en dag bryter igenom och "avslöjar" sig själv.

Reportaget om Lesh-Nyhans syndrom är mycket läsvärd.

skrivelse till Utbildningsutskottet

På min hemsida ligger nu en skrivelse riktad till Utbildningsutskottet angående publicerings- och citeringsindikatorn i regeringens föreslagna system för prestationsbaserade fakultetsmedel. Poängen är att det sätt som man nu beräknar prestationer systematiskt missgynnar lärosäten med låg grad av externa medel. Det gör att prestationsindikatorn faktiskt inte mäter hur bra och effektivt man forskat utan hur mycket externa medel man lyckats dra in under den aktuella perioden (bör vara mitten på innevarande decennium). Det här missgynnar bl a de nya universiteten men slår också skevt på de gamla universiteten. För att i någon mån råda bot på detta har regeringen valt att lägga vikter på indikatorerna istället för att göra mer "korrekta" beräkningar. I det här fallet är det intressanta naturligtvis hur mycket man producerar i relation till de totala intäkterna. Vikterna, som av allt att döma kommer att blli kortlivade inslag, skapar nya obalanser i systemet och gynnar på ett orättfärdigt sätt vissa universitet. Indikatorer är bra och de behövs om svensk forskning skall kunna förbättras och ytterligare internationaliseras men vikterna skapar oreda för systemet och gör att reformens effekter riskeras.

frekventa felräkningar i den norska modellen

Sigbjörn Hernes är en norsk "biblioteksleder" som förefaller mig mycket klok og förståndig. Jag har inte tagit del av allt, men jag har ett intryck av presentationer och artiklar (se här). Bland annat sätter Sigbjörn fingret på en del ömma punkter i det norska systemet.

Noen fundamentale problemer med bruk av bibliometri som et presist finansieringsverktøy:
1) Utgaveproblemet: - hvor mye skal et dokument endre seg før det kan kalles et nytt dokument? Det er mange eksempler på at f.eks. bøker utgis i nye utgaver (med nytt ISBN-nummer) uten at det er vesentlige substansielle endringer i boka – og det er eksempler på det motsatte.
2) Forfatterbidrag: - ved flerforfatterskap er det hovedsaklig to måter å liste opp forfatterrekkefølge: Alfabetisk eller etter bidragstyngde. Hvordan skal man kunne finne en generell regel som yter forfatterskapene rettferdighet?
3) Omfangsproblemet: - omfanget av et dokument avspeiler ikke nødvendigvis det arbeidsomfanget som ligger bak dokumentet. En vil finne betydelige forskjeller mellom de forskjellige vitenskapsgrener, men også innen de samme fagfelt.
Baserer man finansieringen av forskning på bibliometriske indikatorer er jeg betenkt over den langsiktige virkning dette kan ha på forskning. Med en slik finansieringsmodell fratar man forskeren ansvaret for den best mulige formidling av forskning.

Vidare har den här forskningsinriktade bibliotekarien i Lillehammer faktiskt undersökt hur det står till med "akribin" i redovisningarna av publiceringar i det norska systemet. Sigbjörn har framförallt visat att kvaliteten på det som läggs in i det norska systemet har en del övrigt att önska. Se på figuren som Sigbjörn visade i en artikel 2006 (se ovan); den visar att hälften av de publiceringspoäng som forskarna i Lillehammer försökte tillskansa sig inte uppfyllde de uppställda och ganska detaljerade kraven. Hälften eller 20 miljoner kronor som tillkom på ett felaktigt sätt. Det var läroböcker, det var redaktörer som utgav sig för att vara författare, det var nya upplagor etc. Ruffel och båg alltså. Det här visar att den norska modellen har avgörande svagheter.

I sammanfattning:

Av 207 rapporterte monografier (2005) var 97 klassifisert feil, dvs de skulle ikke ha vært rapportert og ikke ha utløst midler.
• Feilregistreringene var mange, bl.a.:
redaktør angitt som forfatter
reviderte utgaver registrert som monografier
læreboker, oversettelse, registrert som monografier
kapittel i antologi
• Publikasjonspoengene skulle vært halvparten

Vidare vill jag fästa uppmärksamhet på den presentation av den problematik som Hernes upptäckte och som också diskuterades på en bibliotekskonferens i maj 2008. Den visar att felen har minskat något, men fortfarade utgör 25 %! Detta att felen minskar sker inte sker gratis och av sig självt. Det fordrar en omfattande kontrollapparat som självfallet drar resurser. Problemet "trenger kvalitetssikring på flere nivå før postene/publikasjonene rapporteres til Departementet via DBH (Database for høyere utdanning)" . Det behövs, menar man, en auktoriserad klassificering av böckerna (!). Det verkar skapa en hel del problem i Norge och är självfallet kostnadsdrivande. Men bibliotekarierna behöver arbetsuppgifter och volonterar för detta som enlgt min mening inte alls är nödvändigt. Waringmodellen är så mycket smartare i det avseendet.

dåligt pålästa forskare i svenskan 10 nov

I förra veckan publicerade tre forskare från Uppsala universitet ett inlägg mot regeringens forskningspolitik. Lars Leijonborg gav en snabb replik till dessa "forskningsforskare" i fredagens tidning. Jag kan i vissa stycken hålla med Lars L. Mitt intryck av artikeln är att den går för långt och att den på ett ogrundat sätt bygger motsättningar av lösaktig terminologi. Grundforskning är inte väsensskild från tillämpad forskning. Så fort vi kommer till dem som utför denna forskning blir detta tydligt. Det är kontexten som skiljer sig åt och OECD:s definition ligger på det psykiska planet, dvs. den fokuserar på vad som var i sinnet hos forskaren när han/hon arbetade med projektet. Nog om detta. Jag är mer tveksam till dessa "forskningsforskare" när de skriver om bibliometri. De har uppenbart väldigt lite på fötterna. De är helt enkelt sällsynt dåligt pålästa. Här en replik som SvD valde att refusera:

Waluszewski/Hasselberg/Rider (WHR) skriver att de ogillar styrning av forskning och menar att bibliometri är något djävulen släpat in på universiteten. Istället borde deras eget ämne – ”forskning om forskning” – styra forskningspolitiken.

Det finns, enligt WHR, ”belägg” för att vetenskap inte kan styras. Men vad lär oss dagens klimatforskning, framvuxen i ett växelspel mellan politik och forskning? Eller Manhattanprojektet?

Styrning är inget entydigt begrepp. I regeringens mjuka form ställs resurser till förfogande inom utpekade områden och överlåts till akademin för bästa användning. Alltså ett realpolitiskt sätt att tillskapa resurser för forskning.

WHR protesterade inte när Vetenskapsrådet, på förslag från Uppsala, inrättade en särskild gräddfil för ”forskning om forskning”.

Mäter bibliometri forskningskvalitet? Ingen har påstått det. Skälet är enkelt: Kvalitet är inget absolut begrepp med en klar definition. En uppsjö av studier från 1970-talet och framåt visar dock att expertbedömningar bör kompletteras med bibliometri.

Publiceringar kan manipuleras. Resursutredningens indikator konstruerades för att motverka fenomen som publikationsklubbar och salamiuppdelning. Forskare som tillämpar sådan strategi kommer att bli förlorare i det nya systemet. Publikationer som inte blir citerade får dålig utdelning.

KI:s rektor tillhör de som fattat galoppen. Hon skrev i KI-nytt (5/08) att det nu gäller att publicera färre artiklar i bättre tidskrifter. Hennes slutsats var också: ”Undvik att dela upp studier i minsta möjliga publiceringsbara enhet.” Rakt motsatt tolkning av propositionen jämfört med WHR.

WHR verkar inte heller förstå hur pengar fördelas mellan fakulteter. HumSam får dubbel vikt såväl för publiceringar/citeringar som för externa medel. Humanister som kan publicera internationellt är numera i guldsits och får mångdubbelt betalt för sina prestationer.

Universitet som vill öka sina resurser bör alltså satsa på humaniora. Där finns den idag största publiceringspotentialen. Problemet är möjligen att propositionen lagts utan politisk enighet om principerna. Förändringar kan inträda redan om ett år. Regeringen undergräver således sitt eget förslag. Forskning kräver uthålliga beslut som sätter upp riktlinjerna åtminstone för den närmaste femårsperioden. Sedan utvärdering.

Det finns även andra intressanta kommentarer till Uppsalaforskarnas inlägg, t ex Lindenfors blogg.

apropå nedladdningar

Det laddas en del från min hemsida (www.forskningspolitik.se) och jag har tidigare visat lite statistik. Man bör vara skeptisk till statistiken eftersom det brukar vara sökmotorer som jagar upp en del värdena, men det visar kanske ändå en del och jag är kanske lite förundrad över hur folk och sökmotorer väljer.

slu, nedladdningar och tidskrifter

Jag är numera heltidsanställd på Sveriges Lantbruksuniversitet (ett halvår framåt) och arbetar med deras RAE som där kallas KON (Kvalitet och Nytta). På SLU-bibliotekets hemsida finns en liten instruktionsfilm som visar hur man på ett effektivt sätt laddar ner sina egna eller andras publikationer. Här. Kul!

Dessutom kommer vi att i fas 2 av arbetet att genomföra en analys av alla forskningspublikationer utifrån en lista som jag varit med om att ta fram. Den består av drygt 30 000 tidskrifter hämtade från Web of Science, Ulrich's periodicals och den norska DBH-databasen. Ser fram mot fas 2 med stor spänning.

informationsnedtryckare

När jag en tid arbetade på Vetenskapsrådet blev jag varse den funktion som delar av det som kallas informationsenheter kan ha i en myndighets verksamhet - att undertrycka information. Under Pär Omlings tid har det varit sällsynt att Vetenskapsrådet givit uttryck åt sin policy i olika frågor, men däremot har det varit mer frekvent att undertrycka information. MFR hade på sin tid en väl utvecklad undertryckarinformationsenhet och det började säkerligen i anslutning till skandalerna vid mitten av 1990-talet.

Anders Björnsson skriver om den här funktionen på Susannas Popovas Dagens Story. Jag tycker kanske att Anders borde ha varit mer explicit och tagit exempel ur den väldiga högen av undertryckarverksamhet. För att gå tillbaka till Vetenskapsrådet. Generaldirektören var ju ute och pratade, särskilt i Europa, i allehanda frågor. Inget av det som han påstod eller sade hade någon annan på myndigheten någon som helst inblick i och det gjordes inte heller offentligt att GD hade talat i den eller den saken. GD kan ofta har varit ute och cyklat, men so what? Så länge den informationen undertrycktes så kunde ju gå på. En annan livaktig verksamhet som informationscheferna sysslade med var inriktad på att undertrycka all information som handlade om behandlingen av ansökningar. Under den här tiden gjordes det klart att man inte behövde spara på de "pink sheets" som är bedömningskommittéernas protokoll per ansökan. Vem är föredragande och vilka betyg har kommittéens ledamöter satt på ansökan? Det är alltså mer eller mindre omöjligt att studera huruvida det finns en konsensus mellan ledamöter om ansökningar eller inte. Det här gjordes utan att det diskuterades. Jag grät i tysthet och förbannar min feghet.
Tillägg 25/11: I senaste Tentakel finns ett inlägg från Uppsala med frågan hur det kan komma sig att Lund fått 16 Linnébidrag medan Uppsala endast fått 5 (på två omgångar). Universiteten är ungefär likvärdiga när det gäller mätbara prestationer. Ingenstans skriver VR något svar på detta inlägg, igenstans för man en diskussion om peer review institutet i svensk forskning. På vilka grunder valde man att behålla en stor grupp bedömare från förra omgången 2006? Inser man på VR att det med tanke på kända problem som kognitiv bias sannolikt leder till det resultat som nu blev fallet - att Lund återigen fick flest Linnéanslag? Varför öppnar man inte för diskussion kring detta. Kanske är det så att VR inser att forskarna i Sverige är alldeles för räddhågsna för att föra en sådan diskussion rädda för att stöta sig med VR. Vad är det då som har gått snett i det svenska rådssystemet?

Scientometrics Online First

Mitt paper Research Quality and Diversity of Funding kommer nu på Scientometrics Online First. Läsare som har tillgång till ett universitetsbibliotek bör kunna läsa artikeln. Kommer väl snart på min hemsida kan man tänka. Fick information från Springer i ett mail (se nedan) och tycker bara att detta fungerar så oerhört smidigt!

Dear Ulf Sandström,
We are very pleased to be the first to congratulate you on the electronic publication of your work Research quality and diversity of funding: A model for relating research money to output of research published in Scientometrics. If your institution has access to this publication, you may view your paper at: http://dx.doi.org/10.1007/s11192-009-0422-2 (you may need to copy and paste the URL into your browser).

We encourage you to forward this email to your co-authors and colleagues who may be interested in your work, in this topic, or in research being done in this area. Please be aware that this e-mail has been prompted by your paper appearing on SpringerLink in an electronic Online First article (appearing before compilation in an issue and citable by DOI number) or in an electronic paginated issue. Any offprints will follow the production of a paginated paper issue. Please do take the opportunity and sign up for Table-of Content Alerts for journals in your area of interest: http://www.springer.com/alerts.

We thank you for your contribution and hope that your experience publishing with Springer was a satisfying one. We look forward to your future contributions and invite you to visit our website at http://www.springer.com/authors, where you will find valuable services.
With kind regards,Springer Author Services

högskoleverket svarar

Höskoleverket svarar sina kritiker med ett inlägg på hemsidan. "Högskoleverket kritiseras för att inte alltid i förväg ange exakta kriterier för våra bedömningar. Till detta kan sägas att våra bedömningsgrunder — de aspekter av utbildningskvalitet som vi granskar — alltid anges i förväg. Men det är orimligt att vi ska ha i förväg fastlagda kriterier för alla de utbildningar som granskas varje år. De sakkunniga som vi anlitar i våra bedömargrupper, varav många är välrenommerade internationella experter, är de som är bäst skickade att precisera var ribban ska ligga i varje enskild bedömning. Det är också de som i slutändan fastlägger kriterierna. Men till viss del kan vi hålla med SUHF om att det vore önskvärt om det arbetet kunde ske i ett tidigare skede än vad som nu är fallet. Det är också något som vi arbetat vidare med, exempelvis i prövningarna för masterexamensrätt." Jag är beredd att hålla med om detta "försvar" för modellen, det följer helt enkelt av att man arbetar med ämnesxperter (peers) och för att deras arbete inte skall reduceras till något rent rutinartat så måste komponenten av kreativitet och manöverutrymme finnas där. Liksom är vanligt i peer review är det också ett helhetsomdöme som lämnas vilket gör att enskilda komponenter kan variera mellan bedömningarna. Det är självfallet inte tillfredsställande men akademien borde vara van vid detta eftersom det förekommer i all peer review.

djilas

Milovan Djilas var en jugoslavisk kommunist som hade en hög ställning i partiet och som kom att vara central för kontakterna mellan Jugoslavien och Sovjet. I den positionen hade han tillfälle att träffa Stalin och skrev på 1960-talet en bok med titeln Samtal med Stalin (finns säkert att köpa på Bokbörsen). Han berättar vädigt sorgliga historier om tiden från slutet av II vkr och framåt till han blev alltför obekväm, ja hela Jugoslavien blev ju obekvämt. Intressant och läsvärd bok. I den berättas följande lilla historia som inte har något med Stalin att göra men Stalin verkade gilla just den här historien som Djilas berättade: En turk och en montenegrin samtalade under ett av de sällsynta uppehållen i krigshandlingarna dem emellan. Turken undrade varför montenegrinarna ständigt förde krig. 'Vi är fattiga och hoppas på lite byte. Och vad kämpar ni för?' -- 'Vi kämpar för ära och berömmelse', svarade turken. Och till detta replikerade montenegrinen: 'Var och en kämpar för det som han inte har!' Stalin gapskattade. 'Herregud, det där var en tänkvärd historia. Var och en kämpar för det som han inte har!' (s. 74 i 1962 års utgåva på Natur och Kultur).

arbetslivsforskningens läge

Marianne Törner skriver idag i GP om läget för arbetslivsforskningen två år efter beslutet om nedläggning. Garantitiden för forskarna går snart ut och nu kommer prövotiden på riktigt.
Enligt Törner har arbetslivsforskningen satts på svältdiet alltmedan arbetsrelaterade olyckorna ökar. Hennes inlägg rekommenderas för läsning eftersom det är vittnesbörd om angelägen forskning som är internationellt uppmärksammad men som med stor sannolikhet har svårt att hitta forskningsmedel i dagens politiska klimat. Hon föreslår inte att Arbetslivsinstitutet skall återinrättas, men menar att den forskning som bedrivs, nu på universiteten, måste få resurser. Forskarna lever under osäkra villkor: Den lilla forskargrupp jag leder omfattar tre forskare som togs emot av Göteborgs universitet vid nedläggningen av Arbetslivsinstitutet. Vi har alla forskartjänster vilket innebär att universitetet inte skjuter till några medel. Vi är alltså helt beroende av medel utifrån.

Hittade följande som jag tycker är intressant, småroligt och samtidigt tragiskt. Det kommer från en blog benämnd Vänstra Stranden och ges ut av statsvetarprofessorn Marie Demker på Göteborgs universitet. Rapporten visar att den polemiska nivån är mycket hög på hennes fackliga seminarier - men kanske inte så akademisk. De ord som läggs i Hasselbergs mun är ju i sig intressanta som ett exempel på akademisk myter och konspirationsteorier. Charles Edquist, släng dig i väggen, du går bara ett elitgängs ärenden med din sk forskning!

"Vi var ett litet gäng fackligt intresserade och forskningspolitiskt engagerade som först fick höra historikern Ylva Hasselberg berätta historien om hur och varför entreprenörs-idealet slagit rot i forskningen, men också om bristen på konsekvensanalys av detta ideals genombrott. Hasselberg påpekade att förklaringen till att entreprenören slagit igenom i forskningen hänger samman med att det finns en akademisk elit, företrädesvis från de hårda vetenskaperna, som själva uppfattar att de tjänar på ekonomismen eller som inser det strategiska värdet i att använda sig av dess incitament.

Därefter gjorde Git Claesson Pipping klart att den största satsningen någonsin på forskningen inte alls är så stor som regeringen säger. Den är ungefär hälften så stor. Och det kan ju vara vackert så. En halv miljard går till dolt industristöd (fordonsforskning…) och det hade varit klädsamt om regeringen hade kallat saker vid deras rätta namn. Claesson Pipping påpekade också att i forskningspropositionen väljer regeringen att peka ut vilka forskningsområden som skall ha pengar på en detaljnivå som ekonomiskt och administrativt ligger på en lägre nivå än forskningsrådens detaljstyrning. En sådan vetenskaplig kompetens är verkligen imponerande :-) från en forskningsminister med en 35 år gammal grundexamen från socialhögskolan och som hävdar att endast vetenskaplig kvalitet skall vara avgörande för tilldelningen av medlen!"

Öppet brev till dekaner vid samhällsvetenskaplig och humanistisk fakultet

Dekaner och verksamhetsföreträdarare inom det samhällsvetenskapliga vetenskapsområdet skickade i slutet av september en skrivelse till utbildningsdepartementet och uttryckte sin oro för den kommande forskningspropositionen. Eventuellt finns oron för resurstilldelningsmodellen fortfarande kvar och jag vill därför bidra med ett par lugnande ord i all vänlighet.

Ni uppfattar att den valda modellen baseras på en databas som inte är representativ. Den ger därför inte möjlighet att ge incitament till verkliga kvalitetsförbättringar. Jag vill hävda att det bygger på en missuppfattning. I Web of Science ingår merparten av de internationella tidskrifter som kan vara aktuella att ge nivå 2 i den norska systemet. Alltså innebär räkning av endast nivå 2 tidskrifter i sig en kvalitetsindikator.

Ni uppfattar att humaniora och mjuk samhällsvetenskap skulle missgynnas av modellen. Så är inte fallet. Eftersom produktionen vid varje lärosäte jämförs med normalproduktionen områdesvis (34 macro fields) bör modellen i sig inte ge upphov till några skevheter .

Humaniora och samhällsvetenskap sitter nu i guldsits eftersom politikerna valt att dubbevikta dessa (redan viktade) områden. En humanist som publicerar en artikel täcker upp för cirka 27 kolleger (som inte publicerar). Under samma tid måste en kemist vid en teknisk fakultet således skriva 27 artiklar för att täcka sin egen verksamhet.

Universitet som vill dra in framtida direktanslag från staten har all anledning att satsa på humaniora som kontraktsvis kan utlova internationella publiceringar. Detsamma gäller i högsta grad mjuk samhällsvetenskap.

Ni skriver att den valda modellen "snarast" bör omprövas. (Det kan jag hålla med om men kanske av andra skäl.) Skillnaderna i utväxling mellan områden har blivit oproportionerligt stora. Mycket talar för att regeringen inte heller kommer att hålla fast vid sina "påhittade" fakultetsvikter. De har sannolikt tillkommit för att lugna den opinion som ni företräder och som tyvärr bygger sina ståndpunkter på en rad grova missförstånd.

Den konsekvensanalys som ni efterlyser av "för- och nackdelar med citaträkning i jämförelse mellan (Sic!) ett norsk-liknande system baserat på publicering" har redan genomförts och publicerades i maj 2008 av Högskoleverket. Där använder författarna (bl a undertecknad) publikationsdatabaser från sex svenska universitet (UmU, UU, SLU, LU, GU och Chalmers) för att testa hur de olika modellerna slår. Eftersom det finns svagheter i en del av dessa databaser testades också modellerna med hjäp av norska data från de fyra stora universiteten. Resultatet är entydigt så att modellerna är likvärdiga. Det blir på universitetsnivå små skillnader när de båda modellerna tillämpas.

Valet av modell handlar därför om vilka incitament som staten vill införa. Regeringen har valt den av oss utvecklade modellen för att man vill understödja internationalisering av forskningen och för att Waringmodellen är sällsynt kostnadseffektiv. Den fokuserar på rätt saker och ger inte utrymme för några som helst manipulationer.

En länk till Högskoleverksrapporten finns här: http://www.hsv.se/download/18.8f0e4c9119e2b4a60c80006308/0818R.pdf

Mina hälsningar

Ulf Sandström
Läs även andra bloggares åsikter om bloggar.se, bloggosfären, svenska bloggportaler

högskoleverket hudflängt

På dagens DN debatt i hudflänger en grupp rektorer Högskoleverkets utvärderingar. Jag har ingen anledning att försvara HsV, mycket i artikeln är säkert sant och riktigt. Min kommentar är att detta med målstolpar som är flyttbara, resultat som inte är jämförbara mellan utvärderingar och liknande är sådant som vi känner igen från kritiken mot peer review. Precis det här brukar komma upp när man systematiskt granskar expertgranskningar av lärosäten, instititioner och ämnen. Det var också denna flyktighet som gjorde att man i England beslutade sig för att gå ifrån systemet med RAE byggda på peer review. Många av de frågor som gruppen berör är förhållandevis svåra att åtgärda. Vad betyder det att redovisa exakt hur bedömare har valts ut? Gummi och plast blir alltid svaret på sådana krav. Vem vill vara peer i en grupp som inte har frihet att göra bedömningen på utvärderarnas egna villkor? Sannolikt bli resultatet av denna artikel och den oförsonliga kritiken att det blir än svårare att rekrytera bra personer med kreativa intellekt - de vill inte drängtränst i uppdrag som är rent mekaniska.
Har den här gruppen av rektorer (Bexell, Bremer, Fredman, Sandberg och andra) verkligen ar tänkt igenom konsekvenserna av den här typen av kritik. Varför gör man inte samma sak och riktar spjutspetsen mot Vetenskapsrådet? Möjligen inser en och annan som ansluter till den här kritiken att behövs mer objektiva värderingsinstrument som är ordentligt kalibrerade och som har stabilitet över tid - bibliometrin är ett sådant instrument (tyvärr inte tillgänglig för utvärdering av utbildning). Åtminstone borde den få komplettera rådens bedömningsarbete och låta råden ha något sådant att ta spjärn mot när man bedömer.

Referenser eller citeringar?

På regeringens hemsida Education and Research (Utbildningsdepartementet) skriver man om forskningsproppen. Det finns dock en rolighet, eller rättare sagt, en konstighet på denna sida. Man säger om principerna för fördelning av fakultetsmedel följande: "This will be distributed in accordance with a new system in which quality will determine how much each university or higher education institution will receive. Quality will be measured by means of two criteria - publications/references to publications and external research funds." Det är vagt uttryckt och skulle jag säga lite fel. Det är inte referenser som citeringsindikatorn avser utan uppnådda citeringar under en given tidsperiod. Som regeringen nu har formulerat det så ser det ut att vara referenslistornas längd som avgör pengarnas fördelning. Så tror jag inte att man har tänkt.

Haag

Mer från Holland alltså. Hade det stora nöjet att få presentera vårt arbete för en grupp forskare vid Rathenauinstitutet i Haag. Det blev en bra diskussion, hög nivå och en klar vilja att gå vidare mot eventuella samarbeten. Jag är naturligtivs mest intresserad av att få till något större och långsiktigt projekt kring peer review. Där skulle jag verkligen önska att det fanns möjligheter att utvidga vårt vetande. Blir dock pessimistisk eftersom det är svårt att få någon finansiär att nappa på ett sådant projekt. Och universiteten vågar väl inte heller.

Amsterdam

Solen skiner i Amsterdam. Var igår inbjuden till Scopus (Elsevier) och mötte ett mycket affärsmässigt gäng som visade sig vara ganska intressanta. De har ett perspektiv ett starkt utvecklingsinriktat perspektiv på bibliometrins framtid. Deras strategi är att möta behov på olika nivåer av det akademiska systemet. Jag skulle tro att de inom en snar framtid kommer att vara en stark konkurrent till Thomson Reuters. Vi fick ge våra synpunkter på dessa frågor och gavs också tillfälle att visa vad vi har att bidra med. Vi kom överens om att fundera vidare och eventuellt inleda någon form av samarbete.

den bortviktade fältfaktorn

Regeringen föreslår i forskningspropositionen att fördela fakultetsmedel efter publiceringar/citeringar och externa medel. Man bygger alltså vidare på Resursutredningens förslag men renodlar det till två indikatorer. Det är bra, men man bör komma ihåg att den förra indikatorn innefattar i sig effekten av den andra. Som vi konstruerade publicerings/citerings-indikatorn utgår den från hur många forskare antalet publiceringar motsvarar. Ett universitet är alltså med i konkurrensen om fakultetsmedel utifrån alla erhållna medel och de universitet som har haft förmågan att omvandla externa medel till relativt sett många publikationer kommer väl ut mätt med den indikatorn. Att dubblera genom att både ha en sådan publicerings/citerings-indikator och dessutom en indikator för externa medel leder lite fel. Vi påpekade det i vår bilaga 8 i Resursutredningen. Möjligen kan man köpa att Brändström valde att gå fram med dessa båda i förening (och ett par till) och alltså gav ökad vikt åt publikationer tillkomna med externa medel.


Nu gick Brändströms förslag ut på remiss. Många hade synpunkter på tanken att ge resurser för citeringar men få hade några genomtänkta idéer att komma med och Finansdepartementet och Utbildningsdepartementet hade uppfattat att det fanns en viss poäng med den publicerings-/citeringsindikator som föreslogs i utredningen. Man bestämde sig för att gå fram med den för att, som jag uppfattar det, få en kvalitetförbättring i systemet. Tjänstemännen på departementet satte sig in i den resursmodell som vi föreslog i bilaga 8 och använde data för att räkna fram hur det skulle slå. Man beställde vidare fram underlag för alla universitet och högskolor eftersom remissrundan visade att högskolorna ville vara med och konkurrera på samma basis som universiteten.



När politikerna såg hur det faktiskt slog blev de dock betänksamma. Ett politiskt känsligt universitet - Umeå universitet - visade sig vara lågpresterande, både i publikationer och externa medel. Jag glömmer aldrig när en centralt placerad person vid ett tillfälle utbrast: Vad sjutton gör dom av pengarna däruppe? Som jag förstår det började politikerna på departementet darra på manschetten. Möjligen fanns dock ett krav från finansen att införa ett indikatorbaserat kvalitetssystem och nu satt man med ett problem i knät. (Jag vet, jag spekulerar här). Leijonborg påstod på presskonferensen, han sa samma sak senare på kvällen på KVA, att man hade "provkört" det här på bredden och tvären och funnit att kombinationen av indikatorerna var de kriterierna som "gav det bästa utslaget i förhållande till de kvalitetsmål som man ville uppnå". Här frågar sig vän av ordning vilka dessa kvalitetsmål kan tänkas vara. Det anges nämligen inte alls. Troligt är att man tittat på utfallet och så prövat olika sätt att "få till det" så att man fick ett passande utfall. Här uppkom tydligen idén att Umeå och Göteborg skulle klara sig bättre om hum/sam viktades upp. Som Leijonborg uttryckte det har man infört ett särskilt skydd för hum/sam eftersom de inte publicerar internationellt. Att Lund och Uppsala fick ännu mer resurser skulle inte göra någon olycklig. Således dessa vikter som korrumperar utfallet: hum/sam ges faktor 2, natvet 1,5 och tek och med ges 1. Leijonborg kallade faktorerna "multiplikatorer" och de används såväl på externa medel som på publiceringar/citeringar.


Förutom att systemet blir ytterligt svårbegripligt finns det skäl anta att det kan skapa misstämning bland forskarna. Ta t ex fysikerna på Albanova i Stockholm. De kommer från två universitet - SU och KTH - och jag föreställer mig att de kan sitta i samma korridor, kanske de t o m skriver artikar ihop. SU får 1,5 för varje artikel medan KTH får 1 per artikel Likaledes för de externa medel man drar in. För KTHarna är de pengar mindre värda som bas i regeringens kvalitetssystem. Samma sak för gränsområdet mellan Chalmers och GU. Det finns en ganska stor grupp humanister och samhällsvetare på landets tekniska högskolor. De får väldigt dåligt betalt för sin verksamhet och kommer sannolikt att nedprioriteras av strategiska rektorer. Detta måste rimligen vara helt uppåt väggarna.


Jag kan tycka att om regeringen inte tror på publiceringar/citeringar som indikator är det bättre att inte använda en sådan. Nu låtsas man använda kvalitetskriterier men låter inte dessa slå igenom. Man inför korrupta indikatorer. Om man inte tror på att hum/sam kan mätas med publiceringar/citeringar borde de ha tagits undan och givits resurser på annat sätt. Jag kan inte säga att vår indikator fungerar felfritt men den enda undersökning som kunnat göras visar att den är en förvånansvärt god mätare av universitetens verksamhet, se Högskoleverksrapporten Resurser för citeringar där vi använder norska universitetsdata och jämför den svenska modellen med den norska. Det är inget bevis men vi har ett starkt case.


Avslutningsvis, det är inte externa medel som gör det hela tokigt. Man kan försvara att lägga vikter på externa medel eftersom det är färre resurser till hum/sam jämfört med andra områden. Se bara på de sk strategiska områdena som de facto består av medicin och teknik och lite naturvetenskap.

proppen Orvar eller dynamic Lasse?

Lyssnar just nu på Leijonborg och presentationen av forskningspropositionen. LL lovar 5 miljarder i permanent ökning. Tyngdpunkten ligger på 2009 det år då 1%-målet uppnås första gången sedan förra borgerliga regeringen. Ökningarna på "gamla" strategiska områden (kriterium är att det finns stark svensk forskning) är lika stora som ökn av fakultetsmedlen. Politiska fingrar i syltburken - och påverkat av näringslivet! Nyfikenhetsforskning pratar han om men det blir rätt mycket innovation och strategiska satsningar, innovationskontor och liknande.

Presskonferensen visar sig vara otroligt tam. Mest prat om innovation och små högskolor. Det faktum att politikerna förstör publicerings/citeringsfaktorn genom att vikta efter fakultetstillhörighet verkar förbigå journalisterna!

besöket i Wien

I slutet av förra veckan var jag i Wien (Universität Wien) och gav en föreläsning för en blandad grupp av personer. Där ingick bibliometriska forskare, utvärderare från universitetet och bibliotekarier. Det gav upphov en lång och intressant diskussion där det bland annat visade sig att det finns bibliotekarier som upprätthåller skillnaden mellan bibliografi och bibliometri. I Wien finns en grupp som bekymrar sig över att Web of Science ser ut att abdikera från sina kvalitetskriterier, dvs de tar in alltfler regionala och lokala tidskrifter. Nu senast såg jag att WoS importerade ett stort antal regionalekonomiska och regionalpolitiska tidskrifter. Man kan förstå att det är viktigt ur kommersiell synpunkt men det blir definitivt allt svårare att använda databasen som en kvalitetssäkrad databas. Alternativet är naturligtvis att via analyser utesluta delar av databasen men det uppstår ett allvarligt kommunikationsproblem med detta.

Jag presenterade vårt arbete för KTHs RAE och det blev myckt väl mottaget. Jag hoppas att kontakterna med Juan och de andra i Wien får en fortsättning.

inför morgondagen

Kåre Bremer antyder på sin blogg att regeringen imorgon kommer att släppa en forskningsproposition som bl a bygger på resursutredningens förslag. Det blir spännande att se hur detta kommer att mottas av svenska lärosäten.

Ju mer regeringen har meddelat om vad som komma skall desto mer tveksam har jag blivit. I dagens Svenskan skriver Leijonborg och Olofsson om att lärosätena skall få "idékontor" eller vad man vill benämna som innovationskontor och det låter verkligen inte bra. Så mycket organisationsresurser finns redan för att mjölka universitetsforskarna på deras idéer att det är orimligt att tänka sig att det går att göra mera.

På Dagens Nyheters debattsida skriver fyra universitetsrektorer om regeringens strategiska forskningssatsning: Ta inte pengar till Volvo. Det verkar dock som att det blir så med en stor del av satsningen. Den öronmärks för "forskning och innovationsarbete" inom områden där svensk industri har behov och möjligheter. Det är en insnävning som leder till att det inte blir den bästa forskningen som får pengar. Det är verkligen synd att man inte tar tillfället att ge universiteten förtroendet att bygga ny forskning och skapa nya kunskapsarenor.

Till syvende och sist misstänker jag att det blir så att den borgerliga propositionen får ungefär samma effekter som förra gången. En näringslivssatsning som bara gjorde landskapet mer svåröverblickbart. En massa tom retorik kring näringsliv och forskning som visat sig vara ohållbar och som bygger på en missuppfattningar om forskningens roll i samhället.

wordlefun with websites

Olle P i Umeå har tipsat om ett program som finns på wordle.net - ett program som visualiserar termer på webbsidor. Riktigt kul. Särskilt roligt är det naturligtvis att Olle blir en framträdande term på min bloggsida. Annars verkar min blogg mest handla om den "senaste nya forskningspolitiska konferensen där man har tumme med makten". Jo, jo det skulle smaka det!

Conference proceedings citations

Fick mail från Olle Persson häromdagen. Inspirerad av mitt inlägg från Wienkonferensen har han genomfört en likarta analys av ISSI-konferensen i Madrid 2007.

Toppnamnen är i stor utsträckning desamma som på S&T-mötena. Det bör vara lätt att göra sammalunda med andra proceedings....och även jämföra med de mest citerade i tidskifter..."Kul ansats!", konkluderar Persson. Hans visualisering syns här bredvid. Klicka på bilden för att göra den större.

Sökning i WoS i proceedings:Publication Name=(PROCEEDINGS OF ISSI 2007 11TH INTERNATIONAL CONFERENCE OF THE INTERNATIONAL SOCIETY FOR SCIENTOMETRICS "AND" INFORMETRICS VOLS I "AND" II) Timespan=All Years. Databases=STP, SSHPvilket ger 170 bidrag.

Most cited 1st Authors in proceedings from ISSI 2007 in Madrid of conference papers citing an author, standardized to 1st initial:

30 Garfield E

28 Glanzel W

22 Moed H

19 Small H

18 Leydesdorff L

17 Price D

16 Vanraan A

13 Hirsch J

12 Chen C

12 Rousseau R

12 Egghe L

11 Bordons M

11 Zitt M

11 Braun T

10 Mccain K

9 Narin F

8 Jin B

8 Boyack K

8 Persson O

8 Katz J

8 Merton R

7 Cronin B

7 Batagelj V

7 Schubert A

7 White H

6 Thelwall M

6 Borgatti S

6 Wagner C

6 Noyons E

6 Borner K

under threat

Denna protestskrivelse cirkulerar och jag vill gärna instämma i grundbudskapet. Jag betraktar det dessutom som ett grundskott mot den norska modellen som är uppbyggd på precis samma bräckliga logik - att vissa tidskrifter skulle vara finare än andra. Bra forskning kan publiceras lite varstans och de är viktigt att det finns ett stort urval av tidskrifter att publicera i.

Journals under Threat: A Joint Response from History of Science, Technology and Medicine Editors

We live in an age of metrics. All around us, things are being standardized, quantified, measured. Scholars concerned with the work of science and technology must regard this as a fascinating and crucial practical, cultural and intellectual phenomenon. Analysis of the roots and meaning of metrics and metrology has been a preoccupation of much of the best work in our field for the past quarter century at least. As practitioners of the interconnected disciplines that make up the field of science studies we understand how significant, contingent and uncertain can be the process of rendering nature and society in grades, classes and numbers. We now confront a situation in which our own research work is being subjected to putatively precise accountancy by arbitrary and unaccountable agencies. Some may already be aware of the proposed European Reference Index for the Humanities (ERIH), an initiative originating with the European Science Foundation. The ERIH is an attempt to grade journals in the humanities - including "history and philosophy of science". The initiative proposes a league table of academic journals, with premier, second and third divisions. According to the European Science Foundation, ERIH "aims initially to identify, and gain more visibility for, top-quality European Humanities research published in academic journals in, potentially, all European languages". It is hoped "that ERIH will form the backbone of a fully-fledged research information system for the Humanities". What is meant, however, is that ERIH will provide funding bodies and other agencies in Europe and elsewhere with an allegedly exact measure of research quality. In short, if research is published in a premier league journal it will be recognized as first rate; if it appears somewhere in the lower divisions, it will be rated (and not funded) accordingly. This initiative is entirely defective in conception and execution. Consider the major issues of accountability and transparency.

The process of producing the graded list of journals in science studies was overseen by a committee of four (the membership is currently listed at http://www.esf.org/research-areas/humanities/erih-governance-and-panels/erih-expert-panels.html). This committee cannot be considered representative. It was not selected in consultation with any of the various disciplinary organizations that currently represent our field such as the European Association for the History of Medicine and Health, the Society for the Social History of Medicine, the British Society for the History of Science, the History of Science Society, the Philosophy of Science Association, the Society for the History of Technology or the Society for Social Studies of Science. Journal editors were only belatedly informed of the process and its relevant criteria or asked to provide any information regarding their publications. No indication was given of the means through which the list was compiled; nor how it might be maintained in the future. The ERIH depends on a fundamental misunderstanding of conduct and publication of research in our field, and in the humanities in general.
Journals' quality cannot be separated from their contents and their review processes. Great research may be published anywhere and in any language.
Truly ground-breaking work may be more likely to appear from marginal, dissident or unexpected sources, rather than from a well-established and entrenched mainstream journal. Our journals are various, heterogeneous and distinct. Some are aimed at a broad, general and international readership, others are more specialized in their content and implied audience. Their scope and readership say nothing about the quality of their intellectual content. The ERIH, on the other hand, confuses internationality with quality in a way that is particularly prejudicial to specialist and non-English language journals. In a recent report, the British Academy, with judicious understatement, concludes that "the European Reference Index for the Humanities as presently conceived does not represent a reliable way in which metrics of peer-reviewed publications can be constructed" (Peer Review: the Challenges for the Humanities and Social Sciences, September 2007: http://www.britac.ac.uk/reports/peer-review).Such exercises as ERIH can become self- fulfilling prophecies. If such measures as ERIH are adopted as metrics by funding and other agencies, then many in our field will conclude that they have little choice other than to limit their publications to journals in the premier division. We will sustain fewer journals, much less diversity and impoverish our discipline. Along with many others in our field, this Journal has concluded that we want no part of this dangerous and misguided exercise.
This joint Editorial is being published in journals across the fields of history of science and science studies as an expression of our collective dissent and our refusal to allow our field to be managed and appraised in this fashion. We have asked the compilers of the ERIH to remove our journals' titles from their lists.

Hanne Andersen (Centaurus) Roger Ariew & Moti Feingold (Perspectives on Science) A. K. Bag (Indian Journal of History of Science) June Barrow-Green & Benno van Dalen (Historia mathematica) Keith Benson (History and Philosophy of the Life Sciences) Marco Beretta (Nuncius) Michel Blay (Revue d'Histoire des Sciences) Cornelius Borck (Berichte zur Wissenschaftsgeschichte) Geof Bowker and Susan Leigh Star (Science, Technology and Human Values) Massimo Bucciantini & Michele Camerota (Galilaeana: Journal of Galilean Studies) Jed Buchwald and Jeremy Gray (Archive for History of Exacft Sciences) Vincenzo Cappelletti & Guido Cimino (Physis) Roger Cline (International Journal for the History of Engineering & Technology) Stephen Clucas & Stephen Gaukroger (Intellectual History Review) Hal Cook & Anne Hardy (Medical History) Leo Corry, Alexandre Métraux & Jürgen Renn (Science in Context) D.Diecks & J.Uffink (Studies in History and Philosophy of Modern Physics) Brian Dolan & Bill Luckin (Social History of Medicine) Hilmar Duerbeck & Wayne Orchiston (Journal of Astronomical History & Heritage)Moritz Epple, Mikael Hård, Hans-Jörg Rheinberger & Volker Roelcke (NTM: Zeitschrift für Geschichte der Wissenschaften, Technik und Medizin) Steven French (Metascience) Willem Hackmann (Bulletin of the Scientific Instrument Society) Bosse Holmqvist (Lychnos) Paul Farber (Journal of the History of Biology) Mary Fissell & Randall Packard (Bulletin of the History of Medicine) Robert Fox (Notes & Records of the Royal Society) Jim Good (History of the Human Sciences) Michael Hoskin (Journal for the History of Astronomy) Ian Inkster (History of Technology) Marina Frasca Spada (Studies in History and Philosophy of Science) Nick Jardine (Studies in History and Philosophy of Biological and Biomedical Sciences) Trevor Levere (Annals of Science) Bernard Lightman (Isis) Christoph Lüthy (Early Science and Medicine) Michael Lynch (Social Studies of Science) Stephen McCluskey & Clive Ruggles (Archaeostronomy: the Journal of Astronomy in Culture) Peter Morris (Ambix) E. Charles Nelson (Archives of Natural History) Ian Nicholson (Journal of the History of the Behavioural Sciences) Iwan Rhys Morus (History of Science) John Rigden & Roger H Stuewer (Physics in Perspective) Simon Schaffer (British Journal for the History of Science) Paul Unschuld (Sudhoffs Archiv) Peter Weingart (Minerva) Stefan Zamecki (Kwartalnik Historii Nauki i Techniki)

kvalitetsseminarium på KTH 1 oktober

KTH och bibliometrin.

Nya metoder för bibliometrisk utvärdering – fallgropar, stötestenar och belöningar.
Inledare: Ulf Sandström, docent vid Linköpings universitet

Tid: Onsdagen den 1 oktober 2008, kl 13.15 – 14.30

Plats: Sal K1, Teknikringen 56, KTH Campus

Bibliometriska metoder är alltmer betydelsefulla vid utvärdering av universitet, institutioner och forskargrupper. Framförallt har metoder för normalisering av citeringsdata inneburit väsentliga framsteg. Bibliometri används allt oftare som ett komplement till peer review. För att jämföra grupper och universitet med olika ämnessammansättning tar bibliometrin numera hänsyn till ämnen och forskningsfält. Vidare har utvecklingen av metoder för visualisering gjort det möjligt att ta fram forskningslinjer och forskningsfronter med vilka forskargrupperna kan jämföra sig.

Seminariet kommer att ägnas åt några kritiska frågor i det sammanhanget: vilka är för- och nackdelarna med dessa metoder och hur bör de användas för att så allsidigt som möjligt belysa den pågående forskningen? Vilka är fallgroparna, stötestenarna och belöningarna vid bibliometriska utvärderingar? Vilka är de framtida utmaningarna för bibliometrisk forskning?

Presentation

Ulf Sandström är docent och universitetslektor vid Linköpings universitet och har under den senaste tiden arbetat med den bibliometriska delen av KTH RAE. Han har skrivit ett stort antal uppsatser och artiklar om forskningspolitik, ofta med kvantitativ inriktning. Hans arbete åt Resursutredningen (SOU 2007:81) har blivit mycket uppmärksammat och ser ut att i allt väsentligt genomföras av regeringen i kommande forskningsproposition. Några av hans senaste rapporter och artiklar återfinns på hemsidan: http://www.forskningspolitik.se.

Detta seminarium är det tjugosjätte av Fakultetens kvalitetsseminarier, som startade i maj 2005. Bakom dem står såväl Fakultetsnämnden, som har det övergripande akademiska ansvaret för KTHs utbildning och forskning, som Fakultetskollegiet, som är ett oberoende organ för KTH-gemensamma frågor med valda representanter för KTHs ca 900 lärare. Seminarierna avser att stimulera till debatt och samtal om aktuella frågor om kvalitet i forskning, utbildning och övriga verksamheter. De äger rum ca en gång per månad, och är utan föranmälan öppna för studenter och anställda vid KTH samt andra intresserade. Frågor och förslag kan lämnas till Fakultetens dekanus Folke Snickars, folke@infra.kth.se eller till Per Jacobsson, perjac@kth.se, telefon 08-7909555. Kommande planerade seminarier är bl a 29 oktober om Högskolelärarnas arbetssituation (HSV Samtalsarena om lärarnas arbetssituation på KTH Campus, anmälan till HSV) och den 9 december presenterar Daniel Tarschys ”Frihetsutredningen”.

JD Bernal på Hedengrens

En av de bästa biografier jag läst - Andrew Browns J.D. Bernal: The Sage of Science (2005) finns nu på engelsk bokrea på Hedengrens bokhandel vid Stureplan i Stockholm. Köp den boken! Mycket läsvärd och givande. Särskilt är tiden under andra världskriget fascinerande, Bernal fungerade som en relativt högt uppsatt militär vetenskapsman och använde bl a gamla kartor på British Museum för att bestämma vart man skulle landstiga efter fastlandskusten. Mindre står att läsa om Bernals viktiga böcker. Men det kompenseras av att Bernals politiska förfall skildras ingående. Han fortfor att försvara Moskva och blev den siste amassadören för Sovjetkommunismen. Vilket naturligtvis gjorde att han aldrig riktigt blev accepterad i de högsta kretsarna. Kanske inte helt fel. Skildringen är skriven på ett särdeles medryckande sätt. Och till slut kan man inte värja sig mot människan Bernal. Han var i all sin tokighet och typiskhet ett stort allvetande geni.

myten om europeisk paradox

En ganska ordentlig genomgång av innovationsfrågan, begrepp, metoder och resultat har just publicerats i en rappport från ITPS. På sina ställen är den ganska overfladisk, se t ex avsnittet om publiceringar och citeringar, men överlag är jag förtjust i grundligheten och att man fortfarande kan ge ut rapporter på närmare 200 sidor. Lite jobbigt att skriva ut kanske. Kloka citeringar, dvs man lyfter fram dem som är värda att lyfta fram.

När det gäller den svenska eller europeiska paradoxen har man missat den senaste teoretiska utvecklingen. Det stora "geijerska avfallet" blir til en liten sak i jämförelse med Patrick Llerenas avfall vid en Top Science föreläsning som kan ses på Internetvideo. Jag tänkte återkomma till Llerena, jag tycker hans föreläsning är toppen, väl värd att se igenom; den ger nya perspektiv på forsknings- och innovationspolitiken. Framförallt visar han att talet om en paradox är en myt, europeisk forskning är allt annat än stark och att många av de policyinstrument som kommit till med motiveringar tillbaka till denna myt är farliga för forskningen (den vetenskapliga allmänningen) och för spridningen av forskningsresulat. Fokuseringen har ju i stor utsträckning hamnat på att patentskydda och stänga ute iställe för den öppna publicering som kännetecknar universiteten.

missförstånd kring den svenska resursmodellen

Det finns en argumentation som hävdar att kvantiteten fortfarande styr det mesta utfallet i den svenska modellen för resursfördelning till universiteten baserat på publiceringar/citeringar. Sådana argument har framförts bl a i remissvaret från Göteborgs universitet och återkommer till viss del i ett papper från Chalmersbiblioteket. Det bygger dock på en sannolikt ganska vanlig missuppfattning. Låt mig ta ett exempel för att illustrera tankegången: Universitetet X har 800 forskare och ett Waringvärde på 900. Dess citeringsgrad är 1,11 vilket innebär att vi får 1000 om de båda variablerna (900 * 1,11 = 1000).
Påståendet att utfallet beror till 90 procent på kvantitet och endast 10 % varierar till följd av kvaliteten bygger på ett missförstånd. Då tar man inte hänsyn till att Waringmåttet består av två delar: 1) ett volymmått som estimerar antalet forskare, och 2) produktiviteten för dessa forskare. I exemplet är som vi ser volymen 800 och produktiviteten är 1,125 (=900). Med andra ord: i det här exemplet förklarar produktiviteten (produktionstakten i relation till nordiskt genomsnitt) 10 procent och kvaliteten (citeringarna) 10 procent.
Vi ville utveckla ett mått som tog hänsyn till storleken på universitetet, vilket är helt nödvändigt om man skall fördela resurser. I annat fall skulle det bli så att ett litet universitet, om det har hög produktivitet och hög citeringsgrad, skulle kunna få en mycket stor del av resurserna. Men resursfördelningen bör i grundutförandet vara beroende av hur många forskare det är vid universitet ifråga.

Den svenska resursmodellen verkar vara svår och det har jag full förståelse för, bl a bygger den på en matematik som inte självklart är lätt att ta till sig om man inte är specialkunnig (för detta samarbetar jag med en matematik statistiker på KTH). Tyvärr florerar ett antal missförstånd och jag vill kommentera en del av dessa: (citaten från en konferens i Göteborg)

”Bestemmer en større del av budsjettene, men er ikke utviklet i samarbeid med institusjonene”
Att en resursfördelningsmodell skulle vara bättre för att den är utvecklad tillsammans med klienterna (universiteten) ställer jag mig tveksam till. Det är här frågan om en principal-agent relation mellan staten (folket) och universiteten där universitetens roll är att leverera något och staten har svårt att riktigt veta vad universiteten gör. Mätningen av output är därför en fråga om att införa incitament och kontroll. Tiotusenkronorsfrågan är vilken modell som kan göra det utan att samtidigt förstöra viktiga institutioner i systemet. Universiteten skall självklart vara med i diskussionen, men vilka incitament och kontroller som till syvende och sist införs är en politisk fråga. Jag menar att det är önskvärt att universiteten för en vital diskussion om modellen, och självklart skall de kunna påverka den, dock inte besluta. Detta förutsätter en öppen och bra diskussion. Den föreslagna modellen för resursfördelning innebär inga stora förändringar av kontraktet mellan staten och universiteten. Staten ger total frihet att organisera forskningen inom alla områden och förbinder sig att betala efter hur universiteten producerar jämfört med nordiska forskare och hur de blir citerade jämfört med världsgenomsnittet.

”Kompenserer den svake representasjonen av humaniora, samfunnsvitenskap og teknologi i Web of Science med kunstige estimater”
Det inte är lätt att förklara modellen, men det som verkar vara ”kunstige estimater” är faktiskt matematiska regelbundenheter som gäller för frekvensfördelningar. De första som tog upp idén om Waringdistributioner var, tro det eller ej, ett humanistiskt forskningsfält – språkvetarna. De arbetar med frekvenser av ord och hade stor nytta av Irwins uppsatser (det var han som lade fram det från början). En klassiker på området är Herdans Quantitative Linguistics från 1964 och Waring-Herdan modellen har blivit en klassiker på fältet, se Baayens Word Frequency Distrbutions (2001). I rapporten till Högskoleverket framgår med önskvärd tydlighet att metoden ger mycket goda skattningar av volymen forskningspersonal eftersom den matematiska modellen gör att vi kan införliva nollförfattarna i ekvationen. När vi jämför de norska och svenska modellerna baserat på ett empiriskt material hämtat från norska universitet blir resultatet att det är små skillnader, möjligen kan hävdas att Waringmodellen är något mer effektiv, men vi misstänker att den överskattar medicinsk forskning och inte är hundraprocentig när det gäller humanisternas produktion. Fördelen med Waringmodellen är att den gör det möjligt att använda fältnormaliserade citeringar, och det har ju varit politikernas syfte med resursfördelning; att göra det baserat på genomslag i internationella tidskrifter.

”Gir ingen transparens for svensk forskning, og ingen intern styringsinformasjon, men overlater justeringen av milliardene til en ugjennomsikt og komplisert bibliometrisk modell”
Att modellen inte skulle ge transparens för svensk forskning förefaller märkligt. Modellen informerar universiteten på olika nivåer, fakultetsnivå om man så vill (eller till och med institution), hur mycket deras personal producerar jämfört med en nordisk normalforskare. Det ger således en, förhållandevis precis, information om hur denna produktion ser ut i relation till vad andra producenter inom området förmår producera. Detta bör vara oerhört viktigt information för universiteten att få denna typ av underlag för att värdera sin verksamhet istället för att endast veta att våra kemister producerar så och så många publiceringspoäng vilket inte innebär att man kan jämföra mellan universitet. Det verkar inte som att alla har förstått att detta är klon i den svenska modellen. Att modellen bygger på den sedan länge efterfrågade "fältfaktorn". Istället luftas ett allmänt missnöje med att alla inte följer den norska modellen, men dess avgörande svaghet är att den inte använder citeringarna.

”Bygger på siteringsmåling som kan gi kraftige omfordelinger fra år til på grunn av sterk skjevfordeling, men bygger på løse statistiske estimater av de siterte publikasjonenes institusjonstilknytning”
Som sagt, att kunna använda citeringarna är poängen med den svenska modellen. Den är nämligen inte endast kvantitativ utan försöker att så exakt som möjligt ge uttryck åt den citeringsgrad som publikationerna från ett universitet har fått. Detta skiljer sig från den norska modellen som försöker att ”estimera” hur viktig publikationskanalen är genom att utgå från att det är svårare att publicera i vissa tidskrifter och vissa förlag. Inom naturvetenskap, medicin och teknik är det i princip journal impact factor som man har utgått från (Utkastet bör lages på grunnlag av en rangering etter Journal Impact Factor (JIF) .s. 43 i Vekt på forskning 2004). I humaniora vet jag inte vilken princip som har lett till att Norsk historisk tidsskrift ansett "svår". Eller vad sägs om att norrmännen godkänner serier som Växjö University Press, Karlstad University Press, Luleå University Press etc. Jag gjorde en analys av norska publikationer och plockade ut några områden för att se hur norska artiklar i tidskrifter som klassades som låg (nivå 1) eller hög Nivå 2) de facto citerades och om man kunde dra några slutsatser på basis av klassindelningen. I tre av fyra fall (sub-fields inom ISI) visade det sig att artiklarna i nivå 1-tidskrifter gav en generellt sett högre faktiskt citeringsgrad jämfört med artiklarna i nivå 2-tidskrifter. Det norska systemet premierar alltså inte de bästa forskarna, vilket den svenska modellen kan göra.

Det finns till och med de som hävdar att samarbetet inom den nordiska bibliometrin har brutit samman till följd av att svenskarna inte följer den norska modellen:
”Dialogen, samarbeidet og vitenskapeligheten i nordisk bibliometri – og innenfor svensk bibliometri – erfarer et midlertid sammenbrudd”
Synnerligen magstarkt. Man förfaller hävda att den svenska debatten endast får utvecklas enligt vissa linjer och inte andra. Det kan inte vara ett självändamål att samarbeta om villkoret är att man ansluter sig till den norska modellen. Jag är för tanke- och diskussionsfrihet.

Då får man ändå trösta sig med att Tore Lund som ändå har försökt att sätta sig in i modellen. Han ger den ett gott betyg:
”Slutligen skall det erkännas att den föreslagna indikatorn är nyskapande och t o m elegant. Det är den första modell jag sett som kombinerar ett kvalitetsmått med ett ämnesnormerat produktions- och produktivitetsmått, och som dessutom kan utnyttja det senare till att ”vikta ihop” kvalitetsmåttet på ett tilltalande sätt.” (s. 1), men finner ändå anledning till att överlag föreslå att modellen inte skall tillämpas. Den är för oprövad (Sic!), det är för låg täckningsgrad (han har inte förstått modellens fiffighet), och han är inte övertygad (Sic!).
Det är synd att Tore inte riktigt greppar modellen och jag hoppas att han har fått tillfälle att läsa Högskoleverksrapporten. Hans diskussion är i alla fall sakligt och det hittills enda försöket att läsa vårt bidrag på ett balanserat sätt. Det går att föra en debatt med hans synpunkter.
Tyvärr har många debattdeltagare hakat upp sig på täckningsfrågan. ”Titta hur det ser ut i ingenjörsforskning eller i samhällsvetenskap, intet mer än 50 % av de tidskrifter som används finns i ISI”, säger man. Om nu läsaren har förstått Waringmodellen kan han eller hon säga så här: ”Täckningsfrågan är viktig men det går faktiskt att estimera volymer baserat på ISI eftersom vi använder Waringmodellen”. Detta kan förklaras med vårt antagande (eller vår definition) att de tidskrifter som syns i ISI är desamma för alla forskare inom respektive forskningsområde i hela Norden. Om 1000 forskare har 500 tidskrifter i ISI eller om de har 1500 tidskrifter spelar ingen som helst roll så länge vi håller isär områdena. Förvisso finns det problem med delar av den humanistiska forskningen och det är ett litet orosmoment att det inte skett någon forskning om detta under tiden. Nu har det gått ett år och debattdeltagarna har mera ägnat sig åt att sprida sina missförstånd än att försöka skapa klarhet.
Det är statsmakternas intresse för citeringsfrågan som gör det nödvändigt att begränsa analysen till ISI-tidskrifter. Vi har föreslagit en modell som gör att ISI-materialet, med hög täckning för vissa områden och lite sämre för andra, kan användas för att på kunna bestämma volymen på respektive forskningsområdes personal. Det kan också vara så att politikerna önskar att fler inom humanistiska områden publicerar sig internationellt.

”Sverige går mot en belgisk modell (Flandern) i kombinasjon med en britisk modell (RAE), mens Belgia (Flandern) og andre land går mot den norske modellen...”

Den som hävdar detta (se t.ex. förra numret av Forskningspolitikk) har nog inte riktigt förstått poängerna i den svenska modellen. Flandern har använt en rak modell med antal ISI-publiceringar och citeringar. Det är inte alls samma sak som den svenska resursmodellen och att anföra det är nog att medvetet försöka förvirra debatten.

Slutligen den vanligaste missuppfattningen kring modellen är att humaniora och mjuk samhällsvetenskap som publicerar i andra kanaler än internationella vetenskapliga tidskrifter kommer att missgynnas på grund av att deras huvudsakliga verksamhet inte ger poäng. Endast huvudlösa universitetsledningar kommer att bedriva en politik som går ut på att hum-sam skall ändra sig radikalt, från böcker, antologier och rapporter till internationella tidskrifter. Det vore förödande om alla skulle försöka konkurrera på samma internationella publiceringsmarknad. Det finns inte utrymme för detta och det skulle med största sannolikhet dra ned detta universitets citeringsgrad. En klok universitetsledning kommer, om de har förstått waringmodellen, att försiktigt driva en internationaliseringslinje, kanske med viss betoning på att öka artiklarna. Kom ihåg att det är publiceringslinjen inom Norden som är referensvärdet. Därför behöver inte alla skriva artiklar. Kanske det blir en bättre indikator för humaniora i framtiden.

Science and Techology Indicators in Vienna

Den tionde konferensen gick under temat Excellence and Emergence och lockade ungefär 250 deltagare. Fältet är såväl dynamiskt som expansivt. I år tyckte jag att det märktes att klustringsfrågorna är tillbaka på bred front samt att det upptstått ett märkbart intresse för indikatorer som arbetar med "the citing side", dvs. det är viktigare att titta närmare på strukturen på citeringarna (vem, vad, hur och varför) än att själlöst räkna antal. Frågan om fältnormalisering får också uppmärksamhet, snart kommer det säkert nya metoder!

Jag blev inbjuden till Österrike (Wiens universitet) och senare också till Amsterdam så konferensen var verkligen positiv för min egen personliga del.

På hemvägen, i flygplanet, kom jag att göra en citeringsanalys av konferensen Book of Abstracts. Det är ganska tjock lunta på drygt 500 sidor. Metoden för denna övning är enkel: inga självciteringar, alla författare räknas, även citeringar i posters räknas (förhållandevis få).

1. Glänzel 22
1. Moed 22
3. van Raan 19
4. Schubert 18
5. Leydesdorff 16
6. Braun 14
7. Noyons 13
7. Garfield 13
9. Boyack 10
10. Narin 9
11. Aksnes 7
11. van Leeuven 7
11. Börner 7
11.. Chen 7
11. Small 7
11. Egghe 7
17. Rousseau 6
17. Hirsch 6
19. Bordons 5
19. B. Martin 5
19. Thelwall 5
19. Hicks 5
19. Price 5

Jag är rätt säker på att Olle P hade kunnat gissa sig fram till de åtta första och klarat att ange ordningen rätt bra. Olle fick f.ö. 2 citeringar, snäppet bättre än den uppmärksamhet jag kunde räkna in (tack till Gant Lewison!).

företagsekonomerna vid SU

För tre år sedan (2004-2005) pågick en strid om makten över företagsekonomiska institutionen som är riktigt intressant för den som är fascinerad av forsknings- och universitetspolitiska frågor. Hittade en bok, i Handelshögskolans bibliotek, om detta som skrivits av en av företagsekonomerna, Paula Liukkonen: Skandalen på Stockholms universitet: överhetens kupp mot företagsekonomer (2005) . I bakgrunden finns här skilda uppfattningar om budgetar och övertider, studentunderlag och så vidare. Jag är inte mannen att avgöra huruvida den ena eller den andra har rätt, men det är ändå en spännande bok som skildrar utvecklingen och motsättningarna på ett ofta känslomässigt och laddat sätt. Det är säkert inte en objektiv framställning men flera spörsmål kring den akademiska friheten blir tydliggjorda. Nya regler på universiteten, nya maktbefogenheter, gör det möjligt att sätta institutioner under tvångsförvaltning. Det var vad som hände i det här fallet och vad värre var så trädde en nationalekonom (generalfienden) in i prefektens ställe! Kåre Bremers roll framträder inte i alltför ljusa ordalag i boken. Skulle vara intressant att få den andra sidans version (universitets- moch fakultetsledningens) av detta och gärna i ett efterhandsperspektiv.

oväntat stöd till Högskoleverket

Per Eriksson, vd för Vinnova, skriver i ett debattinlägg på vinnova.se om farhågor och förhoppningar inför den forskningspolitiska propositionen. Han anför:

"Förhoppningen är att de aviserade nya 1,5 miljarderna direkt till lärosätena baseras på:

• konkurrenskraft om externa medel från alla externa FoU-finansiärer
• grundutbildningens ekonomiska volym
• forskningens kvalitet mätt genom indikatorer och utvärdering

Ovanstående bör baseras på resultat från de fyra senaste åren, löpande, och med lika vikt för de tre faktorerna. Signalvärdet är stort och premierar och stärker konkurrenskraft och kvalitet samt ger på sikt mycket stora utslag."

Inte så mycket att tillägga tycker jag. Men det tyckte Per: "Lämpligen får Högskoleverket uppgiften att ge regeringen underlag för fördelning av dessa medel och forskningsfinansiärer som VINNOVA och Vetenskapsrådet att stödja Högskoleverket i arbetet. Farhågan är att man fördelar ut de nya 1,5 miljarderna efter otydliga eller dolda kriterier samt att man sedan satsar på omfördelning inom befintliga FoU-anslag." Klokt tänkt om ni frågar mig. Jag tror nämligen att det är viktigt att sprida ut makten i det forskningspolitiska systemet. Maktkoncentration leder till elände.

inte mer än en tumme?

Möjligen förhastade jag mig något i min förtjusning över regeringsutspelet "Storsatsning på forskning". En artikel i senaste Universitetsläraren (13/08): "Satsningen är inte alls så imponerande som den först ser ut. Visserligen större än i den förra regeringens senaste forskningsproposition men ändå bara en tumme, säger SULF:s chefsutredare Ann Fritzell." Det verkar vara frågan om ett ganska så vanligt sätt att dribbla med siffrorna för att få det att se bättre ut. Av riksdagen redan beslutade ökningar tas med i "satsningen". Dessutom måste man komma ihåg att regeringen arbetar mycket taktiskt. De chocknedläggningar av forskning som kom redan direkt efter maktskiftet, t ex ALI, innebar ju minst en miljard bort från forskningen. Så sammantaget blir det kanske inte mer än en tumme! Allt verkar handlar om att paketera så att det ser så smakligt ut som möjligt. Samtidigt är jag ganska så säker på att socialdemokraterna inte hade åstadkommit lika mycket för forskningen om de fått sitta kvar. Tyvärr.

nyttan av akribi

Thomson Reuters (tidigare ISI) databas Web of Science består av papers i internationella vetenskapliga tidskrifter. Referenslistorna i varje artikel ligger till för det som kallas citeringar och databasen kopplar ihop referenslistorna med tidigare poster i databasen. Det här görs automatiskt och alltså är det ett script som styr om det blir en koppling till ett paper eller inte. I en referenslista finns ju ofta mycket mer än sådant som är artiklar i ISI-indexerade tidskrifter.

Thomson Reuters kopplingsalgoritm är förhållandevis försiktig och konservativ. Det är klokt eftersom det inte vore bra om citeringar tilldelades hej vilt. Man förlorar cirka 7-8 procent av möjliga kopplingar till följd av denna konservatism.

Felen är till viss del sådant som uppstår i den maskinella avläsningen, men en hel del beror också på att forskarna slarvar med sina referenslistor. Ett litet stavfel på tidskriftsnamnet leder till att det inte blir någon koppling, en borttappad initial i den citerade författarens namn likaså, skriver man fel årtal, volymnummer eller sidnummer blir det också fel. Är man inte petimäteraktigt noggrann kan det alltså bli många missade kopplingar.

I takt med att citeringar blivit allt viktigare är det numera en del av forskningen grundläggande etiska förhållningsregler att man skall vinnlägga som att undvika småfel i referenslistan.

Särskilt viktigt är det här när analyser görs av forskargrupper eller individer. För universitet och liknande bör felen jämna ut sig. Men för enskilda personer påträffar man ibland mängder med missade kopplingar (de syns i Cited Refs) och de skulle sannolikt leda till högre värden för den gruppen och den forskaren.

Vi har i veckan arbetat med citeringskopplingarna för KTH:s RAE och jag har det därför aktuellt. Listan som syns till höger består av typiska fel och är hämtad från
Moed HF & Vriens M i Journal of Information Science 1989 och har även använts av Birger Larsen i en presentation vid nordiska bibliometrikonferensen 2007.

Vi använder numera en kopplingsalgoritm som är mer tillåtande, men vid analyser som innefattar grupper eller individer är det meningen att kopplingarna skall kontrolleras manuellt på samma sätt som vi gjort i veckan . Förhoppningsvis kan vi reducera felen så att det blir cirka 1-2 procent kvar. Det får man ta. En del slarvfel är helt enkelt inte möjliga att korrigera. Bäst vore om vi forskare lite oftare tänkte på akribi!

Seminarium i Uppsala

På tisdag håller jag seminarium på peddan i Uppsala.

Bibliometri - vad, vadan och varthän?

Docent Ulf Sandström, KTH och Linköpings universitet, inleder med utgångspunkt i sin artikel.

Text: Sandström & Hellsten (2007) Persistent Nepotism in Peer-Review. Scientometrics, 74. Wennerås & Wold (1997) Nepotism and Sexism in Peer-Review. Nature, 387.

Kopia kan fås via Ulla.Riis@ped.uu.se

Datum:	08-09-02
Tid:	13-15
Plats:	Ped Seminariet A+B

Storsatsning på svensk forskning

Regeringen och utbildningsminister Jan Björklund (Lars Leijonborg syns i bakgrunden) har slagit till med ett synnerligen positivt besked inför den kommande fyraårsperioden. Svensk FoU får ett tillskott på 15 miljarder under fyraårsperioden framöver vilket innebär en ökning på cirka 4 miljarder om året! Läs mer om detta på regeringens hemsida. Jag är mycket glad för detta, har haft svårt att tro på det. Senast gavs ett negativt besked i dagens SvD där det påstods att Borg skulle sätta käppar i hjulet.

Detta bådar gott eftersom universiteten får pengarna direkt utan att gå över råd och herresäten.

10th INTERNATIONAL CONFERENCE ON SCIENCE AND TECHNOLOGY INDICATORS IN VIENNA 2008

Den tionde internationella konferensen om vetenskaps- och teknikindikatorer går den här gången i Wien. Länken går till konferensprogrammet. Av detta framgår att norrmannen Sivertsen och jag kommer att representera Norden. (Sivertsen verkar vara inbjuden talare). Ser fram emot konferensen där jag presenterar resultat från vår undersökande jämförelse mellan den norska och svenska modellerna för prestationskriterier.

intressant blog

Hittade denna Scholarship 2.0 som jag tycker verkar intressant. Mest om open access.

lewin älskar fakulteterna

Prof Leif Lewin , "medverkar regelbundet på DN-debatt" - jo han presenteras så - skriver i måndagens DN (28/7) om vikten av att återupprätta fakulteterna och deras ansvar för kvaliteten i forskningen. De pengar som regeringen förväntas "satsa" på forskning bör således gå till universiteten och inte till de "föga kompetenta och uselt samordnade forskningsråd". Det ligger en hel del i hans allmänna synpunkter och jag sympatiserar i stort med hans förkärlek för fakulteten som forskningspolitiskt instrument. Hans fräna kritik mot forskningsråden är det också lätt att hålla med om. Men, jag tror att den kritiken också slår mot fakulteterna och mot professorerna. Problemet med fakulteterna är att de inte har kapacitet att utvärdera och studera forskningens utveckling. De blir istället försvarare av gamla positioner. Universiteten får gärna ta över den roll som forskningsråden inte klarat av att utveckla - en framsynsinriktad och offensiv uppföljningsverksamhet som följer med vad som händer på olika forskningsfronter. En sådan uppföljningsverksamhet måste ha ett starkt och tydligt mandat. Och den bör förankras i avancerade metoder för uppföljning, t ex bibliometri.

variety in research

Jag missade en del information som finns i Science i den nu aktuella frågan om huruvida digitalisering av media leder till att forskare citerar från färre artiklar. Denna kontraintuitiva hypotes sammanfattas på följande sätt av Science:

"For every additional year of back issues that a particular journal posted online, Evans found on average 14% fewer distinct citations to that journal, suggesting a convergence on a smaller pool of articles. In other words, as more issues of a journal were posted online, fewer distinct articles from that journal were cited, although there were not necessarily fewer total references to that journal. It suggests herd behavior among authors: A smaller number of articles than in the past are winning the popularity contest, pulling ahead of the pack in citations, even though more articles than ever before are available. The average age of citations also dropped. Valuable papers might "end up getting lost in the archives," says Evans.

Men det finns uppgifter som tyder på det motsatta:

Oddly, "our studies show the opposite," says Carol Tenopir, an information scientist at the University of Tennessee, Knoxville. She and her statistician colleague Donald King of the University of North Carolina, Chapel Hill, have surveyed thousands of scientists over the years for their scholarly reading habits. They found that scientists are reading older articles and reading more broadly--at least one article a year from 23 different journals, compared with 13 journals in the late 1970s. In legal research, too, "people are going further back," says Dana Neacu, head of public services at Columbia University's Law School Library in New York City, who has studied the question". (Science)

Om de senare bygger på uppgifter från forskarna om deras beteende är det naturligtvis inte lika säkra data som Evans mer systematiska uppgifter. Vore intressant att studera vilken roll reviewtidskrifter har för den här utvecklingen.

Gender and Research

Förra veckan tillbringade jag på en konferens i den franska staden Lille på gränsen till Belgien. Där fick jag fick tillfälle att presentera ett pågående arbete: "Gender and Research Quality". Presentationen ligger på min hemsida (gå till dokument). Den organisation som anordnar de sk. ICWES-konferenserna bildades i USA 1964 och består av "Women Engineers and Scientists". En hel del av konferensen ägnas således åt att presentera forskningsresultat som tagits fram inom vitt skilda områden: t ex klimatforskning och energi för att nämna några. Konferensen ägnar en hel del tid åt att diskutera hur man skall kunna attrahera unga kvinnor för science & technology.

Måste medge att det var en speciell känsla att framträda som ensam man inför 250-300 kvinnliga forskare. Det gick bra, mycket bra till och med. Min tanke med presentationen var att visa att det inte finns några systematiska skillnader mellan män och kvinnor med avseende på forskningkvalitet. Genom att koncentrera intresset till närmare 4 000 män och kvinnor vid tre svenska universitet och hårda forskningsområden som teknik, fysik, kemi etc. har det varit möjligt att göra en analys baserad på kön och ämnesområde. Vi jämför alltså män och kvinnor inom samma fält och kan därför avgöra hur det är med såväl produktivitet som kvalitet i forskningen. Huvudbudskapet är detta: männen är mer produktiva, dvs skriver generellt sett fler papers per anställd (fördelen med vår undersökning är att vi har data för alla personer vid universitetet inom tjänstekategorier inriktade mot forskning; såväl de som publicerar under en period som de som inte publicerar). Däremot är det inga skillnader med avseende på fältnormaliserad citeringsgrad. Kvinnorna får samma uppmärksamhet per paper som männen. Grupperna är förhållandevis likartade om vi tittar över ålderskategorier, vilket alltså innebär att män och kvinnor födda 1955-1959 gör bäst resultat. Däremot förefaller det vara skillnad i produktiviteten över ålderskategorier. Ju yngre desto mer produktiv gäller för männen medan för kvinnorna gäller snarare det omvända. Jag hoppas att vi snart kan gå vidare och djupare med dessa analyser.

Internet och diversity in research

På vägen hem från Paris läste jag i The Economist att Internet, som ju snabbt har ökat access (tillgången) till vetenskapliga tidskrifter väsentligt. Nu behöver forskarna inte gå till biblioteket för att beställa fram tidskrifter - de finns omedelbart tillgängliga i datorn. En undersökning, som presenteras i Science, visar att vi inte skall tro på snabba förutsägelser utan att det finns oväntade effekter. "The Internet gives scientists and researchers instant access to an astonishing number of academic journals. So what is the impact of having such a wealth of information at their fingertips? The answer, according to new research released today in the journal Science, is surprising--scholars are actually citing fewer papers in their own work, and the papers they do cite tend to be more recent publications." (Den som vill läsa mer kan gå till denna sida.) Ganska förvånande att urvalet citerade artiklar blir färre med ökad tillgång. En förklaring skulle kunna vara att man nu arbetar med mer relevanta och effektiva citeringar. Som bekant har det varit lite si och så med det på sina håll (läs t ex Interfaces
Vol. 38, No. 2, March–April 2008, pp. 125–139) . Men, som sagt, låt oss inte dra för snabba slutsatser. Det kan också vara som The Economist spekulerar: "One explanation could be that indexing works by titles and authors alone, as happened with printed journals, forced readers to cast at least a cursory glance at work not immediately related to their own—or even that the mere act of flicking through a paper volume may have thrown up unexpected gems. This may have led people to make broader comparisons and to integrate more past results into their research." Sökningar på Internet som tar fram ett stort antal träffar med olika grad av relevans kan föranleda forskare att rationalisera bort det som inte har tillräckligt hög "relevansprocent" och detta leder i sin tur till att mycket av serendipitet och diversitet går förlorad.

fysik och framtid

Tack Magnus för din kommentar till mitt förra inlägg. Att kalla fysik "ett paradigm" är naturligtvis alldeles för slarvigt. Det jag syftade på var en allmänt hållen karakteristik som återfinns i "mode 2"-debatten - att fysik tidigare var modellvetenskap för alla andra vetenskaper men att den rollen nu har gått över till biologi. Läs Gibbons et al The New Production of Knowledge (1994). Jag har egentligen aldrig varit någon anhängare av nämnda Gibbonsbok (mycket av det jag skrivit är explicit och implicit kritik). Vi vet ju att fysikens och kvantteorins metoder har blivit en väsentlig del av det som går under namnet molekylär biologi.

nedläggningar och Linnébidrag

University of Reading lade ner sin fysikinstitution med 18 röster mot 5 (en nedlagd röst) för ett par år sedan. Här är pressmeddelandet. "The Department has an excellent teaching record. The commitment of its staff is admirable. However, a combination of under-funding and limited student demand for basic science nationally has undermined the long-term viability of the Department, in common with that of many other university science departments which have also closed during the past decade." Det blåser andra vindar nu för tiden. Pengar finns att hämta på annat håll för andra uppgifter: "The University remains committed to the sciences in general, and will continue to make a substantial contribution to the Science Base of the UK as a whole. The recent launch of the new Walker Institute for the study of climate change is an example of enhanced investment in a particular scientific activity. The new and successful School of Pharmacy is another." Den som höll i yxan var en sociologiprofessor vid namn Gordon Marshall, vilken lagt ned både det ena och det andra vid Reading: "Gordon Marshall was ultimately responsible for the closure of the University of Reading Music Department in 2004 and Wells Hall in 2006. In both cases reasons of 'economic viability' were cited. Prof. Marshall has been criticised amongst his fellow academics and administrators within the University of Reading for treating students as "Sources of Income" and not individuals. Under his direction the University has been dubbed "University of Reading PLC". In October 2006 he was primarily responsible for the closure of the department of Physics again citing "economic viability"."

[Closures at Reading University: Music - closed 2004; Mechanical engineering - closed 2006; Wells Hall - closed 2006; Geology - closed 2007; Sociology - closed 2008; Physics - closed 2010]

Jag menar inte att det behöver vara fel att lägga ned institutioner. Fysikparadigmet är inte lika användbart nu efter femtio år vid den forskningspolitiska makten, men jag vänder mig mot att det är "under-funding" och "limited demand" som bestämmer inriktningen på den framtida forskningen. Samtidigt finns idag det inga andra mekanismer för att förändra resursfördelning och inriktningar. De forskare som inte är snabba att hänga med i de nya trenderna, de som inte har förmågan att sätta nya etiketter på sin verksamhet, får svårt att hitta resurser.

Det som är intressant med Marshall och hans "nedläggningar" att denna person var ledamot av den övergripande expertgrupp som fördelade Linnébidragen 2006. Han var ledande representant för samhällsvetenskap (sociologi) och humaniora. Marshalls forskning var inriktad på sociala klasser. Valet av denna minst sagt kontroversiella person gick obemärkt förbi i den svenska debatten. Måste säga att det väcker min förvåning.

ranking av universitet II

Engelska HEFCE har nyligen publicerat en ganska ordentlig rapport Counting what is measured or measuring what counts? (67 sidor) om ranking av universitet och utbildningar. Man går igenom några av de i England viktigaste "league tables", bl a THES och Shanghai, och diskuterar detaljerat kring metodfrågor. Man för en initierad diskussion pro et contra. Bl a konstateras följande: "Some of the measures included are poor proxies for the qualities identified. The measures used by the compilers are largely determined by the data available rather than by clear and coherent concepts of, for example, ‘excellence’ or ‘a world class university’. Also the weightings applied do not always seem to have the desired effect on the overall scores for institutions. This brings into question the validity of the overall tables. More attention should be given to developing methodologies that reflect the qualities of institutions identified as desirable by the publishers." Således en tung, men rättvis, kritik.

matematikrapport om citeringar

En grupp matematiker har nyligen publicerat en rapport som gör anspråk på att "reda ut" frågor kring citeringar och citeringsanalyser. Rapporten är tyvärr en stor besvikelse.
Det är visserligen bra att olika grupperingar klargör vad man kan göra med citeringsdata och vad man bör vara försiktig med. Inga direkta fel i rapporten, förutom att man inte stavar rätt till Thomson (man skriver Thompson). Men det man uppehåller sig vid och som man är kritisk till är sådant som det bibliometriska samfundet klargjorde för tio-femton år sedan. Per O Seglens artiklar om varför man inte skall använda Journal Impact Factor vid utvärderingar av grupper är exempel på sådan gammal skåpmat som man hänvisar till. Jag har själv lagt mycket tid på att försöka förklara att journal impact factor inte är användbar för att avgöra prestationers eventuella höjd. Således inget särskilt nytt i rapporten.
Allvarligare är att rapporten ger sken av att behandla hela frågan om citeringsanalyser och deras användbarhet. Det faktum att varken Leuven- eller Leidengrupperna nämns och citeras i rapporten säger en hel om denna svaghet. Hela idén med bibliometri idag är att avvisa absoluta tal och använda relativa. Detta har varit på tapeten sedan slutet av 1980-talet och ignoransen i matematikrapporten är hårresande på den punkten. Man nämner inte namn som van Raan, Moed eller Glänzel. Orsaken till detta kan vara att rådgivarna till dessa matematiker sannolikt har varit bibliotekarier som arbetar med ett perspektiv på bibliometri som är insnävat och med kort horisont. Man resonerar som om det de (bibliotekarier) kan göra med citeringar är det enda som kan åstadkommas överhuvudtaget. Leiden- och Leuven-grupperna har tillgång till hela Web of Science och kan därför arbeta med internationella referensvärden och citeringskvoter. Något annat duger inte idag för den som vill utföra avancerade bibliometriska analyser.
Många har blivit mäkta upprörda över den här rapporten, vilket framgår av inlägg på Sigmetrics. Mest för dess underlåtenhet att beskriva och nämna nya och relativa bibliometriska mått som fältnormaliserad citeringsgrad, standard citation score (ett mått som är från 1983!). Leiden-gruppens metodinriktade rapport till HEFCE kan anföras som ett fint exempel på läget vid fronten idag. Vår rapport Resurser för citeringar gör en uppsummering på svenska.

tidskrifter och makroklasser

På min hemsida www.forskningspolitik.se finns nu ett dokument som visar hur vi har makroklassat de 6920 Web of Science tidskrifter (och serials) som är aktuella under perioden 2003-2006. Denna klassning bygger på en klustring som gjorts med intercitations, dvs. tidskrifter kopplas ihop på deras ömsesidiga citeringar. För att undgå att koppla samman grundforskningstidskrifter och tillämpade tidskifter har vi valt att låta kopplingen bestämmas av den lägsta frekvensen i relationen.

Borde kanske vara tydligare med detta men hinner inte just nu. Hoppas att ni som undrar tar tillfället att skriva och fråga.

utredningen om forskningsmyndigheter

Den som är intresserad av att ta del av remissinstansernas reaktioner på den Sandströmska utredningen "Forskningsfinansiering - kvalitet och relevans" (SOU 2008:30) kan gå till Vinnovas sida för ändamålet. Den innehåller ett stort antal remissvar. Så gott som alla avstyrker utredningens huvudsförslag (att slå samman allt till en kökkenmödding). Detta tyder på en viss konservatism eller möjligen klokskap ute i landet. Många anser att utredningen är ganska så slafsig, mena att den är dåligt underbyggd och att utredningen haft alldeles för lite tid. Det är ett allmänt problem med vårt nuvarande utredningsväsende. Politiken ändras snabbt och utredningarna skall gå ännu mycket snabbare.

Min egen personliga synpunkt är ännu inte riktigt formad. Jag kommer att läsa Technopolis remissvar med stort intresse. Det är ett engelskt-europeiskt konsultbolag som arbetar på det forskningspolitiska området. Gör många utvärderingar och rapporter åt Vinnova och har ett innovationspolitiskt perspektiv. Technopolis organiserade också den stora utvärderingen av Norges forskningsråd, vilket ju har en köökenmöddingmodell, och därför kan deras remissvar vara av särskilt stort intresse.

Vetenskapsrådet är ju den myndighet som får utstå det mesta av kritiken. Personligen är jag böjd att hålla med om en hel del av de kritiska synpunkterna, men jag tycker att de måste underbyggas mer systematiskt. Peer review-systemet är konservativt och måste för att fungera kombineras med aktiva forskningssekreterare ungefär som man har det i NSF och NIH. VR har beredningskommittéer som i mångt och mycket har behållit sin traditionellt disciplinära inriktning trots att forskningslanskapet radikalt har förändrats (även i terminologin som följer SCBs forskningsämnen från början av 1990-talet!) . Nu senast när jag söke medel från VR var det svårt att hitta ämnen som passade min ansökan.

En annan sak som blivit tydlig för mig är att den uppstramning mot peer review, som myndighetesreformen år 2000 innebar, inte har medfört en kvalitetsförbättring av det slag som var förväntat. Sverige går kräftgång i citeringsligan. Se t ex sid 37 i vår rapport Resurser för citeringar. Figuren visar fältnormaliserad citeringsgrad med tvåårigt citeringsfönster under perioden 1998-2005. Sverige går tillbaka under hela perioden och är nu nere i nivå med Norge.

Myten om den svenska paradoxen - att vi skulle ha stark forskning men svag innovationsverksamhet - måste tillbakavisas. Svensk forskning är inte alls särskilt stark. Vi ligger ungefär 20 procentenheter lägre än Danmarks forskning.

matematisk statistik

Våra arbeten för resursutredningen och rapporten Resurser för citeringar bygger i stor utsträckning på en metodik som också kan användas för analys av författarproduktivitet. Metoden går i sin tur tillbaka till egenskaper som upptäcktes av den berömda engelska matematikern Edward Waring (verksam under 1700-talet och känd för sina ofta oläsliga anteckningar på Latin). Professor Timo Koski vid KTHs avdelning för matematisk statistik höll för ett par veckor sedan ett seminarium om Waringdistributioner och deras matematik.
Distributionerna innefattar bland mycket annat egenskaper som kan beskrivas i termer av "success breads success". Dvs. cumulative advantage, vilket är ett av forskningens allmänna kännetecken. Sedermera blev jag blev inbjuden att hålla ett seminarium om tillämpningar av Waringfördelningar på universitets- och institutionsnivå. Det var första gången jag hade förmånen att framträda inför ett gäng matematiker och det blev ett givande samtal och en bra diskussion. Gruppen är väl införstådda med tillvägagångssättet och det gjorde det lätt att förklara våra tillämpningar. Poängen med att införa produktivitetsaspekten är att citeringsgrad inte riktigt räcker för att avgöra om en grupp eller en institution har bra prestationer. Eftersom citeringsgraden är ett medelvärde är det viktigt att komplettera med ett fältjusterat produktionstal. Universiteten behöver upprätthålla en hög artikelproduktion och grupper som presterar färre artiklar än sina kolleger behöver stimuleras att öka sin produktion.

Saxat ur Bråket nr 22 5 juni 2008:
Må 06–09 kl. 15.15. Seminarium i matematisk statistik. Ulf Sandström, ISAK, Linköpings universitet, och Industriell dynamik, KTH: Waring-distributioner: tilllämpningar på svenska universitet och institutioner. Seminarierum 3733, Institutionen för matematik, KTH, Lindstedtsvägen 25, plan 7.

Resurser för citeringar

Idag publicerar Högskoleverket rapporten Resurser för citeringar (Högskoleverkets Rapportserie 2008:18 R) som jag haft förmånen att få vara medförfattare till. I rapporten tar vi tag i frågan att jämföra olika modeller. Det är den norska publiceringsmodellen som jämförs med den modell som vi presenterade i Resursutredningen, den s k Waringmodellen.

Rapporten består av två undersökningar. Den första använder sex publikationsdatabaser som byggts upp vid universiteten. Det rör sig om närmare 40,000 publikationer vid dessa sex universitet (UmU, SLU, UU, LiU, GU och Chalmers). Analysen visar att det inte är nämnvärda skillnader mellan modellerna när det gäller att få fram antalet publiceringar, men den svenska modellen har den fördelen att den dessutomn använder citeringar.

En närmare analys på basis av fyra norska universitet visar att den svenska modellen ser ut att fungera bättre än den norska när det gäller fördelning mellan fakulteter.

trender i publiceringsbeteendet

Svein Kyvik, verksam vid NIFU STEP i Norge, har under lång tid samlat på sig information om publiceringsbeteendet bland företrädare för olika discipliner. Genom enkäter till ett tusental akademiker från alla fakulteter har han sedan början av 1980-talet god koll på vad som händer och hur trenderna ser ut. Han har gjort tre nedslag: 1979-81, 1989-1991 och 1998-2000. I en artikel i Scientometrics Vol. 58, No. 1 (2003) 35-48 skriver han om de långa trenderna och tabellen här bredvid (klicka på den för se den i större format) visar att artiklar i vetenskapliga tidskrifter intar en allt mera central ställning i alla discipliner, inklusive de humanistiska och samhällsvetenskapliga områdena. Alltfler skriver på engelska och alltfler samarbetar såväl internationellt som nationellt.

socialdemokratisk forskningspolitik

Den här statistiken publicerades 2005 i norsk St Meld 20 Vilje till forskning (s. 19). Den minner oss om glansperioden i början av detta millennium med ständigt ökade offentliga medel till forskningen. Mot slutet av regeringsperioden avtog viljan att öka på resurserna och just den politiken övertogs av den borgerliga regeringen. Den senare påtog sig även uppgiften att slå sönder forskningsmiljöer, som t ex Arbetslivsinstitutet, vilka presterade forskning av världsklass.

För politiker gäller: Snacka går ju. Handla är desto svårare. Vågar vi tro på en borgerlig rehabilititering och en ny tro på forskning. Det får vi veta i den kommande forskningspropositionen. Kanske till våren?

research trends och incentives

Scopus har ett litet blad med informativa uppsatser, mestadels kring bibliometriska frågor. I senaste numret är det Henk Moed (CSTW Leiden) som skriver om The effects of bibliometric indicators on research evaluation med erfarenheter från den engelska RAE. Precis som Linda Butler påpekade i sin numera klassiska artikel i Nature: The choice of performance indicators sends a powerful message to those being evaluated, and when those measures are linked to the distribution of research funds, academics are quick to respond. (NATURE VOL 419 31 OCTOBER 2002) finner Moed samma förmåga hos forskarkåren att kvickt anpassa sig till villkoren. Jag vet faktiskt inte vad man skall dra för slutsatser av det. Forskare är rationella, och det är definitivt ingen nyhet. Det gör dock att statsmakter måste vara försiktiga när de planerar att införa "incentives for publications". I Australien fick man betalt för ISI-publiceringar och det ledde till allt fler artiklar i tidskrifter med låg impact. Incentivforskare i Norge har påpekat att det möjligen finns samma problem med den norska modellen: "Publikasjonspoengsystemet som det framstår i dag kan gi alvorlige feilinsentiver ", skriver Vagstad i rapporten. Anledningen är att systemet uppmuntar "til masseproduksjon av forskningsartikler, mens insentivene til svært høy kvalitet er svake".
Rapporten gör också en annan iakttagelse (dock bara i förbigående i en not):
Symbolkampen om nivå 2-status for Historisk Tidsskrift vant fram – og det fins nå en rekke tidsskrifter med nasjonalt eller skandinavisk nedslagsfelt som gir samme uttelling som publikasjoner i Science and Nature. I forhold til det opprinnelige forslaget ble uttellingen for tidsskriftspublikasjoner i de beste tidsskriftene redusert kraftig, hvilket jo betyr at all annen type publisering ble oppvurdert (s. 35)
Man kan alltså säga att det pågått en kamp i UHRs publikationsutskott där humanisterna gått segrande ur striden. Deras armbågar var vassare än andras och deras krav var hårdare ställda. Det är den typen av problem man hamnar i om man överlåter frågorna om klassning av tidskrifter och förlag till professionerna själva. Jag har, som bekant, ett annat förslag: utgå från en förteckning av tidskrifter som bestäms av oberoende organisation och se till att använda hänvisningar till artiklar som indikator på uppmärksamhet (vilket är så nära vi kan komma det slippery concept of research quality).

Sovjetsystemet till Sverige?

Den sandströmska utredningen om forskningens organisation har lagt sitt betänkande. Man föreslår ett monolitiskt system för forskningsråden. Utredaren, generaldirektor Madelene Sandström, har lagt ett förslag som innebär att en ny Forsknings- och innovationsmyndighet skall innehålla fyra forskarstyrda forskningsråd med inriktning mot teknik och naturvetenskap, hälsa och medicin, klimat, miljö och jordbruk samt samhälle och kultur. Inom sig ska de samla alla finansieringsformer! Råden ska hållas samman av en central myndighetsorganisation som ska ansvara för den övergripande forskningspolitiken. Tanken är att undvika uppdelningen mellan grund- och tillämpad forskning.

Alltså en norsk modell som Norge slitit med i många år. Jag kommer att tänka på en synpunkt som professor Francis Sejersted vid Oslo universitet, känd från Nobelutdelningarna, framlade för några år sedan i Forskerforum i en artikel med rubriken "Den siste sovjetstaten": - Vi har et monolittisk system i Norge der tette og enhetlige miljøer bestemmer hvor pengene skal gå. Skal du drive grunnforskning innen humaniora, har du i praksis bare ett sted å gå for å skaffe penger, og det er til Forskningsrådet. Det tror jeg er uheldig, både for forskerne og for forskningen, sier Sejersted.

Sejersted fortsätter på sitt vanliga oefterhärmliga vis: Problemet er at systemet - skapt for å være kontrollerbart og styrbart - kan vise seg å være svært kostbart. Det kan rett og slett vise seg å være lite egnet til å fremme nyskapning. - Jeg tror det nyskapende elementet trives bedre i et differensiert system, sier Sejersted. Som har en kjepphest han gjerne rir: - Det blir ikke fri forskning av at bevilgningene styres av ens kolleger. Å hevde dette, baserer seg på en dyp misforståelse. Fri forskning handler om den enkelte forskers frihet - og den ivaretas bedre av et differensiert system enn ved at ens kolleger skal bestemme hva man får penger til gjennom et monolittisk system.

Det finns anledning att tänka över Sejerstads ord i dessa dagar där en del forskare till och med vill att Vetenskapsrådet skall ta makten över fakultetsmedlen.

Länk till artiklen här: http://www.forskerforbundet.no/Nyheter/Arkiv-Forskerforum/2001/13502/13506/

Uttrycket "Norge är den sista Sovjetstaten" eller "Norrmännen är den sista sovjetstaten" myntades av näringsminister Björn Rosengren (s) 1999 i samband med förhandlingarna om Telenor.

naiv tilltro till Open Access

I Norge har man en mer nyansrik debatt än vad som förekommer här i Sverige. I nättidningen På höjden hittar jag följande kloka uttalande:

Det er naivt å argumentere ensidig for å tilgjengeliggjøre forskning gjennom open access, dersom vi glemmer kvalitetssikringen som kommer gjennom fagfellevurderingen, sier professor Roland Jonsson. Han rykker ut til forsvar for forlagsgiganten Blackwell. – Vi har mye å takke dem for, sier Jonsson.

Läs vidare genom att klicka på denna länk:
http://nyheter.uib.no/?modus=vis_nyhet&id=36080

DN-debatt kommenterar statsvetaruppsatsen

DN-debattredaktören Mats Bergstrand kommenterar idag mitt bidrag till Statsvetenskaplig tidskrift 4/2007. Det är en mycket bra sammanfattning av min studie. Självklart måste man ta med i beräkningen att många statsvetare publicerar böcker och antologibidrag och även har en del publiceringar i tidskrifter som inte indexeras av ISI. Metoder för att göra sådana undersökningar finns väl utvecklade och de har tillämpats i ett flertal undersökningar. Jag skall snart lägga ut en metodstudie från en svensk hum-sam fakultet där olika bibliometriska metoder jämförs och läggs samman.

Brändström premierar banbrytande forskning

På ett allmänt plan delar jag flera av Sharon Riders farhågor (se Tvärsnitt 1/2008) och tycker att det behövs mer av debatt och undersökning kring dessa frågor. Vi vet till exempel alldeles för litet om hur lärosätenas forskningspolitiska makt idag fungerar och hur resurser används. Det vore önskvärt att vi hade tillgång till studier av hur det är idag för att kunna jämföra med det som eventuellt blir resultatet av Brändströms förslag.
Trots denna brist går det att teoretiskt spekulera kring hur universitetsledningar kommer att resonera i framtiden. Du, Sharon, tror att det blir nyckfulla och tillfällighetsbetonade beslut. Jag skulle säga att vi vet mycket litet om hur ledningarnas eventuella opportunism och vänskapskorruption ser ut idag. Det vore viktigt att ta reda på. Och jag vill hävda att vi i framtiden, med ett system som det brändströmska, kommer att få strategiska universitetsledningar som eftersträvar stöd i breda former till många olika forskningslinjer. Det är nämligen den enda rimliga effekten av Resursutredningens förslag, åtminstone så länge vi förutsätter någorlunda rationellt handlande.
Hur kan jag hävda en så godtrogen tanke? Nyckelfrågan gäller Resursutredningens hävdande av citeringsgraden som fördelningsfaktor. Man premieras för forskningsinsatser utöver det vanliga och förlorar om man hetspublicerar artiklar som inte uppmärksammas av kollegerna. I all sin enkelhet är detta centralpunkten i förslaget.
Sharon, jag tror att du har missat denna poäng i utredningen. Flera av dina resonemang följer av att du hävdar att man skall publicera i vissa tidskrifter ”i ett högt tempo”. Det finns inga rimliga skäl till att de svenska forskarna skulle reagera på signalerna om ökat fokus på citeringsgraden genom att öka antalet publiceringar. I stället bör forskarna vårda sina empiriska resultat, kvalitetssäkra dem genom så avancerade metoder som möjligt och presentera dem i teoretiska förklaringsmodeller som gör det intressant för internationella kolleger att referera resultaten.

Utredningen har presenterat en modell för detta som bygger på en indelning av forskningen i tjugotre stora områden. Varje sådant område har sina specifika produktionsförhållanden. Produktionen från psykologer i Uppsala jämförs med normalproduktionen för psykologer i hela Norden. Likaså för humanister, samhällsvetare, ingenjörer, fysiker etc. Produktionstalet ger bottenplatta som – om man har normal produktivitet – kommer att motsvara antalet forskare. I de flesta fall skiljer sig inte detta nämnvärt mellan universitet, men däremot, eftersom man multiplicerar produktion och citeringsgrad, väger citeringarna tungt och detta gör skillnad.
Citeringarna fältnormaliseras, dvs. på samma sätt som för beräkningen av normalproduktion så jämför man citeringsgraden inom cirka 250 forskningsfält. En uppmärksammad och flitigt använd forskargrupp i Uppsala får således en bra citeringskvot och bidrar på det sättet till att lärosätet får ett högt värde och en högre tilldelning från resurssystemet.
Universitetsledningar måste anpassa sina strategier till detta och genom de informationssystem som blir tillgängliga får de reda på vilka grupper som lyckas bra och vilka som skulle behöva förbättra sig. Förståndiga universitetsledningar inser att alla grupper och enskilda forskare inte kan producera toppresultat hela tiden. Det kommer att gå upp och ned för många grupper och det kommer att krävas is i magen från ledningarnas sida. Portföljen av forskningslinjer måste vara bred och diversifierad för att universitetet skall kunna hämta hem ”citeringsvinster” när tillfälle ges. Enda chansen att öka sina möjligheter är att se till att så många grupper, och individer som möjligt har de allra bästa förutsättningarna att delta vid den internationella forskningsfronten.
Vad universitetsledningar kan göra är att skapa maximalt gynnsamma villkor för sina forskare. Genom att öka internationaliseringen, genom att stimulera till forskarutbyte över gränserna, genom att vara noggranna med rekryteringar och liknande kan de bli mer konkurrenskraftiga i kampen om basresurser. Eftersom det är frågan om långsiktiga processer kommer det att ställa krav på ledningarna. Snabba och opportunistiska åtgärder lär skapa osäkerhet bland forskarna och leder ofelbart till successivt sämre resultat.
Universiteten som organisationer har mycket att vinna på att stimulera tvärvetenskapliga möjligheter eftersom banbrytande forskning inte sällan uppstår i gränsområden. Ledningarna kan i bästa fall kombinera sina två roller: trädgårdsmästare och entreprenör. Självklart behövs nyskapande verksamhet som ger resultat först på lång sikt. Därför kan universiteten behöva utveckla sin kompetens när det gäller vetenskaplig och teknisk framsyn.
Det är lätt att förstå forskarnas skepsis mot bibliometriska mätmetoder. Många gånger har raka citeringsdata använts på tveksamt sätt och det har lett till denna misstro. Prestationssystem finns i flera länder och många står på tur att etablera mer eller mindre genomtänkta system. Analyser av den engelska RAE-modellen (H.F. Moed i Scientometrics 2008) visar att forskarna varit följsamma till de krav som implicerats. När antalet publiceringar räknas ökar forskarna på produktionen, ofta i sämre tidskrifter. Mer sofistikerade metoder som fältnormaliserad citeringsgrad är däremot svåra att manipulera.
Citeringsgrad och fältjusterad produktion är ett nytt sätt att hantera frågan om prestationer. Man kan förstå att det medför kritiska invändningar. Debatten i dessa frågor är i högsta grad välkommen och mycket vore vunnet om vi kunde få en kvalificerad diskussion kring universitetens framtidsfrågor.
Forskare är ”utvärderade djur”. En del hävdar att det är nog nu, att det räcker med utvärderingar. Samtidigt tror jag att många välkomnar de mer objektiva metoder som bibliometrin erbjuder. Peer review har många fördelar, men går inte att upprepa och ger universitetsledningar ett underlag som har stora svagheter. Synfältet hos utvärderarna kan vara begränsat av olika bias: mot kön, status, forskningsområde etc. Fördelen med citeringsanalyser är att det är hela forskarsamhällets samlade verksamhet som ligger till grund för värderingen.
I takt med att debatten fortgår hoppas jag att fokus också riktas mot våra vanliga utvärderingsinstrument. Hur tillförlitliga är kollegiala bedömningar? Resultat från undersökningar (Aksnes & Taxt Research Evaluation 2004) tyder på svaga korrelationer mellan ex post peer review och bibliometri. I en undersökning publicerad i februarinumret av Scientometrics (Sandström & Hällsten 2008) påvisas att ämnesrådet för medicin inom VR har problem med nepotism, dvs. att jäviga beredningsgruppsledamöter påverkar resultaten. Är det något som vi borde debattera i Sverige är det sammansättningen av våra beredningsgrupper. Borde det inte finnas möjligheter att i högre grad internationalisera bedömningsprocessen?
Sharon, du påpekar också faran för byråkratisering genom den intermediär som Brändström har föreslagit. I mina ögon är det en liten sak att vi skulle få en myndighet för att sköta statsanslagen. Det vore betydligt farligare med den maktkoncentration som skulle bli följden om Vetenskapsrådet fick utgöra alternativet. Principerna bakom systemet med ”dual funding” är värda att vårda och bevara. Om Vetenskapsrådets fördelning blev riktgivande också för statsanslagen skulle ledamöterna i beredningsgrupperna reduceras till universitetens förlängda armar (se Sverker Gustavssons artiklar, jfr. Ulf Sandström 1997). Detta vore förödande för hela idén om fristående och oberoende bedömning av forskningsfrågeställningar. Redan det förhållandet att jävet spelar roll är bekymmer nog.

synpunkt på Sharon Rider i Tvärsnitt

Inget är lättare än att förhålla sig kritiskt till bibliometri för att "mäta forskning". Man kritiserar bibliometrin i samma andetag som man förhåller sig kritisk till forskningens kommersialisering, till en allmän andefattighet i samhället och så vidare. På kritikerna ställs dock inga krav på att komma med positiva förslag som kan lösa det problem vi står inför.

Okej, jag är störd, men det är väldigt störande att ingen av debattörerna verkar ha satt sig in i spörsmålet. Vilket är spörsmålet? Jo, jag syftar på forskningens heterogenitet, dvs. att forskningen är så mångfacetterad, så oerhört olika, så skilda världar. Vi har tagit denna fråga på största möjliga allvar. Vi har vridit och vänt på den frågan. Vi har tidvis jobbat dag och natt. Vi har föreslagit en modell som faktiskt ger rättvisa åt humanisterna. Jag hävdar att så är fallet. Humanister tjänar på Resursutredningens bibliometri!

Men en del svenska forskare (främst humanistiska) och inte så få forskningsbyråkrater tar lätt på frågan. De tycker inte om bibliometri, de känner att det kanske inte fångar in forskningens alla dimensioner. De tycker att det är dåligt att mäta forskning med kvantitativa metoder även om dessa metoder säger sig fånga in kvaliteter.

Ungefär så känner jag inför Sharon Riders, filosofidocent från Uppsala, när hon skriver inlägg i Tvärsnitt. Inlägget med min och Th. Kaiserfelds kommentar finns här.

I morgon tänkte jag publicera hela mitt svar till Rider, Tvärsnitt publicerar nämligen endast en bråkdel.

debattinlägg i Universitetsläraren

Efter långt om länge tog jag mig samman och skrev ett svar till den debattkritik som förekommit i Universitetsläraren. Det har ju inte blivit mycket till debatt kring Resursutredningen och dess bibliometriska ansats. Kritikerna talar inte ut i debatten utan man får höra desto om vad universiteten enas om eller inte enas om i korridorerna och "man to man". Det här är vad jag fann värt att skriva om inläggenpå mycket litet utrymme i Universitetsläraren:

Kollegial bedömning utgör – genom forskares ansökningar till råd, myndigheter och stiftelser – ett väsentligt inslag i den svenska högskolan. Det är ett bra system för att rangordna projektförslag och för att stimlera till nyskapande. Dock finns två svagheter om vi ser till möjligheterna att fördela basanslag. Den första är att peer review är svårt att upprepa, ett resultat i en runda förra året går inte att jämföra med resultatet från i år. Den andra svagheten är att forskningsområden inte är jämförbara eftersom höga betyg inom område A inte kan jämföras med medelmåttiga betyg inom område B.
Sett till antalet bedömningar och utvärderingar borde Sverige ha världens bästa forskning. Detta till trots brukar Vetenskapsrådet, åtminstone när man äskar pengar, hänvisa till att svensk forskning går sämre och sämre. Mätt med citeringar. Det finns alltså behov av en korrigerande faktor och mer av incitament till goda prestationer. Staten behöver ett prestationssystem för att kontrollera att FoU-systemet fungerar tillfredsställande. Nyare bibliometrisk forskning klarar att göra adekvata jämförelser mellan forskningsområden. Metoden kallas fältnormalisering och finns beskriven i Resursutredningen. Fördelen är att resultat kan jämföras över tid. Bland annat av det skälet diskuteras idag en övergång till ett metrikbaserat system även i England som länge haft peer review som grund för sin RAE.
EN NACKDEL ÄR ATT prestationssystem har visat sig öppna för manipulation, vilket framgår av erfarenheterna från England och Australien. Därför bygger förslaget i Resursutredningen på en kombination av fältjusterad produktion (antal artiklar) och fältnormaliserade citeringar. Många av inläggen i debatten missar denna väsentliga poäng (till exempel Norlander i Universitetsläraren 20/2007). Även om betänkandet kallar indikatorn för ”citeringar” ligger antalet artiklar med som en bottenplatta och fältnormeras i relation till normalproduktionen per författare i Norden inom tjugotre områden. Av detta skäl kommer samhällsvetarnas produktion av artiklar att jämföras med samhällsvetarna i Norden och så vidare. Tvärtemot vad Johnson och Svensson hävdar (1/2008) kommer ett sådant system inte att missgynna samhällsvetare och humanister.
Nordstrand (19/2007) är oklar på denna viktiga punkt. Han hävdar att det på ett enkelt sätt går ”publicera smart” framför att forska bra. Men kombinationen av att mäta både publiceringar och citeringar gör att respektive forskargrupp, för att bidra eller öka universitetets basresurser, måste upprätthålla sin normala produktionstakt och placera artiklar i de tidskrifter där man ökar möjligheterna att bli citerad.
NORDSTRAND NÄMNER ATT vi i utredningsbilagans appendix tar upp problemen med datafångsten. Läkarna vid universitetssjukhusen uppger ibland universitetsadressen och ibland sjukhusets adress. Detta utgör dock inget allvarligt hinder för att ta fram ett korrekt underlag. Dels kan vi matcha författarnamnen mot personaldata och på sikt, så snart systemet är igång, kommer problemet att vara undanröjt med automatik. I länder med prestationssystem uppger forskarna rätt adress.
En tråkig sida av debatten är det antiintellektuella inslaget. Nordstrand kallar vårt arbete ”matematiskt statistikfyrverkeri” och påstår att vi inte ser problemen med korrekta underlag. Det sistnämnda är felaktigt vilket var och en kan kontrollera i utredningen. Det faktum att vi använder vetenskapliga metoder ser vi heller ingen anledning att be om ursäkt för.
Avslutningsvis, till Nordstrand, författare i slutet av alfabetet kommer inte att missgynnas. För det första är det endast i liten utsträckning så att författarordningen är alfabetisk, för det andra använder vi även reprint author, det vill säga den ansvariga forskarens namn och adress, för det tredje är detta inte något som påverkar på universitetsnivå. Dessutom, vilket Nordstrand missar, räknar vi citeringsgraden för alla artiklar där ett universitet förekommer, oberoende av författarordningen. Detta för att inte missgynna stora forskningssamarbeten. Således tillgodogörs universiteten alla citeringar på sina artiklar. Brändströms förslag innebär att resurserna ska gå till universiteten, vilka sedan fördelar dem till institutioner och forskargrupper. Detta ställer, som Fritzell påpekar (20/2007), stora krav på långsiktighet i handlandet. Jag är inte alls säker på att den strategiska förmågan hos universiteten verkligen saknas. ”The proof of the pudding is the eating”, brukar man säga och jag för min del är beredd att ge universiteten det fulla ansvaret.

unga mexikaner

Karriärfrågorna diskuterades i Uppsala härförleden och Universitetsläraren har ett fylligt reportage från debatten undertecknat M-L Samuelsson. Jag saxar:

"– Vi behöver ett tydligt karriärsystem, unga forskare är som mexikaner i Kalifornien, vi behövs, men är osynliga och kan kastas ut när som helst, sade Åsa Fex Svenningsen.
– Osäkerheten för unga forskare gäller också betydligt mer etablerade forskare, påpekade Lars Rask.
– Det är väldigt obehagligt också för halvgamla, framgångsrika professorer att veta att man kan få sparken om man inte drar in tillräckligt med externa anslag."

Mitt intryck av artikeln är att debatten ändå inte riktigt fångade systemfelen i dagens forskningspolitik. Möjligen beroende på att det som skulle debatteras var SOU-utredningen Karriär för kvalitet. Många vill hävda att hela karriärfrågan kompliceras av att vi fått ett finansieringssystem som i väldigt stor uträckning är inriktat på att ge stöd till 50-60 åriga forskare som bygger stora hov omkring sig. Stora ekar som gör det omöjligt för de unga forskarna att växa till sig och bli självständiga forskare. Karriärsystemet har stor betydelse för detta genom att vi fått en allt stelare befattningsstruktur - professorsreformen var spiken i kistan. Nu står det still. Det är, av allt att döma, ett allvarligt hot mot förnyelsen i svensk forskning.

methodological question - help needed

We are trying to find a method for producing relevant productivity measures for different fields of research. When we talk about field factors we look for a method that considers the different conditions of production, different journal sets, different acceptance behavior from journals, different standards, and all factors that should be included in an explanation as to why chemistry produces more papers per researcher than engineering and math researchers. For this we need to classify articles into different normalization groups. One strategy would, of course, be to use the ISI subject codes, but we are not content with that. Firstly, we need aggregate groups, secondly, in our understanding ISI subject categories is not a perfect way of organizing scientific fields into macro classes. The subject codes might be good for bibliograhical reasons, but not for this type of bibliometrics and the critique against subject categories have been discussed on this list several times.
Instead, we were thinking about using bibliographic coupling in order to achieve distinct groups of fields through a clustering method. But, would we get a result that took the different conditions into consideration with a method of that type? Our answer would be no to that question. There are different branches of science, basic and applied, that refers to more or less the same references but the authors live in very different social practices and different conditions for productivity. This goes for citations as well so co-citations will not solve the problem.
Our question is therefore, how to produce significant groups (fields) for normalization of productivity?
We propose a new method and we invite colleagues to discuss the different stages of our method and other problems related to the method. The main point in the method is that we cluster journals according to the behavior of researchers publishing in these journals. From this follows that we have the idea that researchers from different conditions of productivity to a large extent uses different journals.
First, we use the Nordic countries as a reference base for publication productivity at Swedish universities. We start by unification of address data in Web of Science downloads for all Nordic universities during a four year period (2003-2006). Next, we perform a unification of author names at all Nordic universities (54,000 unique names). We have to do this because otherwise it would be hard to count publications per author as people move around and are at different universities and research institutes (and companies) during the period. The author data is then used as a basis for a clustering procedure where the clusters are made out of links between journals according to the behavior of the Nordic authors. If the same author publishes in two different journals a connection between the journals is established. We use a variation of the clustering method proposed by Boyack & Klavans in their Madrid ISSI conference paper 2007. Accordingly, we use the links between journals as input in VxOrd to produce coordinates. The clustering is performed with co-ordinates as variable. We use a cosinus normalization for degree of linkage.
One problem is the fact that all journals do not have links. Those journals that do not have at least 2 links to 2 other journals are taken out of the clustering procedure. Around 2,500 journals out of 6,000 are taken out, but these only count for 10 % of the articles. We also take away the 80 most linked journals and put them into the clustering procedure at the last stage. So, we perform the clustering in two rounds and receive approx. 130 cluster and at that stage we put in the 80 big journals and in the last clustering we receive about 50 clusters. Lastly, we manually put in the missing 2,500 journals in a manual procedure based on subject category.

We were wondering if there are any viable alternatives to this methodology or another strategy to achieve clusters (fields) of research communities based on conditions for productivity?

If anyone would like to have more substance to this question we have an article Sandstrom, Ulf & Sandstrom, Erik (2007) "A metric for academic performance applied to Australian universities 2001-2004" at the E-LIS archive:http://eprints.rclis.org/. (ID-code: 11776)
It should be underlined that in paper we followed a different strategy for clustering of papers compared to the one we propose above. In the paper we used the author behavior over ISI subject codes as ground for clustering.
The article is a methodological attempt to show that all necessary information on publication output from universities is already available from the Web of Science. By using what could be called an iceberg methodology we develop productivity figures per university and combines that with field normalized citations rates. The result is a "size-dependent" indicator for universities in a specific country. In order to use the proposed method you will have to decide on a reference base for the country in focus; for Sweden we used the Nordic countries. The method was developed for Sweden and is presented within the recently issued governmental white paper on competitive funding or formula-based block-grants (see http://regeringen.se/content/1/c6/09/13/39/89f63bda.pdf at page 21-28). Just as an illustration, in this article, we apply the method to Australian universities.
ABSTRACT:
In a series of papers, published during second half of the 1980s, the Budapest group (Braun, Glänzel, Telcs and Schubert) proposed that bibliometric distributions are to be characterized as Waring distributions. We use their methodology in order to establish a reference value for academic production within macro classes. From this we develop a combined performance model for academic research and apply the model to Australian research. This model take advantage of, first, field normalized publication rates (the productivity dimension) and, second, field normalized citation rates (the quality dimension). Based on ISI-data the performance of Australian universities is depicted in a more resource-efficient way than other models.

KEYWORDS: performance based funding; formula-based funding, generalized waring distributions; bibliometrics

en fältfaktor för forskningsproduktivitet

I förarbetena till det som senare blev den norska publiceringsmodellens huvuddokument Vekt på forskning talades flera gånger om behovet av en fältfaktor. Anledningen var den självklara insikten att det inte var möjlligt att jämföra över fakultetsgränserna utan att ta hänsyn till skillnaderna i arbetsinsats. Detta stod klart för den arbetsgrupp som 1 juli 2003 presenterade utredningen Dokumentasjon av vitenskapelige publikasjoner: "Det er store forskjeller i publikasjonstradisjoner mellom fag, ikke bare mellom medisinsk-naturvitenskapelige og humanistisk-samfunnsvitenskapelige fag, men også innen disse fagområder. Forskjellene gjenspeiler på mange måter fagenes utvikling, trender innen forskning og publisering, både nasjonale og internasjonale." (se avsnittet 3.1.1).

Man tänkte sig att det ändå vore möjligt att eliminera och utjämna dessa skillnader:

"En måte å eliminere mange av disse problemene på er å søke å etablere en internasjonal standard for publisering innen de enkelte fag og så sammenligne våre norske miljøer med en slik standard. ”Hvor mange publikasjoner av forskjellig type har et norsk fagmiljø i forhold til hva det i gjennomsnitt produseres ved europeiske universiteter innen faget.” Med en slik benchmarking, ”feltfaktor” kan man kunne foreta en sammenligning med sine fagfeller, i egen publiseringstradisjon og på et relativt sammenlignbart nivå."

Utredarna hänvisade också till ett resonemang som ett tidigare förarbete, Forskning med tellekanter, förde i samma fråga. Rapporten skrevs av en arbetsgrupp vid Oslo universitet och lades fram i februari 2003 och om jag förstått det rätt så var det där som grundritningen till modellen lades. Under rubriken "Hva er modellens største svakhet?" sa gruppen följande:

"Modellen, slik utvalget har tenkt omkring den, forutsetter at en publikasjon har samme «verdi» i ulike fag, og denne forutsetningen er neppe perfekt oppfylt. Utvalget har diskutert å bruke det som har vært kalt en «feltfaktor». Denne skulle reflektere de ulike tradisjoner som finnes med hensyn til publisering i ulike fagområder. Dersom en gjennomsnittlig matematiker i verden produserer 0,3 artikler i året og en gjennomsnittlig biolog 1,5, reflekterer ikke dette dovenskap blant matematikere, men snarere at det ligger mer innsats bak hver publikasjon i matematikk. Dersom det eksisterer store slike ulikheter vil det være urimelig å veie publikasjoner i matematikk og biologi likt. Det riktige ville være å dividere på hhv. 0,3 og 1,5." (s. 11)

Men man avstod från att lägga fram en sådan fältfaktor av flera anledningar. För det första var det så att "Det finnes ingen kilde for systematisk å fastsette feltfaktorer og ulikheter i produktiviteten i ulike fag, og man må her vente på bedre bibliometriske kilder." (s11)

För det andra menade man att det vore möjligt att komma åt skillnaderna med hjälp av författarfraktionalisering (uppdelning på författarandelar): "Mye av det folk oppfatter som en felteffekt skyldes samforfatterskap." (s. 11) Så blev till slut den norska modellen. Man valde att stanna vid fraktionalisering och nöjde sig med att någorlunda väl utjämna mellan forskningsfälten.

Nu har systemet fungerat i flera år och det finns statistik att tillgå för den som är intresserad, gå till (http://dbh.nsd.uib.no/dbh/analyse.jsp). För tillfället finns data för 2004-2006. Vi har använt den statistiken och gjort en analys av hur den norska modellen slår mellan fakulteter vid norska universitet. För år 2006 får vi följande fördelning av antalet publikationspoäng per heltidsekvivalent inom de olika områdena (se tabell 1). Precis som förutsägs i Resursutredningens bilaga 8 (sid 396) är det odontologisk och teknisk forskning som ser ut att missgynnas av det norska sättet att räkna publiceringar. Är odontologerna verkligen mindre än hälften så produktiva per heltidsekvivalent jämfört med naturvetenskaperna? Har teknisk forskning verkligen trettio procent lägre produktionstal per normalforskare än naturvetarna? Fångar verkligen uppdelning på författarandelar den medicinska forskningens bidrag?

* avser UiO, UiB, UiT och NTNU (alla matematisk-naturvetenskapliga samt Fakultet for naturvitenskap og teknologi vid NTNU eller motsvarande medicinska.**avser UiO, UiB, UiT och NTNU (inkluderar hist-fil, humanistisk, teologisk och juridisk fakultet)*** avser UiO, UiB och UiT (samfunnsvitenskaplig fakultet)*** *avser Fakultet for informasjonsteknologi, matematikk og elektroteknikk samt Fakultet for ingeniørvitenskap og teknologi vid NTNU.***** avser odontologisk fakultet vid UiO och UiB.

Om vi skulle välja att gå längre ned i detaljeringsgrad kan vi konstatera att ingenjörsfag får en publikationspoäng på i snitt 0,68 medan juridik hamnar på 1,22! Det är skillnader som sticker i ögonen.

Vad Resursutredningen gjorde var just att föreslå hur "fältfaktorn" för normalproduktionen för olika forskningsområden kan beräknas. Genom att utgå från Norden och namn- & adressrätta universiteten publikationer blev detta möjligt. Kanske är man i Norge intresserade av att diskutera och ta del av Resursutredningens förslag? Bilagan kan läsas på http://www.forskningspolitik.se/DataFile.asp?FileID=149.

Nordforsk beslutar och skapar trovärdighetsproblem

Reaktionen har nu kommit (måndag den 3 mars). Jag hade all anledning att bäva. Vetenskapsrådet visar huggtänderna. Från Nordforsk kom följande direktörsbeslut:
NordForsks sekretariat har tagit del av en blogg på Ulf Sandströms hemsida angående den mediaanalys som NordForsk är i färd med att beställa. Såsom vi konstaterade under vårt möte den 31 januari är det viktigt för NordForsk att projektet utformas i möjligaste mån såsom ett samarbete mellan analysenheterna vid de nationella forskningsråden. Om forskningsråden inte själva kan delta aktivt i projektarbetet, bör man genom de nationella ansvarspersonerna säkerställa bästa möjliga kommunikation och samverkan mellan projektet och forskningsråden. Jag avstår att kommentera innehållet i Sandströms blogg. Det är dock för mig uppenbart efter att ha läst bloggen, att de ovan beskrivna förutsättningarna för god samverkan med Vetenskapsrådet inte föreligger med Sandström som nationell ansvarsperson. Därför ber jag Dig å NordForsks vägnar tacka honom för hans värdefulla insatser under förstudien och vända Dig direkt till VR för att klargöra frågan om svensk ansvarsperson i analysen.
Varför är det viktigt för Nordforsk att utforma projektet på det här angivna sättet? Varför skall ett forsknings-och analysprojekt utformas så att den person som utför arbetet skall "samverka" med forskningsrådet i landet? Är det inte oberoendet och den professionella hanteringen som skall premieras? Jag ställer mig frågande eftersom frågeställningarna i projektet gäller den forskningpolitiska debatten. Varför skall forskningsråden lägga sig i hur undersökningarna utformas, vem som utför dem och peta i detta? Jag menar att:

1. Forskningsrådens etik borde vara att hålla fingrarna borta så långt det är möjligt.
2. Forskningsrådens etik borde vara att om man har jäv i förhållande till den person som ansöker (eller motsvarande som det är frågan om i det här fallet) borde rådet se till att handläggningen sköts av andra personer.

I det här fallet naggas det svenska forskningsrådets trovärdighet i kanten. Kommer den undersökning som nu eventuellt genomförs att vara styrd av Vetenskapsrådet? Kanske inte, men vi kan vara nog så säkra på att den person som skriver analysen inte kommer att skriva något som kan uppfattas som kritiskt mot Vetenskapsrådet.
Saken är allvarligare än så eftersom det svenska forskningsrådet har etablerat sig som en myndighet med uppgifter på det forskningspolitiska planet. Man skriver på VRs hemsida:
Vetenskapsrådet är, som enda forskningsfinansiär, rådgivare till regeringen i forskningspolitiska frågor. Myndigheten har även ett övergripande ansvar för frågor som rör till exempel etiska krav på forskningen.
Denna regeringens rådgivare agerar för att undanröja en för dem misshaglig forskare som visat att rådet har allvarliga problem med nepotism i hanteringen av forskningsansökningar (Scientometrics feb 2008) och det verkar som att man inte ens förstår att det är farligt att styra forskningen om forskning när man är myndighet på området.

är unga forskare "lönsamma"?

I senaste numret av den utmärkta facktidningen Universitetsläraren uttrycks på ledarplats vissa dubier mot en del inslag i Resursutredningen: "Mest kritik är jag till idén att via kvalitetskriterier bestämma universitetens forskningsanslag eftersom de utvalda kriterierna inte gynnar lärosäten som anställer unga, utan tvärtom missgynnar dem. En tvåårig postdoktor eller en bitr. lektor kommer inte att generera citeringar. Oavsett kön bidrar han eller hon inte heller till att höja andelen kvinnliga professorer." Jag skulle tro att detta är en "fördom" som ledare delar med ganska många inom branschen. Men fördomen saknar grund.

I en undersökning (ännu opublicerad) som jag genomförde under den gångna vintern (hm...) framgick att vid två av våra svenska lärosäten är det snarare de yngre forskarna som gör den mest citerade forskningen. Bästa resultaten gör kategorierna "bitr. universitetslektor", "stipendiater" och "forskare". De ordinarie universitetslektorernas resultat är betydligt svagare. Resultaten från en undersökning som baseras på artiklar där lärosätet står som första författare eller reprint author. Vi skall naturligtvis gå vidare med dessa undersökningar och kontrollera närmare om författarordningen. Hur bra är artiklar som professorer skriver själva? Mer om detta vid senare tillfälle.

rothstein om inaveln på universitet

I dagens GP har Bo Rothstein en intressant artikel om bristen på mobilitet i det svenska universitetssystemet. Läs artikeln här. Rothstein skriver: "

"Gör slut på inaveln inom det svenska universitetsväsendet. Bästa sättet är att tvinga forskare att söka sig vidare till andra universitet. Det skulle vara välgörande för både konkurrensen och kreativiteten visar en jämförelse med amerikanska universitet."

Mobilitet är något som forskningspolitiken eftersträvat under lång tid, men samtidigt har de forskningspolitiska aktörerna genomfört tjänstereformer, professorsreformer m.m. som direkt medfört hinder för rörlighet. Senaste dråpslaget var naturligtvis epa-professorsreformen. Tittar man närmare på mobilitet är det tydligt att de som har erfarenhet av att arbeta i flera miljöer gör bättre forskning. Mer om detta längre fram, jag arbetar på en studie av denna fråga. Bra rutet, Bo Rothstein. Samtidigt vill jag lägga till att Brändströms förslag borde kunna leda till en förnyelse även på den här punkten. Med mer aktiva universitetsledningar kommer bra forskare att få anbud från olika håll.

Innovation Scoreboard

Sverige toppar i EU-ligan när det gäller innovationer. Kan vara bra att komma ihåg det när tagelskjortan kommer på inför forskningsproppen. Läs om det i ITPS nyhetsbrev.

Är det möjligt att manipulera bibliometriska data?

Härförleden kom detta från någon lista (jag fick det faktiskt från flera håll):
Times Higher Education Supplement rapporterar att det enligt vissa bedömare är möjligt för seniora forskare att manipulera bibliometriska system. Det kan ske genom att t.ex. utelämna juniora forskares namn bland författarna. De seniora forskarna kan sedan citeras i tron att de var vetenskapliga ledare för en forskargrupp. Men det finns även andra tekniker, t.ex. det som kallas citeringsklubbar. Dessa innebär att en grupp forskare kommer överens om att citera varandras arbeten. Användandet av bibliometri i t.ex. den brittiska forskningsbedömningen Research Excellence Framework (REF) kommer att tvinga fram en ökad övervakning från lärosätenas sida av hur publiceringen går till menar några bedömare. Helt säkert är dock att de system som används kommer att utnyttjas maximalt.

Enligt min mening är det bra att vaksamheten mot maktmissbruk av seniora personer ökar. Jag tror för min del att det är vanligare att vissa personer som kanske inte haft så stor betydelse för artikeln vill ha sitt namn med. Det man borde tänka på är att erfarenheterna från England och Australien pekar mot att forskare är känsliga för incitament och att om det är fler artiklar som efterfrågas så kommer det fler artiklar. Och det sker på alla upptänkliga sätt. Alla sätt är dock inte bra. Den här artikeln av Henk F Moed i senaste Research Trends (utg. av Scopus) sammanfattar resultaten från undersökningar av den engelska RAE. Vad Moed understryker är detta:
Sophisticated indicators based on citations are more informative of a group’s research performance and less easily manipulated than indicators based on the number of papers published in journals with a high citation impact factor. For instance, a high impact group can receive its citations from hundreds of different institutions. The distribution of citations among citing institutions is skewed, and the contribution of its tail is large. Making ‘citation trading’ arrangements with a few institutions will not have such a profound effect on citation counts as to significantly benefit an author’s reputation, and thus potentially also funding received.

Med sofistikerade indikatorer menar Moed fältnormaliserade citeringar. Frågan är om det också går att komma åt de citeringsklubbar som det talas om. Just nu håller vi på att utveckla en metod som försöker hantera det problemet. Vi delar in forskningen i "research communities". Tanken är att vi skall kunna belysa graden av "självciteringar" som generas inom ett community. Jag hoppas och tror att det är mycket sällsynt.

beslutsångest på Vetenskapsrådet

Just nu har man beslutsångest på Vetenskapsrådet. Man skall ta ställning till ett projekt som Nordforsk vill finansiera, och skall ge klartecken från respektive land. Nordforsk är ett samarbetsorgan mellan forskningsråden i Norden och fungerar genom att man för samman resurser för vissa specifika områden och projekt.

Upprinnelsen till just det här projektet är intressant och av viss betydelse för mig personligen. För ett par år sedan skrev jag en rapport om den svenska debatten kring forskningspolitik. Vilka deltar i debatten, hur mycket och varför? Rapporten finns här (2006) och publicerades i Sisters rapportserie. Vi hade ett roligt seminarium kring de två rapporter som ingick i projektet, dels min rapport, dels Lillemor Kims motsvarande rapport som handlade om högskolepolitiken. Efterhand ville den norska tidskriften Forskningspolitikk ha en summerande artikel om Lillemors och min rapport. Tillsammans skrev vi en artikel som avrapporterade projektet. Den artikeln kom att läsas av folk på Nordforsk som gillade den skarpt. De ville ha något liknande för Norden i sin helhet och vände sig till NIFU STEP med en förfrågan om de kunde sätta ihop ett team som tog på sig ett förberedande projekt för att undersöka trender och strukturer i den nordiska forskningsdebatten. Egil Kallerud tog på sig uppdraget och kallade samman ett team som bl a bestod av Karen Siune vid Aarhus universitet, Marja Alestalo vid Helsingfors universitet och jag själv verksam vid Linköpings universitet.
Vi träffades i Oslo i juni 2007. Överenskommelsen blev att göra ett "pröveprojekt" om globaliseringsdebatten i det forskningspolitiska sammanhanget. En vecka hade fått av Nordforsk för att pröva metoder och för att skriva landrapporter om globaliseringsdebatten. Det gick ganska bra; vi levererade landrapporter och under Kalleruds ledning skrevs en engelsk artikel som sammanfattade det hela och som publicerades i Nordforsk tidning Nordforsk magasin.

Nu var frågan om Nordforsk skulle komma att stödja en fullskaleprojekt. Kansliet tyckte det och eftersom man hade resurser över från 2007 ville man ta förslaget till styrelsen i början av december 2007. Men där tog det av någon märklig anledning stopp. Forskningsråden som utgör Nordforsk har naturligtvis mycket att säga till om när det gäller gemensamma projekt, så även i det här fallet. Nu var det också annat som spökade. Gunnel Gustafsson, vice GD för Vetenskapsrådet och Göran Sandberg, rektor vid Umeå universitet ville ändra på projektet. De tyckte att det vore bra om frågan gick ut till respektive forskningsråd för att undersöka om det fanns möjligheter att rådens analysavdelningar kunde göra jobbet. Till saken hör att Vetenskapsrådet är det enda råd, vid sidan av Island, som internt har analysavdelning. Alltså var det här ett svenskt förslag och en svensk angelägenhet.
Till saken hör också att debattundersökningar råkar vara en specialitet som jag utvecklat under de senaste åren. Det började med debattöversikten i antologin Det svenska forskningslandskapet (2002) där jag gjorde en mestadels kvantitativ studie med titlen "Forskningsdebatten långa vågor". Året efter gjorde jag en mer innehållsorienterad studie med rubriken "Polarisering: reflektioner kring forskningsdebatten". Men vad spelar det för roll, inte kan man muta in ett område på det viset. Självklart inte. Det kan ju vara så att myndigheten vill stödja sin egen verksamhet genom att låta någon oerfaren person göra en debattöversikt och på det sättet stödja den egna verksamheten. Det kan ju också vara så att en fristående universitetsforskare kan komma med kritiska synpunkter till och med mot forskningsråden. Där är saken nu. Den 31 januari gick ett brev till Vetenskapsrådet med följande innehåll:

Att: Annette Moth Wiklund/ Carl Jacobsson
Comparative study on public research policy debate in the Nordic countries

A team of five Nordic partners has applied to NordForsk for support of a study which aims to map and analyse public debate on research policy issues in the five Nordic countries during the last decade. Following the successful completion of an exploratory and preparatory project on Nordic debates on globalization as a research policy issue (results published in NordForsk Magazine no. 2007.01, pp. 11-13), we submitted our application for the full project to NordForsk in November 2007, and received the following response on 28 January 2008:

Vedr. analysen Public debate on research policy in the Nordic countries: NordForsk styrebeslutning
Den planlagte forskningspolitiske analysen med arbeidstittelen Mediestudien ble behandlet på NordForsks styremøte 12. desember 2007. Den samlede kostnaden for gjennomføring av analyseprosjekter i alle de nordiske landene, samt en komparativ forskningspolitisk analyse ved NIFU STEP, blir så høy at den overgår sekretariatets beslutningsmandat, og saken var derfor til behandling i styret.

NordForsks styre anser at analyseprosjektet er av en slik art og størrelse at det er avgjørende at prosjektet får en grundig forankring i de nasjonale forskningsrådene ved at det etableres kontakt med og inviteres til innspill fra og samarbeid med deres analyseavdelinger eller tilsvarende. Forskningsrådene bør få anledning til å kommentere / komme med synspunkter på analyseprosjektets utforming; og de nasjonale deltagere skal godkjennes av de respektive nasjonale forskningsrådene. Dette for å sikre gode kontaktflater og relasjoner som sørger for god kompetanseoverføring og ivaretagelse av de nasjonale forskningsrådenes interesser.

Gitt at styrets beslutning om justeringer i prosjektutformingen blir fulgt opp, har styret godkjent analyseprosjektet; og NordForsk ser frem til det videre arbeidet med analysen i 2008.

The project team fully understands and accepts the rationale for requiring that a major NordForsk-funded project be approved by the national research councils, and hereby submits, in accordance with instructions from NordForsk, the project for approval and comments. The project plan is attached. We will make adaptations in response to suggestions which concern the issues outlined by NordForsk, with due regard to the overall setup and budget of the project as laid out in the attached description, as well as to the need for further discussion on the terms for implementing any major change or addition to the project you may want.

We assume that your organisation will handle the issue in a way which makes it possible to draw on firsthand knowledge of the discussions on the project in the Board of NordForsk in December. Please contact the national project partner from your country, Ulf Sandström, usandstrom@tele2.se, for further information and discussion on how the concerns of NordForsk may most effectively be taken into account in your case.

We will start work on the project as soon as possible after confirmation that the conditions set by NordForsk have been met satisfactorily, and hope to receive your response soon.

Best regards,
for the project
Egil Kallerud
Coordinator/senior researcher

Från Norge och Island kom svar med vändande post. Vetenskapsrådet tar gott om tid på sig. Fyra personer har varit inblandade och man har just nu skickat ett beslut om vem som skall ta beslut i frågan . Så här svarar Vetenskapsrådet:

Svenskt deltagande i den av Nordforsk stödda analysen "Public debate on research policy in Nordic countries"
Bakgrund till beslutet:
På dagordningen vid Nordforsks sammanträde den 12 december 2007 behandlades ett förslag om stöd till ett underlag för en publikation inom ramen för Nordforsk "policy brief med titeln "Public debate on research policy in the Nordic countries - issues and trends". Som framgår av bilaga 1, sid 92 - 93 av 208, hade en enskild forskare kontrakterats för Sveriges del, medan man för övriga nordiska länder engagerat analysenheterna vid respektive forskningsråd. Vissa invändningar restes också mot projektets uppläggning.
Nordforsk beslöt att delegera frågan till Liisa Hakamies-Blomqvist. Hennes uppgift bestod bl.a. i att innan kontrakt skrevs förtydliga syftet och analysens karaktär, liksom att "ensure a good anchoring with national research councils and the participation of the appropriate actors at the national level", se bilaga 2.
Mot denna bakgrund var det med stor förvåning som Vetenskapsrådet (Annette Moth Wiklund och Carl Jacobsson) den 31 januari 2008 nåddes av ett meddelande från projektledaren Egil Kallerud, se bilaga 3. Där biläggs en reviderad plan för arbetet. Dessutom uppmanas Vetenskapsrådet att ta kontakt med, en som det verkar, redan utsedd projektdeltagare från svensk sida, bilaga 3.
Därefter tog Gunnel Gustafsson ett informellt samtal med Liisa Hakamies-Blomqvist som förklarade att ett missförstånd uppstått mellan henne och projektledaren Egil Kallerud. Dock tycktes hon fortfarande förutsätta att den fortsatta kommunikationen skulle ske mellan Kallerud och lämplig person på Vetenskapsrådet, bilaga 4.
Förslag till beslut:
En förutsättning för "good anchoring" är att Vetenskapsrådet dels får utse en svensk deltagare i projektet och dels får lämna synpunkter på den reviderade projektuppläggningen.
Generaldirektören uppdrar åt chefen för avdelningen för forskningspolitisk analys att utse en
svensk deltagare och att lämna synpunkter på studiens uppläggning.

Det ser ut som att Vetenskapsrådet inte har fått klart för sig bakgrunden till projektet. Att man talar om att en "enskild forskare" hade kontrakterats är ju en följd av att jag deltagit i "pröveprojektet", ja man skulle till och med kunna säga att mina arbeten är upphovet till hela projektet. Felaktigt uttalar man att andra länder hade kontrakterat rådens analysavdelningar. Detta är gripet ur luften eftersom Kallerud, Siune och Alestalo (samt Sandström) samtliga är fristående och oberoende forskare. Dessutom formulerar sig Vetenskapsrådet hotfullt mot projektledaren Kallerud. Hur skall det tolkas?

I överkant byråkratiskt har Vetenskapsrådet nu, efter lång tid, fattat ett beslut som säger vem som skall besluta om vem som skall vara svensk deltagare. Icke utan viss bävan ser vi fram mot deras slutgiltiga beslut.

Braunerhjelm och de nya universiteten

På DN-debatt den 7 januari 2008 föreslår Pontus Braunerhjelm (PB) att de statliga forskningsanslagen omfördelas så att de ”bättre universiteten får mer och de sämre mindre”. Det är lätt att hålla med PB om denna allmänna princip, men tillämpningen av densamma kompliceras av de senaste tio årens strukturförändringar i det svenska forskningslandskapet. Den socialdemokratiska regeringen praktiserade en regionalpolitiskt influerad forskningspolitik, genomförd i samarbete med Centerpartiet. Sedan 1997 har det därför tillkommit fyra nya universitet och ett antal högskolor har tilldelats permanenta resurser inom vissa vetenskapsområden.
Merparten av satsningen koncentrerades till högskolorna i Karlstad, Växjö och Örebro samt Mitthögskolan; lärosäten vilka numera benämns universitet. Man bör hålla i minnet att av de totala forskningsintäkterna går fortfarande 90 procent till de etablerade universiteten och endast fyra procent till de nya universiteten. Knappt tre procent går till högskolor med vetenskapsområde och ytterligare tre procent till övriga högskolor.
I sinom tid kan det vara dags att utvärdera denna strukturreform inom högskole- och forskningspolitiken. PB anser att det redan nu går att utvärdera reformen, trots att det instrument som han förordar, fältnormaliserad citeringsgrad, knappast kan fungera som indikator. Seriös forskning visar att fördröjningarna inom forskningen – ledtiderna först mellan forskning och publicering, sedan mellan publicering och citering – gör att verksamheterna vid de nya universiteten behöver ytterligare kanske fem år för att ha uppnått stabila publiceringar och citeringar.
Braunerhjelm hänvisar till en rapport av Vetenskapsrådet som avser publiceringar 1998–2002. Men universitet som började få resurser 1997 och som sedan successivt byggts ut kan inte ges en omedelbar utvärdering med citeringsanalys. Vetenskapsrådet analyserar i bästa fall vad som pågick vid dessa högskoleenheter under perioden 1996–2000. Detsamma gäller bilaga 8 till Resursutredningen (SOU 2007:81) i vilken undertecknad medverkade. Där görs bland annat en citeringsanalys av publiceringar under perioden 2001–2004, dvs. av forskning som pågick under perioden 1998–2002. Då befann sig de nya universiteten ännu bara i en startfas och var långt ifrån konsoliderade. Självklart kan beräkningarna uppdateras men ännu idag 2008 är det inte möjligt att få stabila citeringsdata längre fram än 2005-2006, dvs forskning som gjordes 2002-2004.
Till följd av dessa ledtider är det alldeles för tidigt att räkna ut de nya universiteten.
Nya universitet står idag för ett alternativ till de stora universiteten. De organiserar forskningen på delvis andra sätt och de tillför nya perspektiv. Ett stort antal forskargrupper har funnit sig tillrätta vid de nya universiteten och man kan fråga sig varifrån dessa grupper kommer? Självklart från de etablerade universiteten! Det är, ofta unga, forskare som sökt sig bort från det gamla universitetet för att slippa hierarkiska ledningsformer och stela byråkratier. Diversiteten, dvs. mångfalden i forskningsansatser, har ökat och det vore en gigantisk kapitalförstöring att inte ge forskningsmiljöerna ordentlig tid att etablera sin verksamhet innan de utvärderas.
Experimentet med nya universitet är spännande och utmanar i sig idén att endast stora organisationer kan producera högkvalitativ forskning. Det kan vara värdefullt om experimentet genomförs till fullo och då är det viktigt att konstatera att inte heller en utvärdering utifrån vunna medel från Vetenskapsrådet är tillfyllest. Det ligger redan i korten eftersom de etablerade universiteten nogsamt vakar över Vetenskapsrådets resurser. Dessutom har den väl finansierade forskningen vid de nya universiteten inte behövt tävla om konkurrensutsatta rådsmedel. PB:s funna samband mellan forskningsmedel och fakultetsmedel är därför inte riktigt relevant som kvalitetsindikator.

tysk satsning på forskning

Enligt en artikel i Nature gör Tyskland en ordentlig satsning på R&D under 2008:

"The article reports on the approval of a 9.8% increased in the federal budget for science and education for 2008 in Germany. It relates that German coalition government had promised to boost investment in science and for a budget proposal without any cuts. It was taken into account that the Ministry for Education and Research (BMBF) will receive €9.35 billion, about $13.7 billion, for 2008 budget, which is €150 million more than the government had initially proposed in July 2007. It was also noted that the country's research council, which funds most university research, will see a 3% rise next year in its €1.6 billion budget." (abstract)

Nature; 12/6/2007, Vol. 450 Issue 7171, p773-773, 1p, 1c

konkurrensutsatta fakultetsmedel

Dokumentationen från det seminarium om högre utbildning och forskningspolitik som hölls i Göteborg senhösten 2006 finns numera tillgänglig i form av en rapport från Vetenskapsrådet. Rapporten Expansion och kontraktion innehåller flera intressanta inlägg och underbyggda forskningsresultat. Däremellan finns insmugen min uppsats Om konsten att fördela basmedel till universiteten. Den skrevs långt innan jag fick frågan av Brändström att ta fram en modell för att fördela basmedel och alltså visste jag inget om hur pass komplicerad materia det är frågan om. Vår bilaga till Resursutredningen (2008:71), Modell för beräkning av direktanslag till svenska lärosäten baserad på forskningsproduktion och citeringsgrad, gör ett preliminärt försök att hitta vägar för att lösa det problemet. Utgångspunkten är denna: på nordisk nivå kan man förutsätta att alla discipliner har samma produktivitet per forskare. En generaliserad matematiker gör lika mycket som en generaliserad genetikforskare, och en pedagog gör lika mycket som en högenergifysiker. Med den utgångspunkten visar vi att man kan använda ISI-data för att se hur respektive universitet producerar inom olika discipliner. Fördelen med att endast använda ISI-data är att vi kan fånga in citeringar till artiklar. Det kan man inte i det norska systemet. I stället gör de en klassning av tidskrifter utifrån hur svårt det är publicera i dessa. Man har nivå 1 och nivå 2 där den senare ger högre poäng. Det är något som starkt påminnner om Journal Impact Factor och om man gör undersökningar av tidskrifterna visar det sig att nivå 2 har generellt sett högre citeringsgrad än nivå 1 tidskrifter. Men, det är naturligtvis något som gäller på generell nivå för hela länder, men om man går ner på hur forskarna vid ett universitet publicerar i dessa tidskrifter och jämför nivå 1 med nivå 2 visar det sig i flera fall att nivå 1 är lika bra, t o m förekommer högre faktiska citeringsvärden än nivå 2 artiklarna. Det är således ett kategorimisstag som ligger bakom detta problem. Aggregerade värden går inte att använda som proxies för mindre enheter.


Problemet för dem som vill använda allt material som kommer ut av forskningen är att de måste definiera vad som är godkända resultat av forskning. Norrmännen har en modell som är ganska restriktiv, t ex finns det så gott som inga rapportserier med i modellen. Min mening är att det blir svårt att jämföra forskningsdiscipliner och ämnen med avseende på deras publiceringar om man inte kan normalisera materialet. Norrmännen förutsätter att de a priori har en modell som täcker det mesta av publiceringsverksamheter och bryr sig inte om huruvida det finns skillnader mellan ämnen. Vi tar detta problem till utgångspunkt för vår modell och börjar så att säga i normaliseringen. Mer om detta går alltså att läsa i bilaga 8.

Svensk-franska forskningsföreningen

I mitten av december hade jag förmånen att vara med på ett svensk-franskt seminarium om utvärdering och framtidsstudier. Det anordnades av AFSR - Association franco-suédoise pour la Recherche Svensk-franska forskningsföreningen. Programmet för dagen var "Foresight Activities and Evaluation Policies as Instruments for Priority Setting in the field of Science and Innovation". Jag fick tillfälle att presentera mitt bidrag till Resursutredningen och det tror jag var uppskattat även om det inte är min mest publikfriande presentation. Efter Peter Honeth och andras inledningar höll Remi Barré ett intresseväckande om pågående förändringar i det franska forskningssystemet. Tydllighet och utvärdering verkar vara ledord i det pågående utvecklingsarbetet. Hoppas få anledning att komma tillbaka till det vid senare tillfälle. Måste dock få rapportera om forskningsråden som gavs tillfälle att ge en allmän presentation. Pär Omling från Vetenskapsrådet klarade det kanske bäst, de andras presentationer föll på att man måste känna till verksamheten och kunna Sverige för att ha möjlighet att hänga med. VR kan ju hålla sig till att det är forskarna som bedömer ansökningar. Punkt slut. Därvid hade det ju varit frid och fröjd, men Omling lät också berätta om att forskardominansen i Vetenskapsrådet är fastställd i lag. Varför det var viktigt hade han själv ingen aning om, men politikerna hade, meddelade han, varit mäkta stolta över denna obegriplighet. Denna syn på forskningspolitiska frågor var naturligtvis generande för oss andra, särskilt som Omling i det här fallet talade till personer från ett land där organisationsformerna är lagreglerade i detalj. Jag tror för min del att det är en poäng att regeringen måste gå till riksdagen för att ändra sammansättningen på styrelserna för råden.

teori om citeringar?

Det är ett välkänt faktum att det saknas en riktigt bra teori för citeringar, dvs. en teori om varför forskare citerar tillbaka till tidigare forskning, vilka faktorer som påverkar vilka man citerar och varför. Jag arbetar just nu med ett paper som försöker ge ett bidrag till den här frågan och har då haft anledning att se närmare på tidigare forskning. Det är ju mycket som står på spel i den här frågeställningen: antingen kan man ge teoretiska och empiriska skäl till varför citeringsanalys är ett adekvat sätt att mäta forskningsverksamhet eller undergräver man denna strävan. Grovt taget finns det två skolor på det här området. Den ena är den traditionella skolan som står för en funktionalistisk forskningsmodell som bygger på normativ teoribildning (Merton 1973). Forskare följer, i princip, ett antal normer i sin professionella verksamhet. En av dessa är att referera till dem som givit relevanta bidrag till den aktuella forskningsfronten, att citera dem vars verk man har använt i den forskning man rapporterar (Cole & Cole 1967, 1971).

Det finns också en annan skola som brukar kallas den socialkonstruktivistiska teoribildningen (Collins 2004; Latour & Woolgar 1979). De menar, grovt taget, att det kognitiva innehållet har väldigt litet att göra med hur en artikel blir mottagen och citerad. Sociala och politiska skäl har stor betydelse och citeringar ingår i en resurskamp mellan research communities. Gilbert (1977) betraktar citeringsbeteendet som en del av ett retoriskt upplägg för att övertyga olika publiker om att det som presenteras är korrekt och i enlighet med vetenskapliga krav. För Gilbert och andra blir det således frågan om att försöka belägga att forskare i mycket stor utsträckning endast använder kända autkoriteter för att belägga sina egna funna rön.

Bornmann och Daniel gör en intressant forskningsöversikt (i en artikel som snart publiceras i Journal of Documentation) och de visar bland annat att den traditionella teorin har fått många belägg under åren. Visserligen är författarna ganska kritiska till många av de undersökningar som genomförts, men det är ganska klart att det finns ett stöd för att forskare tenderar att citera relevanta bidrag, att de gör det utan att ta alltför mycket hänsyn till forskarens status, och att det finns en logik i citeringen. Detta innebär inte att det skulle saknas undersökningar som går i den socialkonstruktivistiska riktningen, men det är betydligt färre och mindre substans i de undersökningarna. När man går in för att intervjua forskare om varför de citerat det ena och inte det andra blir svaren ibland tillförlitliga ibland inte.

Bornmann och Daniel försöker hitta ett sätt att ge båda teorierna rätt genom att införa två nivåer - en lokal och en global citeringsnivå. På den lok