LHCb weekly meeting 2008

Laurent Roy

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

27 Jun 2008

Meeting du 27 Juin 2008

Présents: Rolf, Bernard, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- Vendredi 23 Mai: câble débranché involontairement de IT TS : 121

- Lundi 26 Mai: détection incendie (déclenchée par poussière): 122

- Mercredi 04 Juin: Flow switch Nitrogene TT ouvert à cause du champ magnétique de l’aimant (en test): 124

- Jeudi 05 Juin: Gas OT not Ok : 125

- Jeudi 12 Juin (0h23): Fatal erreur / micro coupure électrique de DSU2 après test automatique UPS ?: 127 128

- Lundi 23 Juin : permutation des pompe eau mixed : arrêt du flow pendant 2s non prévu-> Arrêt des Cooling plants 132

- Mardi 24 Juin : Arrêt de l’eau mixed pendant 13 min.(cause :arrêt d’urgence des pompes ?) 133

----------------------

 

- Mercredi 28 Mai: Test Sniffer/ mise en fonctionnement de tout sauf Muon1: 123

- Vendredi 06 Juin: Nouvelle application PVSS 3.6 + PCs sur Réseau LHCb: 126

- Lundi 16 Juin: Tests des TS de Detector boxes IT, mise en fonct. Des alarmes. 129

- Lundi 16 Juin: FS et TS de TT inhibés pour travaux ponctuels. 130

- Mardi 17 Juin: Modif de l’accès a la base de données par Radu 131

 

- A la demande de TT+IT les alarmes sur le C6F14_Not_ok a été mis en fonctionnement (coupure électrique des racks).

- L’électronique de mesure de pression différentielle est installée pour Tunnel/Velo et Tunnel/Muon, celle de UXA/UXB est en retour d’usine (erreur de programmation pour 4-20mA). L’unité mBar affiche sur PVSS n’est pas correct, j’ai demande a Giulio de rajouter les Pascal comme possibilité d’unités. (aujourd’hui -200 mbar affiche = -20Pa=-0.2mbar).

 

- Connexion a distance : utiliser cerntsitco01/Nice login puis Nice dans PVSS - En salle de ctrl ou D2 utilisez votre login LHCb.

 

Prochaine réunion Jeudi 24 Juillet 9h00 en salle de contrôle.

 

Laurent

 

22 May 2008

Meeting du 22 Mai 2008

Présents: Rolf, Dirk, Bernard, Eric, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- Mercredi 14 Mai 10h28: AL_TT_Mixed_Water_for_Service_Boxes_Not_Ok http://lblogbook.cern.ch/DSS/113 La rallonge électrique qui alimente l’électronique des FS a été débranchée de la prise murale 'service généraux'. Cette rallonge provisoire sera supprimée lorsque TS/EL aura fini les travaux de raccordement définitif (Vincent a relancé Jérôme pour ca).

 

- Jeudi 15 Mai 8h57: Détection de Fumée en UXA. Soteb a oublié d’inhiber la voie 'voute' lors de la demande d’IS37 concernant le meulage d’une structure métallique http://lblogbook.cern.ch/DSS/115

 

- Jeudi 15 Mai 11h30: AL_OT_Gas_Not_Ok -> Suite a des réglages sur la concentration du gas http://lblogbook.cern.ch/DSS/116

- Jeudi 15 Mai 20h00 + Vendredi 16 a 1h51: Alarm AL_OT_Gas_Not_Ok, même chose.

http://lblogbook.cern.ch/DSS/117

L’action ‘signal vers CCC’ est provisoirement enlevé en attendant que le gas_system soit stable, Steven doit indiquer quel numéro appeler en cas d'alarme sur le système gaz.

 

- Mardi 20 Mai 11h12: AL_Bunker_Water_Leak_Detect -> après déconnection tuyau d’eau de Marathon (légère fuite).

http://lblogbook.cern.ch/DSS/119

 

- Mardi 20 Mai 21h57: WARNING: PT_TE_CAVERN_Ambient_Gantry_bottom_A high http://lblogbook.cern.ch/DSS/120 -> lampe halogène placée proche de la sonde.

----------------------

 

- Mercredi 13 / Jeudi 14 Mai: Maintenance annuelle des détecteurs de fumée des Racks http://lblogbook.cern.ch/DSS/114 Rq : le projet ‘PVSS Rack Control’ stope les Crates si la carte électronique est retirée de la face avant des turbines. Apres discutions avec TS/ASE : A l'avenir LHCb (Eric et Laurent) seront averti ~15j avant la maintenance annuelle, le Slimos ou si pas en Run le Piquet DSS seront averti en cas d’intervention en dehors des heures ouvrables.

 

- Jeudi/Vendredi 15-16 Mai: Connexion supplementaires des 34 TDM  http://lblogbook.cern.ch/DSS/118 Apres une coupure électriques par DSS tout les départs a réenclenchés sont maintenant sur la plateforme TDM + disjoncteurs Turbine vers B1.Rq : on pourra prochainement réenclencher ces départs a distance (projet PVSS Rack control). Vincent nous présentera le projet lorsqu’il sera en fonctionnement. Exception : AUL de D2 (seul condition qui coupe le start Point d’IT) il faut réenclencher armoire ABB dans Alcove PZ.

 

- L’électroniques de mesure de pression différentielle sera raccordée et mise en fonctionnement début de semaine prochaine.

- CCC a été contactée pour 3 voyants de signalisation défectueux en face avant des armoires électriques.

 

Prochaine réunion Jeudi 12 Juin 9h00 en salle de contrôle.

 

Laurent

30 April 2008

Meeting du 30 Avril 2008

Présents: Eric, Rolf, Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- Vendredi 11 Avril 4h30: FATAL ERROR une CPU s'est arrêté due à un Bug connu de DSS Team IT/CO (piquet DT + Stefan sont intervenus) http://lblogbook.cern.ch/DSS/106

 

- Jeudi 17 Avril 6h40: Coupure du 400kV EDF pendant ~100ms aucune incidence sur DSS mais sur les systèmes: Unités Cooling stoppées (Paolo va améliorer cette situation pour des micros coupures), Rich HV (via détection de lumière), OT heating Blankets, quelques PC en SX8 http://lblogbook.cern.ch/DSS/107

 

- Vendredi 18 Avril: nouvelle chute de tension du 400Kv EDF a 2h45, même conséquence que ci dessus  http://lblogbook.cern.ch/DSS/109 

 

- (Apres la réunion) Aujourd'hui a 11h20 coupure électrique (~1 minute), pas d'effet sur le systeme DSS en lui meme mais plus d'eau mixed pendant ~30 min  = coupure des racks de D3. http://lblogbook.cern.ch/DSS/112

 

----------------------

 

- Du 14 Avril au 21 Avril: Problème avec le serveur Oracle chez IT, il n'y a plus eu d'archivage des evenements DSS entre ces deux dates  http://lblogbook.cern.ch/DSS/108

- IT et TT ont fait plusieurs demandes d'inhibitions: http://lblogbook.cern.ch/DSS/110 , http://lblogbook.cern.ch/DSS/111

- Les tubes pour la mesure des pressions différentielles seront installés semaine prochaine dans le tunnel.

- Rich1 vont faire la connexion des cables DSS au PP balcony dans les prochain jours, les tests suivront.

- Tests effectues des Thermoswitches des stations MUON 2a5 en soufflant de l'air chaud (16 TS), alarmes maintenant en fonctionnement. Les Interlocks HV doivent etre connectes dans les prochains jours.

- Les TDM de D1,D2 seront raccordes le 15 et 16 Mai (coupure électrique le 16)->possibilité ensuite de réenclencher l'électricité a distance (demande de Beat) et rack IT coupé uniquement sur AUL de D2.

 

Prochaine réunion Jeudi 22 Mai 9h00 en salle de contrôle.

 

Laurent

10 April 2008

Meeting du 10 Avril 2008

Présents: Eric, Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- Lundi 31 Mars 19h12: Câble Thermoswitch IT déconnecté sans avertissement : http://lblogbook.cern.ch/DSS/104

 

- Mardi 08 Avril 15h20: Câble Thermoswitch OT déconnecté sans avertissement : http://lblogbook.cern.ch/DSS/105 Ce même jour : l’alarme OT_Gas_Not_Ok est testée et laissée opérationnelle (coupure HV).

 

- Mercredi 09Avril : Warnings (prévus) sur les cooling plants de TT/OT+Preshover/IT arrêt ponctuel de l’air comprimée (10h17 et 14h44)

----------------------

 

- Vendredi 28 Mars: Maintenance périodique, changement des batteries UPS+piles alimentation CPU 'a chaud' sans incidence sur le système. http://lblogbook.cern.ch/DSS/103

 

- Quelques valeurs de seuils seront changées suite a la réunion/discution du 09 Avril. Les fourchettes des seuils(haut/Bas) seront resserrées petit a petit au fur et a mesure que 'l’installation/infrastructure se stabilise'.

 

- 3 capteurs vont etre commandes pour la surveillance des pressions différentielles entre UXA/UXB, UXB/Tunnel Velo, UXB/Tunnel Muon -> 3 entrées analogiques DSS seront utilisées.

 

Prochaine réunion Mercredi 30 Avril 9h00 (avant le Jeudi 1er Mai) en salle de contrôle.

Laurent

27 March

2008

Meeting du 27 Mars 2008

Présents: Eric, Rolf, Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- Jeudi 13 Mars: Flowswitchs Eau Mixted de TT Service boxe (fausse alarme) http://lblogbook.cern.ch/DSS/101

 

- Mardi 25 Mars: Arrêt de la circulation de l'eau mixted http://lblogbook.cern.ch/DSS/102

----------------------

 

- Le document 'Alarmes liées a l'infrastructure' va être mis a jour puis les différents seuils, délais... seront précisés lors d'un meeting.

- Maintenance des UPS demain (par Laurent), ne devrait "normalement" pas provoquer de coupure. 

- 32 entrées seront rajouter a DSU2 pour: plus de granularité sur les coupures électriques de D2 (TDM)/remise en route a distance possible/pas de coupure du start point IT

 

Prochaine réunion Jeudi 10 Avril 9h00 en salle de contrôle.

Laurent

13 March

2008

Meeting du 13 Mars 2008

Présents: Eric, Rolf, Dirk, Bernard, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- 23 Fev. Thermoswitch Racks MUON cote C (faux contact d’un connecteur à l’intérieur d’une turbine) http://lblogbook.cern.ch/DSS/96

 

----------------------

 

- Suite aux actions prises (coupures baraques) de façon inexpliquées, 2 bugs ont été découverts par IT/CO est sont en parti corrigés.

http://lblogbook.cern.ch/DSS/100

 

- La détection de fuite sous les 4 cooling plant UXA-C fonctionne, le tuyau d’évacuation d’eau du Chiller(D4) sera rallongée (arrive actuellement dans un des bacs de récupération). En attendant la sonde est provisoirement retirée de la boite.

 

- Toutes les alarmes du Velo ont été testées et laissées en fonctionnement sauf Sniffer et CO2 pour les racks.

 

- Une bouteille de CO2 (IT Bunker) est tombée et s’est ouverte (le système de détection sous le bunker s’est déclenché). Laurent regarde pour le changement de cette bouteille.

 

Rq: Toutes les alarmes sont transmises au DSS On-Call mais toutes ne nécessites pas un déplacement au point8.

Essayer d’abord de se connecter à distance sur la supervision, ne pas hésiter à appeler la CCC 72201 (ils savent s’il y a une coupure électrique, arrêt cooling,..) Utiliser la liste de téléphone : https://edms.cern.ch/document/887439

 

Un classeur avec l’ensemble des Entrées/Sorties et des câblages de patchpanel est a disposition dans le rack DSU2.

Fichiers sur EDMS

Entrées/Sorties : https://edms.cern.ch/document/766100

Câblage Patch panels: dans les dossiers EDMS DSS de chaque sous détecteurs.

 

Prochaine réunion Jeudi 27 Mars 9h00 en salle de contrôle.

Laurent

21 February

2008

Meeting du 21 Février 2008

Présents: Eric, Rolf, Laurent

 

----------------------

Alarmes/SMS reçues par piquet depuis la dernière réunion:

 

- 05 Fev. Fuite d’eau sur PS/SPD pendant travaux sur circuits, mise en eau, déplacement des détecteurs vrai ou fausse alarme? http://lblogbook.cern.ch/DSS/88

 

- 19 Fev. Surchauffe dans une boite électronique de SPD cote C http://lblogbook.cern.ch/DSS/90 (alarme similaire le 30 janv.) Le remplissage des circuits a provoqué l’arrêt du système de cooling, et après plus de 2h l'ouverture d'un Thermoswitch(60 degC).

Apres une réunion avec CALO et Paolo (TS/CV), il est décider de mettre en fonctionnement l’alarme (avec coupures électriques) liée a l’information envoyée par la PLC ‘Cooling not Ok’ dans ~ 10 jours lorsque la situation sera stable avec la station de cooling (des arrêts risquent encore de ce produire avant : tests, remplissage...).

 

REMARQUE: chaque fois (et 24h/24) que DSS recevra ce type d’alarme ‘Cooling not Ok’ depuis une des 4 unités de cooling sur UXA-C (OT+PS/SPD, Rich1+Rich2, IT, TT)il faut appeler la CCC 72201 et demander que le piquet TS/CV-DC intervienne (normalement ils reçoivent un SMS mais ne font rien si on ne les appellent pas). Ce commentaire est ajouté dans la description des alarmes.

----------------------

 

- Les actions liées a l’alarme ‘eau mixed not ok’ pour D1 D2 ont été déclenchées (= coupure électrique des baraques) lorsque j’ai voulu remettre cette alarme en fonctionnement : http://lblogbook.cern.ch/DSS/92

 

Rq : cette situation a été reproduite avec une alarme ‘Bidon’ et un bouton ‘test’ connecté à DSU1.

J'ai demandé à Guilio qu’une fenêtre avertisse l’opérateur lorsque des actions vont être prises après une demande de REMOVE INHIBIT sur sensor, alarme ou action-> Ce n’est pas possible car les choses inhibées ne sont plus processées par le F-E.

Ces conseils sont de ne pas utiliser: INHIBIT des alarmes et des actions mais seulement INHIBIT des Sensors et DESABLE des actions dans le panneau d’alarme.

D’après lui ca ne se serait pas produit si j’avais fais d’abord un REMOVE INHIBIT de l’alarme avant le ENABLE ACTIONS.

Pour au moins que cette situation ne se reproduise, je lui ai demandé d’interdire l’opérateur de pouvoir faire un ENABLE ACTIONS sur une alarme inhibée (a suivre).

 

Prochaine réunion Jeudi 13 Mars 9h00 en salle de contrôle.

Laurent

07 February

2008

Meeting du 07 Février 2008

Présents: Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet:

 

- AL_CALO_PS_SPD_Cside_Water_Leak_Detect: http://lblogbook.cern.ch/DSS/88 Un défaut Fuite est apparu moins de 1 minute ? Un délai de 3 minutes a été paramétré pour le déclenchement de l’alarme.

 

- Warning sur Température de l’écran thermique du Magnet : ~30 degC sur la sonde milieu, en bas -> un gros projecteur a été utilisé par OT a cet endroit. Seuils relevés jusqu'à la remise en circulation de l’eau dans l’écran.

 

----------------------

 

- L’eau circule à nouveau dans tous les circuits. 7 Flowswitches sur 14 indiquent une absence de débit : sur quelques circuits il reste encore des équipements à alimenter mais sur le reste les flowswitches sont surdimensionnés par rapport au débit présent.

 

Je propose de faire la réunion de manière plus espacée, toutes les 2-3 semaines ?

 

Prochaine réunion Jeudi 21 Février 9h00 en salle de contrôle.

 

Laurent

 

31 January

2008

Meeting du 31 Janvier 2008

Présents: Eric, Rolf, Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet:

 

- Alarm VELO TS Turbine P1A01~02 : http://lblogbook.cern.ch/DSS/85 Déconnection sans avertir a l’arrière de la turbine sur Balcony.

 

- Alarm AL_CALO_TS_SPD_Cside_Open: http://lblogbook.cern.ch/DSS/86 Un Thermoswitch s’est sans doute ouvert dans une des boites électroniques sur SPD coté C.

 

- Alarm AL_TT_TS_Service_Boxes_Chain_Open: http://lblogbook.cern.ch/DSS/87 Faux contact découvert sur une cosse. On laisse l’alarme inhibée pendant une semaine pour vérifier que le défaut de réapparait pas.

 

----------------------

 

- Un Arrêt d’urgence a été installé sur le rack électrovannes. Si quelqu’un appuie, toutes les vannes se ferment-> une étiquette d’avertissement sera placée à coté. Un anti-retour a été installé sur le réseau d’air comprimée, la bouteille d’azote maintient les vannes ouverte même si perte de l’air comprimée : http://lblogbook.cern.ch/DSS/84

 

- TT ont fait une demande de connections de 4 Flow Switchs (eau mixted) a DSS : la connexion coté DSS sera faite dans les prochains jours.

 

- Suite a vos commentaires la liste des numéros de téléphone a été mise a jour et scotchée en salle de contrôle. Le lien EDMS : https://edms.cern.ch/document/887439/1 a été ajouté sur la page web DSS

 

- La sirène en salle de contrôle est maintenant en fonctionnement (acquittement avec bouton orange ‘stop sirene  sur la supervision ou double clique sur l’alarme clignotante). Laurent va regarder le Pb pour acquitter avec le bouton rouge.

 

Prochaine réunion Jeudi 7 Février 9h00 en salle de contrôle.

Laurent

17 January

2008

Meeting du 17 Janvier 2008 : annulé.

 

----------------------

Alarmes reçues par piquet:

 

Aucune

 

(sauf prévues: ouverture porte RICH2, déconnection TT Thermoswitches, détection fuite d’eau dans le bunker suite a la vidange des circuits)

----------------------

 

La liste de téléphone a été scotchée devant la supervision en salle de contrôle. On peut la modifier au stylo, elle sera 'plastifiée' plus tard. https://edms.cern.ch/document/887439

 

Pas de réunion semaine prochaine: LHCb Week.

Prochaine réunion: Jeudi 31 Janvier 9h00 en salle de contrôle.

Laurent

10 January

2008

Meeting du 10 Janvier 2008

Présents: Eric, Rolf, Bernard, Dirk, Laurent

 

----------------------

Alarmes/SMS reçues par piquet:

 

- 26 Dec. 2007 à 23h34 FRONT-END FATAL ERROR: après test automatique de l’UPS DSU2 http://lblogbook.cern.ch/DSS/78 Pour une batterie faible une ‘simple’ Front End Error aurait normalement due être envoyée ?? De nouvelles batteries sont en commande et seront remplacées prochainement.

Rq : Stefan a écrit un document sur les opérations de maintenance périodiques (chaque année) qui devront être faites en grosse partie par les expériences : https://edms.cern.ch/document/787430/15

 

- 03 Jan. 2008 à 15h07: Arrêt d’urgence Local en D2, 15h12 Arrêt d’urgence de DSU3 (pendant travaux sur tuyaux eau mixe): http://lblogbook.cern.ch/DSS/79

 

- 07 Jan 2008 à 7h30: FRONT-END ERROR TRUE du a la coupure électrique prévue d’environ 1 minute http://lblogbook.cern.ch/DSS/80

 

- 07 Jan 2008 à 14h45 : Alarmes Porte ouverte cote A du Rich2 : Les personnes du Rich ont oubliés de nous avertir. http://lblogbook.cern.ch/DSS/81

----------------------

 

- Une modification des départs électriques sera faite sur l’EOD alimentant les racks de D2 afin de ne plus couper intempestivement le rack du Start Point Réseau (switches IT).

L’idée est de le couper uniquement sur Arrêt d’Urgence Local de D2 ou problème avec le rack DSU2 (Arrêt d’urgence équipement), mais plus sur autres défauts comme détection de fumée, de fuite d’eau, absence de cooling, température élevée...

 

- Le PC de l’interface de la salle de control sera changé par un autre model (suite aux blocages réguliers de l’écran, clavier, souris). Stefan installera la supervision sur ce nouveau PC Mardi prochain.

 

- Laurent va investiguer le problème concernant le non fonctionnement de la sirène en salle de contrôle.

 

- Rappel : lorsqu’une alarme apparaît, des actions sont prises dont celle d’envoyer un signal au systeme d’appel automatique de la CCC. Ne pas oublier d’acquitter cette action après une intervention, afin d’être averti lors d’une nouvelle alarme.

 

- Pascal, Robert et Laurent ont cherchés le problème concernant le défaut technique sur le câble de détection de fuite PS top coté C. Après le test des câbles, connexions/déconnections le défaut a disparu sans en connaître vraiment la cause (mauvais contact dans un connecteur?) aucun défaut n’est apparu après un aller-retour du PS -> à suivre.

 

Prochaine réunion Jeudi 17 Janvier 9h00 en salle de contrôle.

Laurent