|
20 December 2007
|
Meeting du 20 Décembre 2007
Présents: Eric, Rolf, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
- Déconnection du thermoswitch de la turbine défectueuse par Calo sans
avertir : http://lblogbook.cern.ch/DSS/74
- Tests Sniffer pour OT (couverture chauffantes) : http://lblogbook.cern.ch/DSS/75
- Tests des interlocks permettant de couper la haute tension sur les
patch panels si porte en plexi ouverte (door switch) racks en D3 pour IT et
TT :
http://lblogbook.cern.ch/DSS/76
- Des tests concernant l’alarme thermoswitch des Service Boxes IT coté C:
http://lblogbook.cern.ch/DSS/77
----------------------
- L'accès à distance (depuis la maison) fonctionne. Une UI est installé
sur le serveur LHCb : LBTNTS02. Certain ont un problème avec la taille de la
fenêtre PVSS-> en cour d’investigation.
- L’eau mixed sera coupée ce vendredi après-midi, aucune alarme ne sera
inhibée, on laisse agir DSS -> la plus part des départs électriques seront
donc coupés automatiquement (et laissés off jusqu’a début Janvier).
Prochaine réunion Jeudi 10 Janvier 9h00 en salle de contrôle.
Bonne fêtes de fin d’année,
Laurent
|
|
13 December 2007
|
Meeting du 13 Décembre 2007
Présents: Eric, Dirk, Rolf, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Aucune.
----------------------
- Le contact (interlock DSS) pour OT est prêt, il agit sur un relais dans
leur 'interlock system', puissance probablement connectée a une prise
"service généraux". A voir pour la puissance si on peut utiliser un
départ d'alimentation de M1 non actuellement utilisé (que DSS peut couper
directement).
- Une sonde Pt100 mesure la température dans le hall SX8 (en haut des
labos), pas d'action sauf avertissement du piquet avec warning si T>25
degC, Alarme si T>30 degC (a augmenter peut être pour l'été).
- La turbine Calo L3B11 faisant anormalement du bruit a été déconnectée
du 230V, sera normalement remplacée demain.
- Un buzzer + lumière clignotante seront installés en salle de contrôle.
Déclenchement en cas d'alarme: buzzer stop après acquittement, la lumière
disparait lorsque l'alarme disparait. Mise en fonctionnement plus tard? à
voir en fonction du bruit du buzzer...
- L'accès a distance se fera finalement par un serveur propre a LHCb
connecté au réseau technique, une User Interface PVSS sera installée directement
sur ce serveur. Avantage: plusieurs personnes pourront se connecter en même
temps, LHCb aura le contrôle des comptes sur ce serveur. Niko+Stefan font le
nécessaire pour que l'accès à distance fonctionne avant Noel.
- Jeudi prochain: Bernard fera une démo de la nouvelle pince à sertir
pour les embouts d'air comprimée (vannes eau de refroidissement) pour que
chacun puisse changer ces raccords en cas d'arrachement. L'ensemble des
embouts de la caverne seront refait pendant l'absence d'eau mixte (début
Janvier).
Prochaine réunion Jeudi 20 Décembre 9h00 en salle de contrôle.
Laurent
|
|
06 December 2007
|
Meeting du 06 Décembre 2007
Présents: Dirk, Rolf, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
SMS de Warning T>26 degC dans la salle de contrôle.
La température est également anormalement élevé dans le hall SX8 (air en
sortie de ventil a ~50 degrés, plus de 30 dégrées dans les labos) : http://lblogbook.cern.ch/Point+8+Experimental+Area/76
http://lblogbook.cern.ch/Point+8+Experimental+Area/78
72201 a été contacté, piquet TS/CV est venu plusieurs fois (mercredi,
jeudi). La température est a nouveau normale dans le hall. Les filtres
encrassés de la clim. De la salle de controle seraient la cause du mauvais
fonctionnement ? -> A suivre.
Une sonde DSS sera placée proche des labos au 2emme étage pour la mesure
de température dans le hall.
----------------------
Prochaine réunion Jeudi 13 Décembre 9h30 en salle de contrôle.
Laurent
|
|
29 November 2007
|
Meeting du 29 Novembre 2007
Présents: Dirk, Eric, Rolf, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Aucune
----------------------
- Coupure de l'eau de refroidissement le Jeudi 29 Nov (radio pour
soudures pendant la nuit): DSS a bien pris les actions attendues. Tout est
revenu a la normale le vendredi ~ 15h00.
- Tests détection de fumée + Thermoswitchs des 8 racks Muon2-5 fait le 29
et 30 Nov. http://lblogbook.cern.ch/DSS/71
- Test de l'alarme "DSS ERREUR FATAL": problème avec le message
automatique (les gens de CMS reçoivent ce message au lieu du piquet DT1 qui
reçoit le message problème sur Magnet LHCb), croissement a la CCC, en cour
d'investigation.
- Code PIN Téléphone : 6851
Prochaine réunion Jeudi 6 Décembre 9h00 en salle de contrôle.
Laurent
|
|
22 November 2007
|
Meeting du 22 Novembre 2007
Présents: Dirk, Eric, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Le 21 Nov : Fuite en D3: pendant des travaux en rangée B (purge d’un
rack?) de l’eau s’est écoulée dans le faux planché, la détection D3 s'est
déclenchée.
La sonde en bas de l’écoulement n’a pas déclenchée due à une fuite vers
la boite de récupération des écoulements -> A permis d’éviter une coupure
de D3, mais aussi de voir que la sonde en bas d'écoulement ne déclenche pas
-> la fuite devra être réparée.
Le 22 Nov : coupure électrique de D3 due à un court circuit sur le 24V
dans le rack DSU3 pendant les travaux de raccordement avec la CCC : http://lblogbook.cern.ch/DSS/71
----------------------
- FATAL ERROR est maintenant connecté à la CCC. L’appel vocal automatique
pour cette alarme va directement au piquet CES (Common Experiment System de
DT1), en jour ouvrable ils appellent Laurent ou le On-Call DSS LHCb. Laurent
et Eric reçoivent un SMS pour cette alarme.
- Une DSS Advisory Board a eu lieu Lundi a propos de l’extinction CO2. SC
a donné des conseils et souhaite que chaque Expériences fasse un document
détaillé de leur installation-> le document est en cour de rédaction.
On proposera dans le document une détection de CO2 dans D3 et la
possibilité de couper la source de tension par clé avant travaux dans les
racks.
Prochaine réunion Jeudi 29 Novembre 9h00 en salle de contrôle.
Laurent
|
|
15 November 2007
|
Meeting du 15 Novembre 2007
Présents: Rolf, Dirk, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Fuite Calo PS/SPD cote C : le défaut se produit lors des déplacements du
PS (cote C) ou du plomb, le câble sensible est peut être coincé quelque part?
En cour d'investigation par Calo: http://lblogbook.cern.ch/DSS/65.
----------------------
- le 15 Nov. une FE Error a été envoyée comme attendu lors de la coupure
de courant de 7h00 (10min) les 3 UPS de DSS ont bien pris le relais sans
problème.
Rq: Cette coupure électrique a provoqué l'arrêt de l'eau glacée (elle est
passée de 7 degC a 7h00 a ~16degC a 10h30). Etat normale (7 degC) vers 11h00.
qq précisions: DSS teste toutes les 2 semaines les batteries de l'UPS en
coupant l'alimentation électrique pendant 10 secondes. Le signal FE ERROR est
déclenché que si absence d'alimentation pendant 30 secondes. FATAL ERROR est
déclenché lorsque la fin des batteries approche (qq minutes).
- Stefan a modifié le code de la PLC: http://lblogbook.cern.ch/DSS/68.
Le signal 'FATAL ERROR' vers la CCC va pouvoir être câblé prochainement.
- TS/CV: L'eau mixted à été vidangée le 14Nov puis remplit le 15Nov pour
la radiographie des soudures.
Suite à la mesure de débit sur tous les circuits, les problèmes de
Flowswitches, vannes de régulation ont été reportés à TS/CV.
- Des tests ont été fait avec TT, de nouvelles alarmes sont en fonctionnement(Thermoswitchs
Service boxes cote A, detection fuite d'eau): http://lblogbook.cern.ch/DSS/66 + http://lblogbook.cern.ch/DSS/69
Prochaine réunion Jeudi 22 Novembre 9h00 en salle de contrôle.
Laurent
|
|
08 November 2007
|
Meeting du 08 Novembre 2007
Présents: Rolf, Eric, Dirk, Bernard, Laurent En raison du nombre
important d'absents la réunion de la semaine dernière a été annulée.
----------------------
Alarmes/SMS reçues par piquet:
Erreur Fatale le 1er Nov: une des 2 CPU est en stop (arrêtée
involontairement pendant les travaux par Stas+Elena?): http://lblogbook.cern.ch/DSS/64
Warning sur température dans SX8: Clim. hors service pendant la maintenance
sur l'eau glacée en surface.
----------------------
- Le câble coupé de détection de fuite de Calo est réparé: http://lblogbook.cern.ch/DSS/63
- Le tableau concernant les Flowswitch/Vannes TA/débits sur les 13
circuits d'eau mixed sera finalisé courant semaine prochaine. 3 vannes TA (de
B1) montée à l'envers + 3 problèmes de Flowswitch ont déjà été signalés à
TS/CV.
- Provisoirement, les flowswitchs qui ne fonctionnent pas, soit parce
qu’ils sont défectueux soit parce qu'il n'y a pas assez de débit (équipements
pas encore tous branchés) seront remplacés dans les alarmes par les
Flowswitchs de D1+D2 et de D3B (AND entre les deux)->permet de prendre des
actions si absence général d'eau mixted mais pas par exemple si une vanne
manuelle du circuit concernées est fermée ou vannes automatiques se
ferment(Pb: tuyaux d'air, électrovannes...).
- Un raccord d'air comprimée a été refait le 1er Nov par Bernard sur D3A.
Une pince à sertir portable a été commandée. Tous les raccords douteux seront
refaits. Bernard fera une démo.
- D'après Loic le problème de la supervision en SX8 qui se bloque de
temps en temps a aussi été constaté sur 2 autres postes de la salle de contrôle.
Ce problème ne viendrait pas forcement de PVSS mais plutôt du PC lui même, a
suivre...
- Le câblage des bouteilles de CO2 se termine. Securiton doit faire le
câblage dans leur PLC. Puis chaque alarmes sera testée une par une (un câble
test à la place de la bouteille). L'objectif est de faire un test réel avec
déclenchement d'une bouteille pour la fin d’année (dans~6semaines). Il est
prévu de mesurer le courant nécessaire au déclenchement du système
pyrotechnique (cette données n'a jamais été donnée clairement par le
constructeur), mesure du bruit (système de Dirk), éventuellement mesure du
CO2 autour du rack (avec un appareil portable).
Prochaine réunion Jeudi 15 Octobre 9h30 en salle de contrôle.
Laurent
|
|
25 October 2007
|
Meeting du 25 Octobre 2007
Présents: Rolf, Eric, Dirk, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Fuite dans Bunker : légère fuite d'un raccord de flexible-> réparée
après serrage http://lblogbook.cern.ch/DSS/60.
----------------------
- Persistance fixée à 10min sur les flowswitch pour l'instant (sera
probablement diminuée lorsque l'ensemble des équipements seront en
fonctionnement): http://lblogbook.cern.ch/DSS/61 .
- Un tableau récapitulatif des problèmes avec l'instrumentation
(Flowswitch,Pt100,vannes de régulation) des circuits d'eau sera fait la
semaine prochaine (calibration du débitmètre ultra sons prévu demain).
- la boucle de détection de fuite de PS Top sideA est ouverte? en cour
d’investigation par Calo : http://lblogbook.cern.ch/DSS/62.
- Rappel: l'ensemble des clés se trouve maintenant dans le coffre bleu a
l'entrée de la salle de contrôle.
Je suis absent le 1er Novembre, prochaine réunion Mercredi 31 Octobre
après réunion de Daniel ~16h00 en salle de contrôle.
Laurent
|
|
18 October 2007
|
Meeting du 18 Octobre 2007
Présents: Rolf, Eric, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
RICH2: ouverture de la porte détecteur, déconnexion de la chaine
Thermoswitches non voulu pendant les travaux dans patchpanel(voir Logbook).
----------------------
- Un test de MobiCall (appel automatique de la CCC) a été fait Jeudi
pendant la réunion. Déclenchement de "Alarm DSS sur LHCb" appel un
par un des 4 numéros de la liste en boucle (3 boucles testées puis
confirmation de l'intervention).
Hors reunion:
- Arrêt prévu (maintenance) de l'eau mixted depuis Jeudi 18 matin, repris
Vendredi 19 à 18h16 (Flowswitch D1-D2 inhibé demandé par Niko).
- Tests des AUG Vendredi 19: les UPS des DSUs ont bien repris le relais à
chaque coupures (arrêt d’urgence dans la station coupe 18kV, 1min après le
disesel reprend le relais, modification de tiroirs dans US nécessitant la
coupure de l’ESD pendant ~45min).
On recoit immediatement le SMS: "FE-Error" lors du passage sur
un UPS.
Prochaine réunion Jeudi 25 Octobre 9h00 en salle de contrôle.
Laurent
|
|
11 October 2007
|
Meeting du 11 Octobre 2007
Présents: Rolf, Eric, Dirk, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Alarmes (voulues) venant de la CCC pendant les tests du câblage (les deux
alarmes fonctionnent correctement).
"ALARME sur DSS LHCB" est maintenant opérationnelle,
"ERREUR FATAL SUR DSS LHCB" le sera en Novembre (Stefan doit
modifier le code de la PLC).
L'action 'ZA_CCC_Alarm_signal_sent' sera ajoutée à toutes les alarmes. Il
faut inhiber cette action pour ne pas envoyer de signal vers la CCC
(ex:pendant des tests).
Lorsqu’une alarme est déclenchée, le téléphone de piquet reçoit:
- le SMS venant de l'application DSS_PVSS qui donne le détail de l'alarme
ex : 'AL_BARRACK_D1D2_Mixed_Water_Cooling_Not_Ok'
- le SMS venant du système MobiCall de la CCC : 'SERV_EXPERIENCE_LHC
SX8-2885-R DSS_LHCB A ALARME SUR DSS LHCB ACTIVE'.
Rq : Dans certain cas, on peut recevoir les SMS avec beaucoup de retard
ex : absence de réseau technique au moment de l’alarme, problème avec le
système d’envoi, jours particuliers (Noel, 31Dec, finale coupe du monde de
rugby...)...
Dans tout les cas on recevra immédiatement:
- l'appel téléphonique automatique avec message vocale : 'Alarme sur DSS
LHCb (répété 2 fois) pour confirmer appuyer sur 3 , pour passer l’alarme a la
prochaine personne appuyer sur 4'
La liste des personnes communiquées à la CCC est dans l'ordre:
LHCb On-Call: 163051
Eric: 162029
Rolf: 163052
Laurent: 162989
----------------------
Prochaine réunion Jeudi 18 Octobre a 14h00 en salle de contrôle.
Notez l’heure inhabituelle en raison du cours sécurité organise par
Bernard a 8h30 (ou Eric et Laurent participent).
Laurent
|
|
04 October 2007
|
Meeting du 04 Octobre 2007
Présents: Rolf, Eric, Dirk, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Alarme CCC due à la déclaration des deux alarmes dans leur système. Elles
ne sont pas encore opérationnelles: le câble est en attente de connexion coté
PP(Mr Trebulle), on doit faire la connexion coté rack DSS.
----------------------
- IT: Test du thermoswitch
service Boxe 1A et des thermoswitches des racks (bunker+D3): http://lblogbook.cern.ch/DSS/53
- PS/SPD: fin des tests thermoswitches(32 Front End boxes), reste un
câble sensible a tester (total 8).
- L'ajout de mémoire dans le GatewayPC a amélioré la rapidité de
l'application PVSS: http://lblogbook.cern.ch/DSS/55
- Il faut être administrateur sur le Gateway pour l'accéder à distance:
Stefan n'est pas d'accord que 5 personnes à LHCb soit administrateurs. J'ai
demandé à Niko s'il était possible d'avoir un serveur avec une "PVSS
user interface" de DSS. Il va installer une machine après autorisation
pour la connexion sur réseau technique.
- L'installation (électrique) du système de CO2 pour les racks a commencé
(Elena et Stas).
Prochaine réunion Jeudi 11 Octobre 9h00 en salle de contrôle.
Laurent
|
|
27 September 2007
|
Meeting
du 27 Septembre 2007
Présents: Rolf, Eric, Dirk, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Vendredi 21 Sept : Plus de signal de la sonde Pt100 du RICH2 coté A: des
gens du Rich faisaient une modification de câblage (autre que la Pt100),
après investigation, ils ont refait une partie du connecteur de cette Pt100. http://lblogbook.cern.ch/DSS/52
----------------------
Le câble de détection de fuite Rack HCAL cote C a été réparé.
Des tests de thermoswitches pour PS-SPD ont eu lieu et se poursuivent
aujourd'hui.
Toutes les personnes du piquet sont maintenant déclarées pour ce logger
sur le Gateway PC (dans le rack DSU1). Rolf et Dirk se sont logger sur la
machine une première fois avec présence du réseau, Bernard doit le faire. La
machine conserve les 50 derniers loggins et autorise la connexion ensuite
même sans réseau.
But:
- accéder à la supervision dans le
rack DSU1, même en cas de coupure électrique ou de réseau en SX8.
- accéder a distance au Gateway
(depuis la maison en 'Remote Desktop Web Connection') via le serveur
CERNTSAB06-> Laurent et Eric peuvent le faire, Rolf attend l’accès a ce
serveur, Bernard et Dirk doivent faire la demande : https://websvc02.cern.ch/terminalservices/ en expliquant que étant membre de l'équipe qui gère les alarmes DSS à
LHCb vous devez pouvoir accéder au Gateway PC: pclbdssgw01.
J'ai fait un update du calendrier des "tours" de piquet en
reprenant le cycle normal (Eric,Rolf,Laurent,Berni,Dirk) jusqu'au 19 Décembre
(la période de Noel étant toujours délicate !!:) Mais sans activité humaine,
le risque d'avoir une alarme est diminué). Bien entendu ce calendrier peut être
changé à volonté.
https://twiki.cern.ch/twiki/bin/view/LHCb/LHCbDSSshiftlist
Prochaine réunion Jeudi 4 Octobre 9h00 en salle de contrôle.
Laurent
|
|
20 September 2007
|
Meeting du 20 Septembre 2007
Présents: Rolf, Eric, Dirk, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
Jeudi 6 Sept: "FE:ERROR" due a un problème de la carte relais
de l'UPS : changée par Laurent le 12/09 http://lblogbook.cern.ch/DSS/50
Vendredi 7 Sept: température élevé dans la salle de contrôle SX8 due a
une panne sur l'eau glacée. Rolf a appelé la CCC qui a averti TS/CV. Apres
leur intervention, la température est redescendue à une valeur normale :http://lblogbook.cern.ch/DSS/47
Mardi 11 Sept: Détection fumée dans D1: due à une intervention sur
climatisation, utilisation d'un spray dégraissant qui a fait déclencher: http://lblogbook.cern.ch/DSS/49
Vendredi 14 Sept: "Water_Leak_System_FAULT": le câble de
liaison pour la sonde dans le rack Hcal cote C a été coupé : http://lblogbook.cern.ch/DSS/51
----------------------
La mailing liste lhcb-dss@cern.ch a été crée. Les détecteurs devront
faire leur demande d’inhibition d’alarme etc. à cette liste afin que l’on
soit tous informés.
La proposition de connecter le DSS au système
"Mobil-call"(orthographe?) ancien ANS de la CCC a été accepté à la
dernière réunion 'DSS Advisory Board'. Les 4 expériences feront la même
chose:
- 1 signal qui indique une "FATAL ERROR" du system ->
problème hardware du système: le CES piquet (DT1) sera automatiquement
appelé.
- 1 signal qui indique qu'une alarme DSS s'est déclenchée (l'expérience
pourra déclarer dans la supervision DSS quelles alarmes remontent ou pas a la
CCC) -> géré par l’expérience (notre piquet sera automatiquement appelé).
Prochaine réunion Jeudi 27 Septembre 9h00 en salle de contrôle.
Laurent
|
|
05 September 2007
|
La réunion du 05 Septembre 2007 est annulée.
----------------------
AUCUNE Alarme/SMS n'a été reçue par le piquet cette semaine.
----------------------
Pas non plus de réunion la semaine prochaine (LHCbWeek).
Prochaine réunion Jeudi 20 Septembre 9h00 en salle de contrôle.
Rolf a le téléphone jusqu'a Lundi, Berni jusqu'a Mercredi, puis Laurent
jusqu'au Jeudi semaine suivante, on reprend ensuite le cycle avec des
périodes Jeudi-Jeudi.
Bon Jeune Genevois, bonne LHCbweek,
Laurent
|
|
30August 2007
|
Meeting du 30 Aout 2007
Présents: Rolf, Eric, Bernard, Laurent
----------------------
Alarmes/SMS reçues par piquet:
"Warning" concernant l'humidité dans les baraques: l'humidité
dans l'air est particulièrement élevée en ce moment, la ventilation ne
fonctionne plus dans la caverne, les clim de D3 ne sont pas encore en
fonctionnement--> Eric a fait monter la température de l'eau mixte a
18degC par TS/CV.
----------------------
Logbook -> Oracle
Depuis Jeudi 23/08 les événements (sensor triggering,alarm,action) sont
sauvegardés dans la base de données Oracle: lhcb_dss. Les valeurs des
capteurs analogiques sont sauvegardées sur le disque dur du gateway (avec une
durée indéfinie au lieu de 1 mois jusqu'a maintenant) en attendant la version
3.6 de PVSS qui permettra de les sauvegarder également dans la base lhcb_dss.
Le SMS sur l'état du FE et de la communication est envoyé à 16h00 au lieu
de 12h00 (celui de 7h00 reste inchangé).
Une discussion aura lieu mi Septembre avec les autres expériences et DSS
Team pour recevoir immédiatement un message (via la CCC) lorsqu'il y a
quelque chose d'anormal plutôt que "d'attendre" ces messages pour
le savoir.
Mercredi 29/08: coupure électrique de D3 et B1 suite a un problème
d'affichage "alarm masked" et manip de Laurent dans PVSS: http://lblogbook.cern.ch/DSS/43 en
cour d'investigation par IT/CO.
Prochaine réunion Mercredi 5 Septembre ~16h00 après la réunion EA
(Daniel) en salle de contrôle (Jeudi: Jeûne Genevois).
Laurent
|
|
23August 2007
|
Meeting du 23 Aout 2007 Présents: Eric, Rolf, Bernard, Vincent, Laurent ---------------------- Alarmes/SMS reçues par piquet: Aucune Alarme. Jeudi 23/08 8h00: Message "LHCb:FE ERROR". Un relais ne s'est pas recolle après le test automatique de l'UPS. Ok après -> déconnexion+reconnexion de la carte 'APC Realay I/O Module' a l'arrière de l'UPS. ---------------------- Rich2 a reconnecté les 4 sondes Pt100 du beakout -> l'alarme est a nouveau en service. Christophe Frei et Laurent reste informes SMS+Mail (si quelqu'un déconnecte une sonde ou coupe un câble). Discussion sur test CO2: La semaine prochaine, Minimax devrait finir l'installation mécanique des bouteilles (Calo+Muon). TS/CSE devrait rajouter les relais supplémentaires pour fin Septembre. Les Russes feraient le câblage pour fin Octobre. Un test de l'ensemble de la chaine pourrait alors être fait (fumée dans un rack+ déconnection du TS->déclenchement de la bouteille, signal pressostat ouvert). Vincent demande a la compagnie une bouteille pour ce test (peut être fait avec de l'air si moins cher), commande de bouteilles en spare, contrat de maintenance prévu? Mixed Water: On devrait recevoir le débitmètre US en fin de semaine prochaine. Deux tuyaux d'air ont à nouveau fuit (Vendredi coté électrovanne, Jeudi coté vanne D3/B) dans les deux cas les vannes sont restées ouverte. Bernard va mesurer combien de pression est nécessaire pour ouvrir les vannes. Apres avoir refait les connections défectueuses, on pourra peut être diminué les 6 a 7 bars actuel (détendeur sur l'arrivée) pour moins solliciter les connexions si pas utile. Prochaine réunion Jeudi prochain 30 Aout Matin 9h00 en salle de contrôle. Rappel: Comme l'a déjà signalé Rolf, vous pouvez retrouvez les résumés des "DSS Meetings" du Jeudi matin ici: http://lhcb-comp.web.cern.ch/lhcb-comp/DSS/lhcb_weekly_meeting.htm Tous les liens vers les documents, présentations, piquet planning, numéro de téléphones,...sont sur la page web DSS LHCb: http://lhcb-comp.web.cern.ch/lhcb-comp/DSS/default.htm Laurent |
|
16 August 2007
|
Meeting du 16 Aout 2007 Présents: Rolf, Bernard, Laurent Pas de tests DSS effectués cette semaine. ---------------------- Alarmes/SMS reçues par piquet: Vendredi 10/08: "dssadmin@cern.ch LHCb:FE ERROR:" message de 12h30--> Rich2 a déconnecté les deux autres sondes Pt100 du beakout (voir mail ci-joint), le module Pt100 automate a généré l'erreur (les 4 sondes 'beakout' sont provisoirement inhibées). Lundi 13/08:"AL_BARRACK_D3B_Mixed_Water_Not_Ok" (contact Flowswitch ouvert, coupure électrique des racks de D3B) un flexible d'air comprimée s'est à nouveau arraché d'une électrovanne. Apres un peu plus d'investigation Bernard a trouvé d'ou provient ces arrachements de tuyaux. Il prépare un 'Kit réparation' avec un outillage à sertir plus 'portatif', une bouteille d'azote permettant de maintenir ouvert les vannes pendant la réparation. ---------------------- Rolf va imprimer une première liste de numéros de téléphone Cern pouvant être utiles. Elle sera scotchée a coté de la supervision en salle de contrôle. Ces numéros seront dans le téléphone piquet. Si pas d'objection, Laurent suggère aussi que chaque membre du piquet entre son téléphone personnel dans le téléphone piquet. Rq: En cas de 'gros' problème, la CCC peut normalement nous donner le numéro personnel des gens Cern (base de données HR). Prochaine réunion Jeudi prochain 23 Aout Matin 9h00 en salle de contrôle. Laurent
|
Alarm DSS pt sensors Rich2
|
|
"Didier Piedigrossi"
<Didier.Piedigrossi@cern.ch>
|
|
Fri, 10 Aug 2007 10:19:48 +0200
|
|
"Rolf Lindner"
<Rolf.Lindner@cern.ch>, "Eric Thomas"
<eric.thomas@cern.ch>, "Laurent Roy"
<Laurent.Roy@cern.ch>, "Olav Ullaland"
<Olav.Ullaland@cern.ch>, "Christophe
Frei" <Christophe.Frei@cern.ch>, "Erich
Albrecht" <Erich.Albrecht@cern.ch>
|
Dear all, You will have an allarm concerning two temperature sensors of Rich2 Do not pay attention, I have to disconnect them to re-do proper connections. Our cable label is VDSSC0 if usefull Apologise for the people not concerned by this Regards Didier
|
|
09 August 2007
|
Meeting du 09 Aout 2007 Présents: Rolf,Dirk,Laurent Semaine passée: - Les sondes Pt100 du Central Tube Rich2 sont déconnectées pour ~ 2 semaines par Christophe. - Tests des racks Thermo switches de OT (2 Bunker, 6 dans D3, 1 sur B1)-> L'alarme est maintenant en fonctionnement: coupure électrique si TS ouvert. - Warning "PT_TE_Mixed_Water_UXA-C" sur la supervision--> l'eau mixed sort a plus de 30deg (maxi 32,5 deg) due aux tests fait par Paolo sur les unités de refroidissement. ---------------------- Alarmes/SMS reçues par piquet de cette semaine : Lundi:"AL_BARRACK_D3A_Mixed_Water_Not_Ok" (contact Flowswitch ouvert, coupure électrique des racks de D3A) Un flexible d'air comprimée s'est arraché de l'électrovanne. Bernard a réparé, il va faire le tour de tous les flexibles et les faire refaire si besoin par Sacha dès son retour de vacance. Mercredi: "dssadmin@cern.ch LHCb:FE ERROR:" reçu lors du message de 12h30 (au lieu de "LHCb:DSS FE and COMMUNICATION ARE OK") Due à une erreur sur un module automate d'Entrée Analogique provoquée lors de la fixation du capteur d'humidité de la caverne (sous balcony vers téléphone) -> l'erreur disparait après acquittement dans le panneau PVSS du capteur concerné. Rappel: un message est envoyé tous les jours a 7h30 et 12h30. FE ERROR (erreur mineur dans le system DSS) peu attendre plusieurs heures FE FATAL ERROR (erreur assez importante comme perte de la redondance Probibus ou Alimentation électrique, l'UPS ne fonctionne plus...) il faut intervenir. Pour avoir plus d'information lorsque l'on reçoit ces messages-> utiliser le panneau "System Diagnostic" (avec Browse/System Diagnostic). Remarque: ces messages indiquent un problème 'hardware' interne au DSU ce n'est pas au 'LHCb Piquet' d'intervenir. - en heures ouvrables je recois egalement le message->c'est moi qui intervient. - en dehors des heures ouvrables-> essayer de m'appeler (numero perso dans telephone de piquet) sinon demander a la CCC Tel:72201 d'avertir le CES piquet (Common Expriment System Tel:162082). On a créer volontairement un défaut pour voir ce qui ce passe sur la supervision en enlevant une pile d'une des deux alim CPU. ---------------------- Prochaine réunion Jeudi prochain 16 Aout Matin 9h00 en salle de contrôle. Laurent
|
|
02 August
2007
|
Meeting du 02 Aout 2007 Présents: Rolf,Bernard,Dirk,Laurent Semaine passée: - Tests des 12 Thermo switches OT (au dessus des boites de fusibles/régulateurs de tension en haut des C-frame). àL'alarme est maintenant en fonctionnement: coupure electrique de B1C01 si une des deux chaine de TS (cote A ou C)est ouverte. - Modification de l'orientation du Flowswitch CALO cote A par Francois (on a maintenant le contact fermé en présence de débit) à L'alarme 'cooling not Ok CALO A side' (Pas de debit ou Temp>25 degC) est maintenant en fonctionnement, elle coupe l'alimentation électrique cote A si elle est déclenchée. ---------------------- Alarmes/SMS reçues par piquet de cette semaine : Aucune (sauf celles attendues pendant les tests avec OT Thermo switches) ---------------------- Prochaine réunion Jeudi prochain 9 Aout Matin 9h00 en salle de contrôle. Laurent
|
|
26 July 2007
|
Meeting du 26 Juillet 2007 Présents: Bernard,Dirk,Laurent Semaine passée: - Tests fuite d'eau et Thermo switches (en partie) pour PS-SPD. - Tests avec Floris Bonthond (PLC Incendie) pour comprendre les deux 'problèmes' survenus les semaines passées. 1) appel pompier pour détection dans D3A (soudure platforme UXA-A1)rien recu par DSS. Deux détecteurs sont utilisés par aspiration, le programme actuel envoie un contact aux pompiers si un des deux déclenche alors qu'il faut les deux pour DSS à TS/CSE va discuter en interne+pompiers pour revoir et faire la même chose pour les 4 expériences. 2) coupure electrique de D1 par DSS sur signal 'detection dans D1'. Une clé inhibition des départs vers DSS a été installée, puis testée. Clés manoeuvrée, déclenchement de D1 avec de la fumée, DSS n'a rien recu dans un premier temps, mais lorsque la PLC a été 'rebootée' le signal 'détection D1' a été envoyé à TS/CSE investigue et corrige. Autre : Laurent a fait une demande pour avoir des alarmes 'câblées' de la PLC DSS vers la CCC (ANS). L'idée est d'avoir un signal 'LHCB DSS Alarm' pour les alarmes et un 'LHCb DSS Fatal Error' pour un problème technique de DSS. On aurait alors un appel téléphonique (boite vocal)->plus fiable et sans doute plus efficace pour un réveil la nuit... ;) plutôt que le bip d'un SMS. On recevrait toujours les SMS avec le détail de l'alarme qui sont envoyés eux par soft (PVSS). Peut être ceci pourrait être commun aux 4 expériences, Wayne va organiser un DSS Advisory board. ---------------------- Alarmes/SMS reçues par piquet de cette semaine : Aucune (sauf celles attendues pendant tests avec PLC incendie) ---------------------- Prochaine réunion Jeudi prochain 2 Aout Matin 9h00 en salle de contrôle. Laurent
|
|
19 July 2007
|
Meeting du 19 Juillet 2007 Présents: Eric,Bernard,Dirk,Laurent Semaine passée: - Lundi: Tests avec Calo des thermo switches 'Electronic boxes' PS (uniquement ceux accessibles: Top C side and Bottom A side) - Mardi matin: un tuyau d'air comprimé s'est arraché dans le rack 'électrovannes' eau de refroidissement à Bernard a réparé et fera le tour de l'ensemble des tuyaux (aussi coté vannes). - Fuite d'eau de la semaine passée (Chiller en D4) à Bernard va vérifier les bouts d'écoulements + faire des tests avec ~1litre d'eau a chaque écoulements à Laurent rajoutera une sonde dans le bac qui sera installé (action si détection: fermeture eau mixte de UXA-C). - Mardi ~18h00 : Perte de l'OPC Server (plus de communication entre PLC et PC de supervision: sans le savoir) -> SMS+email seulement le lendemain a 12h00, Laurent(Piquet) a appelé Stefan qui a rebooté le gateway PC ~ vers 13h00 : communication a nouveau opérationnelle-> après investigation Stefan ne peut pas dire exactement ce qui c'est passé ( problème du switch Ethernet?, de la carte PLC de communication Ethernet ? du câble entre les deux ?). à Laurent va demander s'il est possible d'être averti (SMS+email) plus tôt. Pendant l'arrêt de la supervision, il y a eu l'alarme AL_TS_rack_Ecal_Aside_open (Thermoswitch turbine ouvert) qui a provoqué la coupure 'Marathon PS' cote A. (Le PLC a donc bien continué à fonctionner, mais aucun avertissement). à Laurent va se renseigner pour avoir un contact depuis la PLC DSS vers le system ex ANS (alarm notification serveur) de la CCC.(alarme général 'LHCb DSS Alarm')à plus fiable que SMS et plus 'efficace' la nuit :le téléphone piquet sonne jusqu'à se qu'on réponde au lieu d'un 'bit' pour les SMS. ---------------------- Alarmes/SMS reçues par piquet de cette semaine : 1)Mardi matin : 'LHCb:FE ERROR:' -> due a une pile de back-up défectueuse sur alim CPU : changement de la pile vers ~12h45. 2)Mercredi : 'LHCb :OPC NOT WORKING' -> appelé Stefan voir ci-dessus, alarme CALO (pas de mail,ni SMS reçu) acquittée a distance sur la supervision Mercredi vers 17h30 en pensant que rien n'avais coupé mais seulement due au reboot du PC (comme s'est souvent le cas lorsque le PC est rebooté:probleme deja signalé). à Après appel du Calo, Vincent a remis 'On' le disjoncteur Jeudi matin. 3)Jeudi 9h00 : Alarme Fuite d'eau Bunkerà installation cooling du Muon ? Les travaux d'installation+purge sont terminés dans le bunker ->cette alarme est rendue active (fermeture des vannes + coupure électrique des racks concernés). ---------------------- Prochaine réunion Jeudi prochain 26 Juillet Matin 9h00 en salle de contrôle. Laurent
|
|
12 July 2007
|
LHCb DSS Meeting du 12 Juillet 2007 Présents: Eric,Bernard,Dirk,Laurent - Lundi matin: 1) vérification des actions liées à la détection de fumée dans les racks (simulation soft des entréesàcoupure électrique des racks ou groupe de racks). * Ces alarmes sont maintenant en fonctionnement (D3+caverne) 2) tests des alarmes liées aux 3 Flowswitches Barraques remplacés récemment : Fermetures des vannes -> les contacts des flowswitches ne s'ouvrent pas alors qu'il n'y a plus de débit. En augmentant le seuil de déclenchement avec la vis de réglage (+ de compression du ressort)pour D1/D2, on arrive a faire ouvrir le contact lorsqu'il y a disparition du débit -> 'un peu bricolage'. TS/CV devra faire eux même ces réglages, avant de les avertir on va mesurer les débits aux différents endroits par rapport aux plages données par le constructeur des flowswitches (Bernard à commander le débitmètre a ultra son). - Lundi après-midi: Tests avec Rich2 (Olav). Connexion sur le Rich Patchpanel d'un connecteur de tests pour simuler les défauts. Tests pour chaque coté du détecteur: Alarm HPD Thermoswitches chain open Alarm Pt100 (warning a 35degC, action a 40degC)faite avec une resistance variable. Door switches (DSS envoi un contact au system de détection de lumière qui lui coupe la haute tension) Tests dans D3: Alarm 'Détection de lumière' -> sans action, info publiee pour ECS Alarm thermoswitches 'Turbine' chain open -> coupe les 3 racks * Toutes ces alarmes sont maintenant en fonctionnement - Mardi matin : amélioration du câblage Profibus (élimination des boucles dans les goulottes des racks)+ suppression des terminaisons actives dans DSU3 (non justifiées par rapport a la distance et source de panne) - Mercredi matin : Tests avec TT de la détection de fuite d'eau + Thermoswitches des Detectors boxes et Services boxes à câblage correct. * Ces alarmes restent inhibées pour le moment - Mercredi après midi: tests des thermoswitches à l'intérieur des boites électroniques de PS coté A bottom. - Bernard a récupéré 2 boutons 'Bris de glace' pour le déclenchement Hi-Fog. ---------------------- Alarme de cette semaine. Beaucoup d'alarmes 'normales' dues aux différents tests. Autres alarmes 'non attendues': 1) Alarm 'Fuite d'eau dans D3' Lundi 09/07 17h15 Due à une fuite en D4 du Chiller de TS/CV Un problème sur l'écoulement du bas a fait que l'eau n'est pas allé dans la boite de récupération ou se trouve la seconde sonde (D3 aurait sinon été coupée). Rq : Malgré l'intervention de TS/CV cette fuite s'est reproduite le lendemain. --> Paolo va installer un bac sous le Chiller. --> Bernard va vérifier l'écoulement. 2) Alarm Détection de lumière dans Rich2 mardi 10/07 a 8h13 Eric et Bernard était dans la caverne a ce moment la et non rien remarque d'anormal. --> Olav va investiguer 3) Alarm Incendie en D1 (sans sirène) Mercredi 11/07 a 10h55 Des personnes ont fait de la maintenance sur la centrale, l'inhibition des départs DSS semble ne pas avoir fonctionne pour D1. --> Denis Raffourt va investiguer. ---------------------- Rappel : petite reunion tous les Jeudi Matin 9h00 en salle de controle. Laurent
|
|
14 June 2007
|
LHCb DSS Meeting du 14 Juin 2007 Present: Eric,Bernard,Rolf,Dirk,Laurent - Rappel sur le SMS envoyé a ~ 7h30 et 12h30 Il signale le bon fonctionnement de la communication entre le BackEnd (supervision) et le FrontEnd (Automate)'LHCb:DSS FE and COMMUNICATION ARE OK', s'il y a un problème avec le FrontEnd le message sera: 'dss_FE:ERROR' (pas trop grave) ou 'dss_FE:FATAL ERROR'-> il faut intervenir assez rapidement, car peut avoir une incidence sur la fiabilité de DSS (un CPU en panne, une des alim redondante en panne...). - Laurent absent du 18 au 29 juin En cas de problème avec DSS vous pouvez appeler Stefan Lueders ou spécialement pour la supervision PVSS directement Giulio Morpurgo. Remarque: ces deux personnes reçoivent également tous les jours le SMS automatique (Stefan) ou Mail (Giulio). Laurent mettra tous les documents nécessaires pour dépannage sur EDMS et enverra les liens avant Vendredi. - Bernard a constitué un trousseau de clés complet pour les accès et diverses ouvertures (armoires électriques, SAS, Clim...) - Le BeakOut se termine aujourd'hui: le piquet est à nouveau activé uniquement pendant les heures ouvrables. - Nouvelles alarmes en fonctionnement pour le CALO: Thermoswitches des turbines-> coupure électrique des racks Fuite d'eau dans un racks--> fermeture des vannes+coupures électriques Water cooling not Ok cote C(Flowswitch ou Température)--> coupures électriques - Tests détection de fumée dans les racks par Securiton : Lundi prochain 14h00 (Vincent et Securiton seront présent) On va profiter de ces tests pour verifier egalement le cote DSS, d'autres tests seront refais ulterieurement. Laurent va programmer les alarmes avec les actions inhibées. Les actions seront désinhibées par Eric Lundi avant les tests pour Calo seulement. Les alarmes détection incendie des baraques D3A et D3B seront masquées par sécurité (risque de coupure électrique). - Les boutons de déclenchement Hi-Fog seront placés vers la porte d'accès principale (pour D1 et D2), déclenchement par bouton type 'Bris de glace'. ---------------------- Aucune alarme de cette semaine. ---------------------- A+ Laurent
|
|
7 June 2007
|
LHCb DSS Meeting du 07 Juin 2007 Present: Bernard,Rolf,Dirk,Laurent - Login et mot de passe individuel pour accéder a la supervision DSS (chacun a prit son Nice login comme DSS login, Rq:il faudra le changer sur la supervision si Nice change). Les droits sont 'Read' et 'Acknoledge', le droit'DSS Expert'(modification des seuils, alarm...) sera rajouté plus tard. Pour le moment seul Laurent et Eric peuvent accéder a distance a la supervision (Remote Desktop directement sur le Gateway PC): a voir plus tard avec Stefan pour les autres personnes du piquet. Remarque: pour le moment le 'DSS LHCb piquet' n'intervient que en jour ouvrable (8h30-17h30). - résumé par Laurent des alarmes en fonctionnement actuellement. - 1er explications sur l'application PVSS, intitulés...(Input/Alarm/Action) - Un SMS est envoyé automatiquement chaque jour au téléphone de piquet a ~ 7h30 et 12h30. Il signale le bon fonctionnement de la communication entre le BackEnd (supervision) et le FrontEnd (Automate)'LHCb:DSS FE and COMMUNICATION ARE OK', s'il y a un problème avec le FrontEnd le message sera: 'dss_FE:ERROR' (pas trop grave: ca peut être par exemple un sensor débranché) ou 'dss_FE:FATAL ERROR'-> il faut intervenir assez rapidement, car peut avoir une incidence sur la fiabilité de DSS (un CPU en panne, une des alim redondante en panne...). - Précision sur le rôle du piquet (point de vue de Laurent): Intervenir sur la supervision en cas d'alarme déclenchée (SMS), trouver les causes, diagnostiquer une éventuelle panne, appeler les personnes concernées. Rolf va faire une liste des différents services/personnes (examples:piquets TS/EL, TS/CV, pompiers 'non urgent',...) Laurent précise qu'en cas de problème 'harware' interne aux DSU (automate,UPS,relais,optocoupleurs...) en dehors des heures ouvrables c'est au Piquet'MNO'(general aux 4 expériences, Tel:162082) d'intervenir. C'est Laurent qui intervient pendant les heures ouvrables. Rq: Ce piquet n'intervient pas pour un sensor défectueux ou autres problèmes en dehors des DSU. - autre : Laurent aimerait installer les boutons de déclenchement HI-Fog pour D1 et D2. Position: proche des portes ou un endroit permettant de voir aussi les bouteilles? Rolf va demander à Werner ce qu'il en pense. - Laurent organisera une rapide réunion chaque Jeudi matin a 9h00. But: résumé sur les alarmes de la semaine passé par le piquet 'sortant' ; passage du téléphone ; activités spéciales de prévue pour la semaine suivante (exemple :Beakout)-> Rolf et Eric ; piquet planning->Rolf ; status de DSS ,tests, nouvelles alarmes programmée->Laurent; ... ---------------------- Alarme de cette semaine: Un warning de la Pt100 Acove VELO 30 Deg (sans action) s'est déclenché due probablement au démarrage du Beakout. La température est stabilisée a 31 degC . Si le seuil 'Alarm' de 35 degC est dépassé, le piquet devra aller voir sur place et informer les gens du beakout si besoin. ---------------------- Merci pour vos éventuels commentaires, Laurent
|