Date: Mon, 10 Nov 2008 09:36:15 +0100
One more note: I have seen that in the moment GlassFish hangs, a lot of TCP connections are open -- while nobody worked with the system in the meantime! Maybe this is the cause?
Proto Lokale Adresse Remoteadresse Status PID
TCP 0.0.0.0:80 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3700 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3820 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3897 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3916 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3917 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3920 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3929 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3930 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:3931 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:4848 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:7676 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:8080 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:8181 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 0.0.0.0:8686 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 127.0.0.1:3877 0.0.0.0:0 ABH(tm)REN 3392
[java.exe]
TCP 127.0.0.1:3909 127.0.0.1:3910 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3910 127.0.0.1:3909 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3932 127.0.0.1:3933 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3933 127.0.0.1:3932 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3934 127.0.0.1:3935 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3935 127.0.0.1:3934 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3936 127.0.0.1:3937 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3937 127.0.0.1:3936 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3938 127.0.0.1:3939 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3939 127.0.0.1:3938 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3940 127.0.0.1:3941 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3941 127.0.0.1:3940 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3942 127.0.0.1:3943 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3943 127.0.0.1:3942 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3944 127.0.0.1:3945 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3945 127.0.0.1:3944 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3946 127.0.0.1:3947 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3947 127.0.0.1:3946 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3948 127.0.0.1:3949 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3949 127.0.0.1:3948 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3950 127.0.0.1:3951 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3951 127.0.0.1:3950 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3952 127.0.0.1:3953 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3953 127.0.0.1:3952 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3954 127.0.0.1:3955 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3955 127.0.0.1:3954 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3956 127.0.0.1:3957 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3957 127.0.0.1:3956 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3958 127.0.0.1:3959 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3959 127.0.0.1:3958 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3960 127.0.0.1:3961 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3961 127.0.0.1:3960 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3962 127.0.0.1:3963 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3963 127.0.0.1:3962 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3964 127.0.0.1:3965 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3965 127.0.0.1:3964 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3966 127.0.0.1:3967 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3967 127.0.0.1:3966 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3968 127.0.0.1:3969 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3969 127.0.0.1:3968 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3970 127.0.0.1:3971 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3971 127.0.0.1:3970 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3972 127.0.0.1:3973 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3973 127.0.0.1:3972 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3974 127.0.0.1:3975 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3975 127.0.0.1:3974 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3976 127.0.0.1:3977 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3977 127.0.0.1:3976 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3978 127.0.0.1:3979 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3979 127.0.0.1:3978 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3988 127.0.0.1:3989 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3989 127.0.0.1:3988 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3994 127.0.0.1:3995 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:3995 127.0.0.1:3994 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4140 127.0.0.1:4141 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4141 127.0.0.1:4140 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4142 127.0.0.1:4143 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4143 127.0.0.1:4142 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4148 127.0.0.1:4149 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4149 127.0.0.1:4148 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4150 127.0.0.1:4151 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4151 127.0.0.1:4150 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4204 127.0.0.1:4205 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4205 127.0.0.1:4204 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4206 127.0.0.1:4207 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4207 127.0.0.1:4206 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4249 127.0.0.1:4250 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4250 127.0.0.1:4249 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4251 127.0.0.1:4252 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4252 127.0.0.1:4251 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4254 127.0.0.1:4255 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4255 127.0.0.1:4254 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4256 127.0.0.1:4257 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4257 127.0.0.1:4256 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4371 127.0.0.1:4372 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4372 127.0.0.1:4371 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4373 127.0.0.1:4374 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4374 127.0.0.1:4373 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4390 127.0.0.1:4391 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4391 127.0.0.1:4390 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4392 127.0.0.1:4393 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4393 127.0.0.1:4392 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4398 127.0.0.1:4399 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4399 127.0.0.1:4398 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4400 127.0.0.1:4401 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4401 127.0.0.1:4400 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4406 127.0.0.1:4407 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4407 127.0.0.1:4406 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4408 127.0.0.1:4409 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4409 127.0.0.1:4408 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4414 127.0.0.1:4415 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4415 127.0.0.1:4414 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4416 127.0.0.1:4417 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4417 127.0.0.1:4416 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4422 127.0.0.1:4423 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4423 127.0.0.1:4422 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4424 127.0.0.1:4425 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4425 127.0.0.1:4424 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4430 127.0.0.1:4431 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4431 127.0.0.1:4430 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4432 127.0.0.1:4433 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4433 127.0.0.1:4432 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4438 127.0.0.1:4439 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4439 127.0.0.1:4438 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4440 127.0.0.1:4441 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4441 127.0.0.1:4440 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4453 127.0.0.1:4454 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4454 127.0.0.1:4453 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4455 127.0.0.1:4456 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4456 127.0.0.1:4455 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4457 127.0.0.1:4458 HERGESTELLT 3392
[java.exe]
TCP 127.0.0.1:4458 127.0.0.1:4457 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3700 192.168.0.40:1972 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3700 192.168.0.40:1852 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3700 192.168.0.40:1969 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1991 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:2005 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1870 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1999 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1993 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1884 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1995 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1997 HERGESTELLT 3392
[java.exe]
TCP 192.168.0.39:3929 192.168.0.40:1868 HERGESTELLT 3392
[java.exe]
Thanks!
Markus
From: Markus Karg [mailto:karg_at_quipsy.de]
Sent: Montag, 10. November 2008 09:15
To: users_at_glassfish.dev.java.net
Subject: GlassFish hangs after some hours
We have a strange problem. In our lab environment we are running a GlassFish v2ur2 instance. Two users access EJBs using ACC. Works well. After some hours the system is nearly standing still -- even if nobody worked anything in the meantime. If we try to open ACC, it just does nothing (not asking for password, nor showing our app's splash screen). The server just hangs. There are neither warnings nor errors in the server.log. Everything works fine, but just so slow that you think the server would be haning. After stopping and starting the instance, it works well again. The disk has 150MB free, RAM has 128MB free, CPU load is near one percent only.
The only exception found in the server.log is this one, and we think it is not the cause but just a result of shutting down the hanging ACC:
[#|2008-11-10T09:03:06.546+0100|WARNING|sun-appserver9.1|javax.enterprise.resource.corba.ee.S1AS-ORB.rpc.transport|_ThreadID=33;_ThreadName=p: thread-pool-1; w: 22;6000;7280;_RequestID=e24b8380-c4bb-48da-be4f-b562daf4e7db;|"IOP00410225: (COMM_FAILURE) Write of message exceeded TCP timeout : max wait time = 6.000 ms, total time spent blocked, waiting to write = 7.280 ms."
org.omg.CORBA.COMM_FAILURE: vmcid: SUN minor code: 225 completed: No
at com.sun.corba.ee.impl.logging.ORBUtilSystemException.transportWriteTimeoutExceeded(ORBUtilSystemException.java:3354)
at com.sun.corba.ee.impl.logging.ORBUtilSystemException.transportWriteTimeoutExceeded(ORBUtilSystemException.java:3378)
at com.sun.corba.ee.impl.transport.SocketOrChannelConnectionImpl.write(SocketOrChannelConnectionImpl.java:758)
at com.sun.corba.ee.impl.encoding.CDROutputObject.writeTo(CDROutputObject.java:196)
at com.sun.corba.ee.impl.transport.SocketOrChannelConnectionImpl.sendWithoutLock(SocketOrChannelConnectionImpl.java:1126)
at com.sun.corba.ee.impl.encoding.BufferManagerWriteStream.sendFragment(BufferManagerWriteStream.java:149)
at com.sun.corba.ee.impl.encoding.BufferManagerWriteStream.overflow(BufferManagerWriteStream.java:92)
at com.sun.corba.ee.impl.encoding.CDROutputStream_1_2.grow(CDROutputStream_1_2.java:240)
at com.sun.corba.ee.impl.encoding.CDROutputStream_1_2.alignAndReserve(CDROutputStream_1_2.java:211)
at com.sun.corba.ee.impl.encoding.CDROutputStream_1_0.internalWriteOctetArray(CDROutputStream_1_0.java:573)
at com.sun.corba.ee.impl.encoding.CDROutputStream_1_0.write_octet_array(CDROutputStream_1_0.java:592)
at com.sun.corba.ee.impl.encoding.CDROutputStream.write_octet_array(CDROutputStream.java:302)
at com.sun.corba.ee.impl.servicecontext.UnknownServiceContextImpl.write(UnknownServiceContextImpl.java:78)
at com.sun.corba.ee.impl.servicecontext.ServiceContextsImpl.writeMapEntry(ServiceContextsImpl.java:391)
at com.sun.corba.ee.impl.servicecontext.ServiceContextsImpl.writeServiceContextsInOrder(ServiceContextsImpl.java:340)
at com.sun.corba.ee.impl.servicecontext.ServiceContextsImpl.write(ServiceContextsImpl.java:315)
at com.sun.corba.ee.impl.protocol.giopmsgheaders.ReplyMessage_1_2.write(ReplyMessage_1_2.java:212)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.createResponseHelper(CorbaMessageMediatorImpl.java:2373)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.createResponseHelper(CorbaMessageMediatorImpl.java:2336)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.createSystemExceptionResponse(CorbaMessageMediatorImpl.java:2260)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2037)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2046)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2046)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2046)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2046)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:2046)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleThrowableDuringServerDispatch(CorbaMessageMediatorImpl.java:1987)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleRequest(CorbaMessageMediatorImpl.java:1714)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleInput(CorbaMessageMediatorImpl.java:1088)
at com.sun.corba.ee.impl.protocol.giopmsgheaders.RequestMessage_1_2.callback(RequestMessage_1_2.java:223)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.handleRequest(CorbaMessageMediatorImpl.java:806)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.dispatch(CorbaMessageMediatorImpl.java:563)
at com.sun.corba.ee.impl.protocol.CorbaMessageMediatorImpl.doWork(CorbaMessageMediatorImpl.java:2567)
at com.sun.corba.ee.impl.orbutil.threadpool.ThreadPoolImpl$WorkerThread.run(ThreadPoolImpl.java:555)
|#]
What can we do?
Please help!
Markus
QUIPSY QUALITY GmbH & Co. KG
Ein Unternehmen der MES-Gruppe
Stuttgarter Strasse 23
D-75179 Pforzheim
Tel: 07231-9189-52
Fax: 07231-9189-59
www.quipsy.de
karg_at_quipsy.de
Registergericht Mannheim HRA 701214
Geschäftsführer: Nils Schroeder
Diese E-Mail enthält persönliche, vertrauliche und vor Weitergabe geschützte Informationen und ist ausschließlich für den vorgesehenen o.g. Empfänger (Adressaten) bestimmt. Falls Sie diese E-Mail versehentlich erhalten haben und nicht der vorgesehene Empfänger sind, bitten wir Sie, die E-Mail und deren Anhänge nicht aufzubewahren, nicht zu vervielfältigen, nicht zu nutzen und nicht weiterzugeben. Bitte informieren Sie uns als Absender über diesen Zustellungsfehler und löschen Sie die E-Mail.
(image/jpeg attachment: image001.jpg)